All Products
Search

This Product

    MaxCompute:Fitur mount OSS (Invitational Preview)

    Document Center

    MaxCompute:Fitur mount OSS (Invitational Preview)

    Last Updated:Jan 24, 2026

    MaxFrame memperkenalkan fitur pemasangan file OSS yang memetakan bucket OSS ke sistem file lokal MaxCompute secara mulus. Dengan menggunakan konfigurasi deklaratif MaxFrame, Anda dapat menentukan jalur pemasangan dan langsung mengoperasikan data OSS melalui API berbasis POSIX, sehingga menghilangkan kebutuhan pengembangan SDK tradisional dan secara signifikan mengurangi kompleksitas pengembangan.

    Skenario

    • Pemrosesan data skala besar: Cocok untuk tugas komputasi offline yang memerlukan interaksi intensif antara OSS dan MaxCompute.

    • Pra-pemrosesan data: Baca data mentah dari OSS, lalu bersihkan, transformasikan, dan tulis data tersebut ke MaxCompute.

    • Arsitektur penyimpanan hibrida: Simpan data di OSS sekaligus memungkinkan kolaborasi efisien dengan MaxCompute.

    • Persyaratan versi: Memerlukan MaxFrame SDK versi 2.4.0 atau lebih baru.

    Fitur utama

    • Otentikasi aman

      Mendukung otentikasi berbasis Role Resource Access Management (RAM). Metode ini menghindari eksposur pasangan Kunci Akses jangka panjang dan meningkatkan keamanan akses data.

    • Integrasi mulus

      • Memetakan bucket OSS ke jalur sistem file lokal MaxCompute dan mendukung operasi baca-tulis langsung.

      • Kompatibel dengan API berbasis POSIX, seperti open, read, dan write, sehingga menyederhanakan manajemen file.

    • Konfigurasi deklaratif

      Anda dapat menggunakan dekorator konfigurasi deklaratif MaxFrame @with_fs_mount untuk menentukan jalur pemasangan, sehingga pemetaan data dapat dilakukan tanpa kode yang kompleks.

    • Peningkatan efisiensi pengembangan

      Tidak diperlukan pengkodean SDK. Developer dapat langsung mengoperasikan data OSS melalui API, sehingga memperpendek siklus pengembangan.

    Parameter inti

    path - Definisi alamat penyimpanan remote

    • Format: scheme://<endpoint>/<bucket>/<object_prefix>

      • scheme: Jenis protokol (OSS).

      • endpoint: Titik akhir akses layanan penyimpanan.

      • bucket: Nama bucket.

      • object_prefix: Jalur awalan objek di dalam bucket.

    • Contoh:

      path = "oss://oss-cn-shanghai-internal.aliyuncs.com/maxframe-test/oss_data"

    mount_path - Titik pemasangan lokal MaxCompute

    • Deskripsi: Parameter mount_path menentukan jalur akses lokal di MaxCompute untuk penyimpanan remote. MaxFrame secara otomatis membuat direktori ini dan memasang sistem file.

    • Persyaratan konfigurasi:

      • Izin: Pengguna yang menjalankan task harus memiliki izin baca dan tulis pada direktori tersebut.

      • Keunikan: Setiap titik pemasangan bersifat independen. Hindari konflik jalur.

      • Siklus hidup: Secara otomatis menguninstall dengan cara yang aman terhadap exception setelah eksekusi dekorator selesai.

    • Contoh:

      mount_path = "/mnt/oss_data"  # Jalur pemasangan lokal MaxCompute

    storage_options - Parameter otentikasi dan konfigurasi

    Otentikasi menggunakan Role RAM

    1. Masuk ke Konsol Resource Access Management (RAM).

    2. Pada panel navigasi kiri, pilih Identities > Roles.

    3. Pada bagian Basic Information, Anda dapat menemukan ARN.

    4. Contoh:

      storage_options = {
  "role_arn": "acs:ram::xxxxxxxx:role/MaxFrameAccessRole"
}

      Contoh Kebijakan RAM yang mengikuti prinsip hak istimewa minimal untuk akses read-only:

      {
    "Statement": [
        {
            "Action": "oss:GetObject",
            "Effect": "Allow",
            "Resource": "acs:oss:*:*:maxframe-***-poc/oss_data/*"
        }
    ],
    "Version": "1"
}

    Contoh penggunaan fitur

    Potongan kode berikut memberikan contoh cara menggunakan fitur ini. Untuk contoh kode lengkap, lihat Pemasangan OSS dan praktik terbaik.

    Pemrosesan data OSS

    from maxframe.udf import with_fs_mount

@with_running_options(engine="dpe", cpu=2, memory=8)
@with_fs_mount(
    path="oss://oss-cn-shanghai-internal.aliyuncs.com/bigdata-bucket/preprocessed/",
    mount_path="/mnt/data",
    storage_options={"role_arn": "acs:ram::123456:role/DataAccess"}
)
def etl_job():
    df = pd.read_csv("/mnt/data/2025-*.csv")
    # Komputasi terdistribusi...

    Memuat file model OSS

    from maxframe.udf import with_fs_mount

@with_running_options(engine="dpe", cpu=2, memory=8)
@with_fs_mount(
    path="oss://oss-cn-shanghai-internal.aliyuncs.com/model-registry/model_path",
    mount_path="/mnt/model_path",
    storage_options={"role_arn": "acs:ram::123456:role/ModelAccess"}
)
def resume_training():
    model = load_model("/mnt/model_path/model.pkl)
    # Pelatihan model...