Cloud Parallel File Storage:Dataflow untuk CPFS for Lingjun (pratinjau undangan)

Fitur

CPFS for Lingjun mendukung fitur dataflow berikut:

• Dataflow tingkat akun

  Mendukung dataflow dengan bucket OSS baik dalam skenario same-account maupun cross-account.

• Dataflow tingkat direktori

  Anda dapat membuat dataflow untuk memetakan subdirektori apa pun dari sistem file CPFS for Lingjun ke awalan apa pun di bucket OSS. Hal ini memungkinkan kontrol izin yang lebih granular dan transfer data yang fleksibel.

• Impor dan ekspor data

  • Anda dapat membuat tugas batch atau tugas streaming untuk mengimpor dan mengekspor data antara sistem file CPFS for Lingjun dan OSS. Tugas batch cocok untuk memuat seluruh set data sebelum pekerjaan komputasi dimulai. Tugas streaming cocok untuk writeback dan preload file individual secara on-demand, seperti checkpoint model, selama pelatihan.

    Peringatan

    CPFS for Lingjun mengekspor atribut timestamp modifikasi file ke metadata kustom bucket OSS. Metadata tersebut bernama x-oss-meta-alihbr-sync-mtime. Jangan menghapus atau mengubah metadata ini. Jika tidak, atribut timestamp modifikasi file di sistem file akan salah.

  • Jika suatu tugas gagal, Anda dapat memeriksa laporan tugas untuk mengidentifikasi penyebabnya.

    Penting

    Laporan tugas hanya bersifat referensi. Data di tujuan merupakan versi yang definitif. Anda harus memverifikasi konsistensi data antara sumber dan tujuan.

Jenis tugas dataflow

CPFS for Lingjun menyediakan dua jenis tugas dataflow: tugas batch dan tugas streaming. Anda dapat memilih jenis tugas yang paling sesuai dengan kebutuhan bisnis Anda.

Batch task

Tugas batch mengimpor atau mengekspor semua file dalam suatu direktori sekaligus. Jenis tugas ini cocok untuk memuat seluruh set data sebelum pelatihan AI dimulai.

Streaming task

Tugas streaming memulai dataflow secara on-demand pada tingkat file individual. Tugas ini cocok untuk writeback atau memuat file individual, seperti checkpoint model, selama pelatihan. Anda harus mengirimkan subtugas melalui operasi API untuk memicu setiap transfer. Sistem tidak melakukan sinkronisasi perubahan file secara otomatis.

Deskripsi tugas

Tugas dikategorikan menjadi empat jenis berdasarkan operasinya: import, export, stream import, dan stream export.

Batasan

• Dataflow

  • CPFS for Lingjun versi 2.4.0 dan yang lebih baru mendukung dataflow same-account. CPFS for Lingjun versi 2.6.0 dan yang lebih baru mendukung dataflow cross-account.

  • Anda dapat membuat maksimal 10 dataflow untuk satu sistem file CPFS for Lingjun.

  • Jalur file di sistem file CPFS for Lingjun hanya dapat ditautkan ke satu bucket OSS.

  • Anda tidak dapat membuat dataflow antara sistem file CPFS for Lingjun dan bucket OSS yang berada di wilayah berbeda.

• Batasan pada jalur, nama file, dan nama direktori

  • Pada jalur sistem file yang terkait dengan dataflow, Anda tidak dapat mengganti nama direktori yang tidak kosong. Jika dilakukan, sistem akan mengembalikan error Permission Denied atau error yang menunjukkan bahwa direktori tidak kosong.

  • Gunakan karakter khusus pada nama direktori dan file dengan hati-hati.

    • Karakter yang didukung mencakup huruf besar dan kecil, angka, tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), tanda bintang (*), dan tanda kurung (()).

    • Karakter khusus berikut tidak didukung. Jika digunakan, tugas mungkin menghasilkan hasil yang tidak terduga atau gagal.

      • Nama subdirektori atau file tidak boleh "..".

      • Jalur tidak boleh mengandung backslash (\) atau backslash berurutan (\\).

      • Nama subdirektori atau file tidak boleh mengandung slash (/).

  • Jalur panjang tidak didukung. Panjang jalur maksimum yang didukung oleh dataflow adalah 1.023 karakter.

• Batasan tugas dataflow

  • Tugas streaming hanya didukung pada CPFS for Lingjun versi 2.6.0 dan yang lebih baru, serta hanya melalui operasi API.

  • Maksimal empat tugas batch dapat berjalan secara konkuren untuk satu dataflow. Jumlah tugas streaming konkuren tidak terbatas.

  • Batasan impor

    • Mengimpor tautan simbolik ke CPFS for Lingjun akan mengonversinya menjadi file reguler yang berisi data, dan informasi tautan simbolik akan hilang.

    • Jika bucket OSS memiliki versioning aktif, hanya versi terbaru dari objek yang disalin.

    • Nama file atau subdirektori tidak boleh melebihi 255 byte.

  • Batasan ekspor

    • Saat tautan simbolik disinkronkan ke OSS, dataflow tidak menyinkronkan file yang ditunjuknya. Sebagai gantinya, tautan tersebut menjadi objek reguler kosong.

    • Dataflow menyinkronkan hard link ke OSS sebagai file reguler.

    • Mengekspor file bertipe Socket, Device, atau Pipe ke bucket OSS akan mengonversinya menjadi objek reguler kosong.

    • Panjang jalur direktori tidak boleh melebihi 1.023 karakter.

Metrik kinerja

Penagihan

Fitur dataflow CPFS for Lingjun sedang dalam pratinjau publik dan tidak dikenai biaya.

Prosedur

1. Buat dataflow.

   • Untuk dataflow same-account, lihat Buat dataflow same-account.

   • Untuk dataflow cross-account, lihat Buat dataflow cross-account.

2. Buat tugas batch atau tugas streaming.

   • Untuk tugas streaming, lihat Kelola tugas streaming (OpenAPI).

   • Untuk tugas batch, lihat Kelola tugas batch.

3. Verifikasi data.

   Setelah tugas dataflow selesai, verifikasi akurasi data di tujuan.

   Peringatan

   Jika Anda menghapus data sumber tanpa memverifikasi bahwa data tujuan sudah benar, Anda bertanggung jawab atas segala kehilangan data dan konsekuensinya.