Cloud Parallel File Storage:Dataflow untuk CPFS for Lingjun

Fitur

CPFS for Lingjun mendukung fitur dataflow berikut:

• Dataflow tingkat akun

  Mendukung dataflow same-account dan cross-account dengan Bucket OSS.

• Dataflow tingkat direktori

  Memetakan subdirektori apa pun dari sistem file CPFS for Lingjun ke awalan apa pun di Bucket OSS untuk kontrol izin yang lebih granular dan transfer data yang fleksibel.

• Impor dan ekspor data

  • Buat tugas batch atau streaming untuk mengimpor dan mengekspor data antara sistem file CPFS for Lingjun dan OSS. Tugas batch memuat seluruh set data sebelum pekerjaan komputasi dimulai. Tugas streaming menangani penulisan balik (writeback) dan pemuatan awal (preload) file individual secara on-demand, seperti checkpoint model, selama pelatihan.

    Peringatan

    CPFS for Lingjun mengekspor timestamp modifikasi file ke metadata kustom OSS bernama x-oss-meta-alihbr-sync-mtime. Jangan menghapus atau mengubah metadata ini karena dapat menyebabkan ketidakakuratan timestamp sistem file.

  • Jika suatu tugas gagal, periksa laporan tugas untuk mengidentifikasi penyebabnya.

    Penting

    Laporan tugas hanya bersifat referensi. Data tujuan merupakan versi yang definitif. Verifikasi konsistensi data antara sumber dan tujuan.

Jenis tugas dataflow

CPFS for Lingjun menyediakan dua jenis tugas dataflow: tugas batch dan tugas streaming.

Batch task

Tugas batch mengimpor atau mengekspor semua file dalam satu direktori sekaligus, ideal untuk memuat seluruh set data sebelum pelatihan AI.

Streaming task

Tugas streaming mentransfer file individual secara on-demand, seperti checkpoint model selama pelatihan. Kirim subtask melalui operasi API untuk memicu setiap transfer. Sistem tidak melakukan sinkronisasi otomatis terhadap perubahan file.

Deskripsi tugas

Tersedia empat jenis tugas: import, export, stream import, dan stream export.

Batasan

• Dataflow

  • Dataflow same-account memerlukan CPFS for Lingjun versi 2.4.0 atau yang lebih baru. Dataflow cross-account memerlukan versi 2.6.0 atau yang lebih baru.

  • Maksimal 10 dataflow per sistem file CPFS for Lingjun.

  • Setiap jalur sistem file hanya dapat ditautkan ke satu Bucket OSS.

  • Dataflow tidak dapat mencakup wilayah (region) yang berbeda.

• Pembatasan pada jalur, nama file, dan nama direktori

  • Mengganti nama direktori yang tidak kosong pada jalur yang terkait dengan dataflow akan menghasilkan error Permission Denied atau error direktori-tidak-kosong.

  • Gunakan karakter khusus pada nama direktori dan file dengan hati-hati.

    • Karakter yang didukung meliputi huruf besar dan kecil, angka, tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), tanda bintang (*), dan tanda kurung buka/tutup (()).

    • Karakter berikut tidak didukung dan dapat menyebabkan kegagalan tugas:

      • Nama subdirektori atau file tidak boleh "..".

      • Jalur tidak boleh mengandung backslash (\) atau backslash ganda (\\).

      • Nama subdirektori atau file tidak boleh mengandung slash (/).

  • Panjang jalur maksimum: 1.023 karakter.

• Batasan tugas dataflow

  • Tugas streaming memerlukan CPFS for Lingjun versi 2.6.0 atau yang lebih baru dan hanya tersedia melalui API.

  • Maksimal empat tugas batch konkuren per dataflow. Tugas streaming konkuren tidak dibatasi.

  • Batasan impor

    • Mengimpor tautan simbolik akan mengubahnya menjadi file data biasa. Informasi tautan simbolik akan hilang.

    • Jika Bucket OSS memiliki versioning aktif, hanya versi terbaru objek yang disalin.

    • Nama file atau subdirektori tidak boleh melebihi 255 byte.

  • Batasan ekspor

    • Tautan simbolik diekspor sebagai objek biasa yang kosong. File yang ditautkan tidak disinkronkan.

    • Hard link diekspor sebagai file biasa.

    • File Socket, Device, dan Pipe diekspor sebagai objek biasa yang kosong.

    • Panjang jalur direktori tidak boleh melebihi 1.023 karakter.

Metrik performa

Cara mencapai throughput yang lebih tinggi

1. Tingkatkan kapasitas: Meningkatkan kapasitas penyimpanan sistem file CPFS for Lingjun secara langsung meningkatkan throughput secara linier.

2. Tingkatkan kuota: Jika Anda mencapai bottleneck jaringan VPC (10 GB/s untuk baca atau 5 GB/s untuk tulis), kirim tiket untuk meminta peningkatan kuota bandwidth.

Mengapa kecepatan aktual lebih rendah daripada garis dasar

1. Periksa apakah Bucket OSS memiliki kebijakan pembatasan bandwidth atau rate-limiting.

2. Periksa apakah beban kerja baca/tulis intensif pada sistem file CPFS for Lingjun bersaing untuk bandwidth dataflow.

3. Periksa apakah tugas dataflow melibatkan banyak operasi file kecil, banyak direktori kecil, atau direktori lebar yang berisi banyak file kecil, yang secara signifikan mengurangi throughput agregat.

Penagihan

Dataflow untuk CPFS for Lingjun sedang dalam pratinjau publik dan gratis.

Prosedur

1. Buat dataflow.

   • Same-account: Buat dataflow same-account.

   • Cross-account: Buat dataflow cross-account.

2. Buat tugas batch atau tugas streaming.

   • Streaming: Kelola tugas streaming (OpenAPI).

   • Batch: Kelola tugas batch.

3. Verifikasi data.

   Setelah tugas selesai, verifikasi akurasi data di tujuan.

   Peringatan

   Jika Anda menghapus data sumber tanpa memverifikasi data tujuan, Anda bertanggung jawab atas segala kehilangan data yang terjadi.