Cloud Parallel File Storage：Aliran Data CPFS for Lingjun (Pratinjau Undangan)

Fitur

CPFS for Lingjun mendukung fitur aliran data berikut:

• Aliran data tingkat akun

  Anda dapat memindahkan data antara bucket OSS dalam akun yang sama maupun akun berbeda.

• Aliran data tingkat direktori

  Anda dapat membuat aliran data untuk memetakan subdirektori apa pun dari sistem file CPFS for Lingjun ke awalan apa pun di bucket OSS, sehingga memberikan kontrol akses yang lebih granular dan transmisi data yang fleksibel.

• Impor dan ekspor data

  • Anda dapat mengimpor dan mengekspor data antara sistem file CPFS for Lingjun dan OSS dengan membuat tugas batch atau stream. Tugas batch cocok untuk memuat awal set data sebelum tugas komputasi dimulai, sedangkan tugas stream cocok untuk skenario yang memerlukan penulisan kembali secara terus-menerus serta pemuatan awal beberapa file titik pemeriksaan model selama pelatihan model.

    Peringatan

    CPFS for Lingjun mengekspor properti timestamp modifikasi file ke metadata kustom bucket OSS dengan nama x-oss-meta-alihbr-sync-mtime. Jangan menghapus atau mengubah metadata ini; jika dilakukan, properti timestamp modifikasi file di sistem file akan menjadi tidak akurat.

  • Jika suatu tugas gagal, Anda dapat memeriksa laporan tugas untuk menentukan penyebab kegagalannya.

    Penting

    Laporan tugas hanya bersifat referensi. Data di tujuan merupakan sumber kebenaran akhir setelah tugas aliran data selesai. Pastikan Anda memverifikasi konsistensi data antara sumber dan tujuan.

Batasan

• Aliran data

  • CPFS for Lingjun versi 2.4.0 dan yang lebih baru mendukung aliran data dalam akun yang sama, sedangkan versi 2.6.0 dan yang lebih baru mendukung aliran data lintas akun.

  • Satu sistem file CPFS for Lingjun mendukung maksimal 10 aliran data.

  • Jalur file di sistem file CPFS for Lingjun hanya dapat ditautkan ke satu bucket OSS.

  • Aliran data tidak dapat dibuat antara sistem file CPFS for Lingjun dan bucket OSS di wilayah yang berbeda.

• Batasan pada jalur, nama file, dan nama direktori untuk aliran data

  • Pada jalur sistem file yang terkait dengan aliran data, jangan mengganti nama direktori yang tidak kosong; jika dilakukan, akan muncul error Permission Denied atau error direktori tidak kosong.

  • Gunakan karakter khusus pada nama direktori dan file dengan hati-hati.

    • Karakter berikut didukung: huruf besar dan kecil, angka, tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), tanda bintang (*), dan tanda kurung (()).

    • Karakter khusus berikut tidak didukung. Penggunaannya dapat menyebabkan tugas menghasilkan hasil yang tidak terduga atau gagal.

      • File dengan subdirektori atau nama file berupa dua titik (..) tidak didukung.

      • File dengan jalur yang mengandung garis miring terbalik (\) atau garis miring terbalik berurutan (\\) tidak didukung.

      • File dengan subdirektori atau nama file yang mengandung garis miring (/) tidak didukung.

  • Jalur panjang tidak didukung. Panjang jalur maksimum yang didukung oleh aliran data adalah 1.023 karakter.

• Batasan tugas aliran data

  • Tugas stream hanya didukung di CPFS for Lingjun versi 2.6.0 dan yang lebih baru, serta hanya dapat digunakan melalui OpenAPI.

  • Satu aliran data dapat menjalankan maksimal empat tugas batch secara bersamaan. Tidak ada batasan jumlah tugas stream.

  • Batasan impor

    • Ketika file symlink diimpor ke CPFS for Lingjun, file tersebut dikonversi menjadi file reguler yang berisi data, sehingga informasi symlink hilang.

    • Jika bucket OSS memiliki beberapa versi objek, hanya versi terbaru yang disalin.

    • Nama file atau subdirektori yang lebih panjang dari 255 byte tidak didukung.

  • Batasan ekspor

    • File symbolic link menjadi objek kosong saat disinkronkan ke OSS; file yang ditunjuknya tidak disinkronkan.

    • File hard link disinkronkan ke OSS sebagai file reguler.

    • File Socket, Device, dan Pipe menjadi objek kosong saat diekspor ke bucket OSS.

    • Jalur direktori yang lebih panjang dari 1.023 karakter tidak didukung.

Metrik Performa

Harga

Fitur aliran data untuk CPFS for Lingjun sedang dalam pratinjau publik dan tidak dikenai biaya.

Prosedur

1. Buat aliran data.

   • Untuk aliran data dalam akun yang sama, lihat Buat aliran data untuk akun yang sama.

   • Untuk aliran data lintas akun, lihat Buat aliran data untuk akun yang berbeda.

2. Buat tugas batch atau stream.

   • Untuk tugas stream, lihat Praktik terbaik untuk tugas aliran data.

   • Untuk tugas batch, lihat Kelola tugas aliran data.

3. Verifikasi data

   Setelah tugas aliran data selesai, verifikasi data di tujuan untuk memastikan akurasinya.

   Peringatan

   Jika Anda menghapus data sumber sebelum memverifikasi bahwa data telah ditransfer dengan benar ke tujuan, Anda bertanggung jawab atas segala kehilangan data yang terjadi.