Cloud Parallel File Storage：CPFS untuk alur data Lingjun (pratinjau undangan)

Ikhtisar fitur

CPFS for Lingjun memungkinkan Anda menggunakan fitur alur data untuk melakukan operasi berikut:

• Transmisi Data pada Tingkat Akun

  Anda dapat membuat alur data untuk mentransmisikan data antara sistem file CPFS untuk Lingjun dan bucket OSS dalam akun yang sama atau lintas akun.

• Transmisi Data pada Tingkat Direktori

  Anda dapat membuat alur data untuk memetakan subdirektori dari file sistem CPFS for Lingjun ke awalan dalam bucket OSS. Ini memungkinkan pengelolaan izin detail halus dan transmisi data yang fleksibel.

• Impor dan Ekspor Data

  • Anda dapat membuat tugas batch atau streaming untuk mengimpor dan mengekspor data antara CPFS for Lingjun dan OSS. Tugas batch cocok untuk memuat dataset sebelum tugas komputasi dimulai. Tugas streaming cocok untuk membaca dan menulis beberapa file titik pemeriksaan secara terus-menerus selama tugas komputasi untuk pelatihan model.

    Peringatan

    CPFS for Lingjun mengekspor atribut timestamp Modifikasi File ke metadata kustom bucket OSS. Bidang metadata tersebut diberi nama x-oss-meta-alihbr-sync-mtime dan tidak dapat dihapus atau diubah. Jika tidak, kesalahan akan terjadi saat Anda mengakses atribut timestamp Modifikasi File dari file sistem.

  • Jika tugas alur data gagal, Anda dapat mengidentifikasi penyebab kegagalan berdasarkan laporan tugas.

    Penting

    Laporan tugas hanya untuk referensi. Konten aktual setelah alur data selesai adalah yang berwenang. Anda perlu memverifikasi konsistensi data antara sumber dan tujuan sendiri.

Batasan

• Batasan pada Alur Data

  • CPFS untuk Lingjun V2.4.0 dan versi lebih baru mendukung alur data dalam akun yang sama. CPFS untuk Lingjun V2.6.0 dan versi lebih baru mendukung alur data lintas akun.

  • Maksimal 10 alur data dapat dibuat untuk sistem file CPFS untuk Lingjun.

  • Jalur file dalam sistem file CPFS untuk Lingjun hanya dapat dikaitkan dengan satu bucket OSS.

  • Anda tidak dapat membuat alur data antara sistem file CPFS untuk Lingjun dan bucket OSS yang berada di wilayah lain.

• Batasan pada Jalur, Nama File, dan Nama Direktori

  • Anda tidak dapat mengganti nama direktori yang tidak kosong dalam jalur yang dikaitkan dengan alur data. Jika tidak, pesan kesalahan Permission Denied atau pesan kesalahan yang menunjukkan bahwa direktori tidak kosong akan dikembalikan.

  • Berhati-hatilah saat menggunakan karakter khusus dalam nama direktori dan file.

    • Karakter berikut didukung: huruf, angka, tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), tanda bintang (*), dan tanda kurung (()).

    • Karakter berikut tidak didukung. Jika tidak, hasil tak terduga atau kegagalan mungkin terjadi:

      • Dua titik (..) dalam nama subdirektori atau file.

      • Tanda garis miring terbalik (\) atau tanda garis miring terbalik berturut-turut (\\) dalam jalur.

      • File dengan tanda garis miring maju (/) dalam nama subdirektori atau nama file tidak didukung.

  • Panjang jalur maksimum adalah 1.023 karakter.

• Batasan pada Tugas Alur Data

  • Hanya CPFS for Lingjun V2.6.0 dan versi lebih baru yang mendukung tugas streaming. Selain itu, Anda hanya dapat menggunakan tugas streaming dengan memanggil operasi API.

  • Maksimal 4 tugas batch dapat dijalankan pada saat yang sama untuk sebuah alur data. Tugas streaming tidak terbatas.

  • Batasan pada Impor Data

    • Setelah tautan simbolik diimpor ke CPFS for Lingjun, tautan simbolik tersebut diubah menjadi file biasa yang tidak mengandung informasi tautan simbolik.

    • Jika bucket OSS berisi data dari beberapa versi, hanya data dari versi terbaru yang diimpor.

    • Nama file atau subdirektori dapat memiliki panjang hingga 255 byte.

  • Batasan pada Ekspor Data

    • Setelah tautan simbolik disinkronkan ke OSS, file yang ditunjuk oleh tautan simbolik tidak disinkronkan ke OSS. Dalam hal ini, tautan simbolik diubah menjadi objek biasa yang tidak mengandung data.

    • Tautan keras hanya dapat disinkronkan ke OSS sebagai file biasa yang tidak mengandung informasi tautan.

    • Setelah file tipe Socket, Device, atau Pipe diekspor ke bucket OSS, file tersebut diubah menjadi objek biasa yang tidak mengandung data.

    • Panjang jalur direktori maksimum adalah 1.023 karakter.

Metrik performa

Penagihan

Fitur alur data CPFS untuk Lingjun sedang dalam pratinjau publik dan gratis.

Prosedur

1. Buat alur data.

   • Untuk informasi lebih lanjut tentang cara membuat alur data dalam akun yang sama, lihat Buat Alur Data dalam Akun yang Sama.

   • Untuk informasi lebih lanjut tentang cara membuat alur data lintas akun, lihat Buat Alur Data Lintas Akun.

2. Buat tugas batch atau tugas streaming.

   • Untuk informasi lebih lanjut tentang cara membuat tugas streaming, lihat Kelola Tugas Alur Data.

   • Untuk informasi lebih lanjut tentang cara membuat tugas batch, lihat Praktik Terbaik Tugas Alur Data Streaming.

3. Verifikasi Data

   Setelah tugas alur data selesai, Anda harus memverifikasi data di tujuan untuk memastikan akurasi data.

   Peringatan

   Jika Anda menghapus data sumber sebelum memverifikasi bahwa data di tujuan telah berhasil ditransmisikan, Anda bertanggung jawab atas kehilangan data dan semua kerugian serta konsekuensi yang timbul.