Cloud Parallel File Storage:Mengelola tugas batch

Informasi latar belakang

Tugas alur data yang dibuat di konsol merupakan tugas batch. Tugas batch dapat mengimpor atau mengekspor semua file dari satu direktori ke direktori lain dalam satu kali eksekusi. Anda tidak dapat memulai alur data on-demand untuk file individual. Untuk mentransfer data berdasarkan per file (tugas streaming), Anda harus menggunakan operasi OpenAPI. Pada tugas streaming, Anda harus secara eksplisit memanggil API guna membuat subtugas untuk setiap file tertentu agar memicu transfer data. Untuk informasi selengkapnya, lihat Mengelola tugas streaming (OpenAPI).

Prasyarat

• Alur data telah dibuat. Untuk informasi selengkapnya, lihat Membuat alur data dalam akun yang sama atau Membuat alur data lintas akun.

• Bucket OSS sumber harus memiliki Pengendalian versi yang diaktifkan. Jangan menangguhkan pengendalian versi selama alur data aktif, atau tugas ekspor akan gagal. Untuk informasi selengkapnya, lihat Pengantar pengendalian versi.

Membuat tugas

1. Masuk ke Konsol NAS.

2. Pada panel navigasi kiri, pilih File System > File System List.

3. Pada bilah navigasi atas, pilih Wilayah.

4. Pada halaman File System List, klik nama sistem file CPFS for Lingjun target.

5. Pada halaman detail sistem file, klik Dataflow.

6. Pada halaman Dataflow, temukan alur data target dan klik Task Management di kolom Actions.

7. Pada panel Task Management, klik Create Job.

8. Pada panel Create Job, pilih jenis tugas dan konfigurasikan parameter.

   Impor data

   • Ketika tautan simbolik diimpor ke sistem file CPFS for Lingjun, tautan tersebut dikonversi menjadi file biasa yang berisi data target tautan, dan informasi tautan asli hilang.

   • Jika bucket OSS berisi beberapa versi objek, hanya versi terbaru yang dicopy.

   • Nama file dan subdirektori yang lebih panjang dari 255 byte tidak didukung.

   • Nama direktori dan file tidak boleh mengandung karakter khusus berikut. Jika tidak, tugas mungkin menghasilkan hasil yang tidak terduga atau gagal.

     • Nama subdirektori atau file tidak boleh berupa dua titik (..).

     • Jalur tidak boleh mengandung backslash (\) atau backslash berurutan (\\).

     • Nama subdirektori dan file tidak boleh mengandung garis miring (/).

   • Jika nama file bertabrakan dengan nama subdirektori, terjadi konflik objek dalam sistem file CPFS for Lingjun. Hanya salah satu operasi yang dijamin berhasil, sedangkan yang lainnya akan gagal.

   Parameter	Deskripsi
   Conflict Resolution Policy	Kebijakan yang menentukan cara menangani file dengan nama yang sama di sistem file CPFS for Lingjun dan bucket OSS. Skip Files with the Same Name (Default): Mengabaikan file dengan nama yang sama dan tidak menyinkronkannya. Keep the Latest File: Membandingkan waktu modifikasi (mtime) file dengan nama yang sama dan menyimpan versi yang paling baru diperbarui. Baik OSS maupun CPFS for Lingjun menggunakan waktu modifikasi untuk perbandingan. Overwrite Files with the Same Name: Menimpa file tujuan dengan versi dari bucket OSS. Pilih Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data.
   Data Type	Hanya tipe Data + Metadata yang didukung. Opsi ini mengimpor blok data dan metadata file.
   Specify OSS Object Prefix Subdirectory	Menentukan cakupan tugas impor. Dua mode didukung: Import all files under this OSS directory: Mengimpor semua file di bawah subdirektori yang ditentukan. Masukkan jalur relatif dalam OSS Object Prefix yang dimulai dan diakhiri dengan garis miring (/). Import files listed in a CSV file under this OSS directory: Mengimpor hanya file yang tercantum dalam file CSV. Setelah memilih mode ini, konfigurasikan lokasi daftar file CSV, yaitu direktori bucket OSS tempat file CSV disimpan. Jalur harus dimulai dan diakhiri dengan garis miring (/), panjangnya antara 1 hingga 1.023 karakter, dan hanya boleh berisi tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), dan tanda kurung (()). Untuk persyaratan format dan contoh daftar file CSV, lihat Format daftar file CSV. Catatan Jika direktori CPFS yang Anda konfigurasikan saat membuat dataflow tidak ada, Anda dapat memilih If the CPFS directory you created does not exist, the system automatically creates a CPFS directory. untuk mencegah kegagalan impor. Pembuatan direktori otomatis hanya didukung oleh CPFS for Lingjun versi 2.6.0 dan yang lebih baru.

   Ekspor data

   • Bucket OSS sumber harus memiliki Pengendalian versi yang diaktifkan. Jangan menangguhkan pengendalian versi selama alur data aktif, atau tugas ekspor akan gagal. Untuk informasi selengkapnya, lihat Pengantar pengendalian versi.

   • Ketika tautan simbolik disinkronkan ke OSS, sistem tidak menyinkronkan file yang ditunjuknya. Sebaliknya, tautan simbolik itu sendiri menjadi objek biasa kosong di OSS.

   • Tautan keras disinkronkan ke OSS sebagai file biasa.

   • File tipe Socket, Device, atau Pipe tidak dapat diekspor ke bucket OSS.

   • Jalur direktori yang lebih panjang dari 1.023 karakter tidak didukung.

   • Nama direktori dan file tidak boleh mengandung karakter khusus berikut. Jika tidak, tugas mungkin menghasilkan hasil yang tidak terduga atau gagal.

     • Nama subdirektori atau file tidak boleh berupa dua titik (..).

     • Jalur tidak boleh mengandung backslash (\) atau backslash berurutan (\\).

     • Nama subdirektori dan file tidak boleh mengandung garis miring (/).

   • CPFS for Lingjun mengekspor timestamp modifikasi file ke metadata kustom OSS bernama x-oss-meta-alihbr-sync-mtime. Jangan menghapus atau mengubah metadata ini, atau timestamp sistem file akan salah.

   Parameter	Deskripsi
   Conflict Resolution Policy	Kebijakan yang menentukan cara menangani file dengan nama yang sama di sistem file CPFS for Lingjun dan bucket OSS. Skip Files with the Same Name (Default): Mengabaikan file dengan nama yang sama dan tidak menyinkronkannya. Keep the Latest File: Membandingkan waktu modifikasi (mtime) file dengan nama yang sama dan menyimpan versi yang paling baru diperbarui. Baik OSS maupun CPFS for Lingjun menggunakan waktu modifikasi untuk perbandingan. Overwrite Files with the Same Name: Menimpa file tujuan dengan versi dari sistem file CPFS for Lingjun. Pilih Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data.
   Export Data Type	Hanya tipe Data + Metadata yang didukung. Opsi ini mengekspor blok data dan metadata file.
   Specify CPFS Subdirectory	Menentukan cakupan tugas ekspor. Dua mode didukung: Export all files under this CPFS directory: Mengekspor semua file di bawah subdirektori yang ditentukan. Masukkan jalur relatif dalam direktori CPFS yang dimulai dan diakhiri dengan garis miring (/). Contohnya, /cpfs/. Export all files listed in a CSV file: Mengekspor hanya file yang tercantum dalam file CSV. Setelah memilih mode ini, konfigurasikan lokasi daftar file CSV, yaitu direktori bucket OSS tempat file CSV disimpan. Perlu diperhatikan bahwa dalam skenario ekspor, file CSV juga disimpan di OSS. Aturan jalur sama seperti pada mode impor. Untuk persyaratan format dan contoh daftar file CSV, lihat Format daftar file CSV.

9. Klik OK.

Membatalkan tugas

Anda dapat membatalkan tugas alur data yang sedang Berjalan.

1. Pada tab Dataflow, temukan alur data target dan klik Task Management di kolom Actions.

2. Pada panel Task Management, temukan tugas target dan klik Cancel di kolom Actions.

3. Pada pesan konfirmasi yang muncul, klik OK.

Menyalin tugas

Anda dapat menyalin tugas untuk menjalankannya kembali.

1. Pada tab Dataflow, temukan alur data target dan klik Task Management di kolom Actions.

2. Pada panel Task Management, temukan tugas target. Lalu, klik ikon di kolom Actions dan pilih Copy.

3. Pada pesan konfirmasi yang muncul, klik OK.

Format daftar file CSV

Saat Anda mengimpor data dalam mode daftar file CSV, setiap file CSV harus memenuhi persyaratan format berikut:

1. File harus berisi kolom Name (tidak peka huruf besar/kecil) yang menentukan jalur relatif setiap file atau direktori. Kami menyarankan Anda juga menyertakan kolom Size (dalam byte) untuk meningkatkan kinerja pemisahan tugas. Jika tidak, sistem akan mengirim permintaan stat untuk setiap file guna mendapatkan ukurannya.

2. Ekstensi nama file harus berupa .csv atau .csv.*. File dengan ekstensi lain diabaikan.

3. Simpan file CSV di oss://bucket/<oss_prefix>/<csv_file_dir>/. Sistem hanya membaca file yang berada langsung di bawah direktori ini dan tidak melakukan traversal ke subdirektori.

4. Jika tugas menggunakan beberapa file CSV, simpan semuanya dalam direktori yang sama.

Contoh file CSV

Jalur yang diakhiri dengan garis miring (/) menunjukkan direktori. Jika tidak, menunjukkan file. Kolom Name wajib ada, dan baris header di baris pertama harus tersedia. Jika tidak, tugas akan mengembalikan error.

Name,Size
/dir1/dir2/,0
/dir1/file1,1048576
/dir2/file,2097152

Menampilkan penyebab kegagalan tugas

Ketika tugas alur data gagal, sistem akan menampilkan penyebab kegagalan atau menghasilkan laporan kegagalan. Anda dapat melihat penyebab atau mengunduh laporan tersebut di konsol untuk memecahkan masalah.

1. Pada tab Dataflow, temukan alur data target dan klik Task Management di kolom Actions.

2. Pada panel Task Management, temukan tugas target. Arahkan pointer ke ikon di samping status Failed untuk melihat penyebab atau mengunduh laporan kegagalan.

   Catatan

   Jika penyebab kegagalan tidak ditampilkan, laporan tidak tersedia, atau Anda tidak dapat menyelesaikan masalah berdasarkan laporan tersebut, untuk mendapatkan bantuan.

Menampilkan konfigurasi dan status tugas

Anda dapat melihat konfigurasi dan status tugas batch di konsol. Untuk melihat detail ini pada tugas streaming, panggil operasi API DescribeDataFlowTasks.

1. Pada tab Dataflow, temukan alur data target dan klik Task Management di kolom Actions.

2. Pada panel Task Management, lihat konfigurasi dan status Berjalan tugas.

   Parameter	Deskripsi
   Task ID	Identifier unik tugas alur data.
   Type	Jenis tugas. Nilai yang valid: Import atau Export.
   Conflict resolution policy	Kebijakan untuk menangani data dengan nama yang sama yang sudah ada di sistem file tujuan. Nilai yang valid: Skip Files with the Same Name (Default) Keep the Latest File Overwrite Files with the Same Name
   Source address	Jalur sumber, tujuan, dan subdirektori spesifik untuk transfer data.
   Destination address
   Source directory
   Total data scanned at source	Jumlah data yang dipindai di sumber, dalam byte.
   Data synchronized	Jumlah data yang telah disinkronkan, termasuk data yang dilewati, dalam byte.
   Data transferred	Jumlah aktual data yang ditransfer oleh tugas, dalam byte.
   Average speed	Kecepatan transfer rata-rata tugas alur data. Satuan: B/s.
   Time remaining	Perkiraan waktu tersisa hingga tugas selesai, berdasarkan kecepatan transfer saat ini.
   Time period	Waktu mulai dan selesai tugas.
   Progress	Progres eksekusi tugas saat ini. Satuan: %.
   Status	Status saat ini dari tugas. Nilai yang valid: Pending: Tugas alur data dibuat dan sedang menunggu dalam antrian. Executing: Tugas alur data sedang berlangsung. Failed: Tugas alur data gagal. Canceled: Tugas alur data dibatalkan dan tidak selesai. Canceling: Tugas alur data sedang dalam proses pembatalan. Completed: Tugas alur data selesai.
   File list path	Direktori bucket OSS yang menyimpan daftar file CSV. Bidang ini hanya ditampilkan untuk tugas yang menggunakan mode daftar file CSV. Untuk tugas lain, bidang ini kosong.

Menampilkan laporan tugas

Setelah tugas alur data selesai, sistem menghasilkan Skipped File Report, Failed File Report, atau Successful File Report, tergantung pada hasilnya. Anda dapat mengunduh laporan dari konsol untuk melihat informasi detail tentang file tersebut.

1. Pada tab Dataflow, temukan alur data target dan klik Task Management di kolom Actions.

2. Pada panel Task Management, temukan tugas target dan klik Download Task Report di kolom Actions.

3. Temukan laporan yang ingin Anda unduh dan klik ikon .

Menampilkan kinerja tugas atau mengonfigurasi aturan alert

Untuk melihat metrik kinerja tugas atau mengonfigurasi aturan alert, pastikan Anda menggunakan sistem file CPFS for Lingjun versi 2.6.0 ke atas dan telah membuat tugas alur data.

• Untuk melihat metrik kinerja utama tugas impor atau ekspor alur data, seperti throughput baca/tulis, IOPS baca/tulis, dan QPS metadata, lihat Menampilkan metrik kinerja CPFS.

• Untuk mengonfigurasi aturan alert untuk metrik pemantauan tertentu dari tugas alur data agar Anda dapat mendeteksi dan menangani anomali metrik secara tepat waktu, lihat Mengonfigurasi aturan alert dasar.