Cloud Parallel File Storage：Kelola tugas alur data

Informasi latar belakang

Tugas alur data yang Anda buat di Konsol NAS adalah tugas batch. Tugas alur data batch digunakan untuk mengimpor atau mengekspor semua file dari satu direktori ke direktori lain secara bersamaan. Anda tidak dapat menggunakan tugas alur data batch untuk mengimpor atau mengekspor file satu per satu. Jika Anda perlu mengimpor atau mengekspor file satu per satu, gunakan tugas alur data streaming dengan memanggil Operasi API. Untuk informasi lebih lanjut, lihat Praktik Terbaik Tugas Alur Data Streaming.

Prasyarat

• Alur data telah dibuat. Untuk informasi lebih lanjut, lihat bagian Buat Alur Data dalam Akun yang Sama atau Buat Alur Data Lintas Akun dari topik "Kelola Alur Data".

• Pengendalian versi harus diaktifkan untuk bucket Object Storage Service (OSS) sumber yang terkait dengan sistem file CPFS for Lingjun jika Anda membuat tugas alur data untuk mengekspor data. Jangan nonaktifkan pengendalian versi saat menggunakan fitur alur data. Jika tidak, kesalahan akan dilaporkan saat menjalankan tugas alur data untuk mengekspor data. Untuk informasi lebih lanjut, lihat Pengendalian Versi.

Buat tugas

1. Masuk ke Konsol NAS.

2. Di panel navigasi sebelah kiri, pilih File System > File System List.

3. Di bilah navigasi atas, pilih Wilayah.

4. Di halaman File System List, klik nama sistem file CPFS for Lingjun yang ingin Anda kelola.

5. Di halaman detail sistem file, klik Dataflow di panel sebelah kiri.

6. Di halaman Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Aksi.

7. Di panel Task Management, klik Create Job.

8. Di panel Create Job, buat berbagai jenis tugas dan konfigurasikan tugas tersebut.

   Impor data

   • Setelah tautan simbolik diimpor ke CPFS for Lingjun, tautan simbolik tersebut dikonversi menjadi file data biasa yang tidak mengandung informasi tautan simbolik.

   • Jika sebuah OSS bucket berisi data dari beberapa versi, hanya data dari versi terbaru yang diimpor.

   • Nama file atau subdirektori bisa mencapai panjang maksimal 255 byte.

   • Nama file atau direktori tidak boleh mengandung karakter khusus berikut. Jika tidak, hasil yang tidak terduga mungkin terjadi atau tugas mungkin gagal.

     • Nama subdirektori atau file tidak boleh mengandung dua titik berturut-turut (..).

     • Path subdirektori atau file tidak boleh mengandung backslash (\) dan backslash berturut-turut (\\).

     • Nama subdirektori atau file tidak boleh mengandung forward slash (/).

   • Jika sebuah file dan subdirektori memiliki nama yang sama, konflik objek terjadi di sistem file CPFS for Lingjun. Dalam kasus ini, hanya satu objek dengan nama tersebut yang dapat diimpor.

   Parameter	Deskripsi
   Conflict Resolution Policy	Kebijakan penanganan ketika ada file dengan nama yang sama di sistem file CPFS for Lingjun dan bucket OSS. Lewati File dengan Nama yang Sama (default): Abaikan file dengan nama yang sama dan jangan sinkronkan mereka. Simpan yang Terbaru: Bandingkan waktu pembaruan (mtime) dari file dengan nama yang sama dan simpan versi terbaru. OSS menggunakan waktu modifikasi, dan CPFS menggunakan waktu modifikasi. Timpah File dengan Nama yang Sama: Timpa file dengan nama yang sama dengan versi OSS. Pilih Overwrite The Existing Files With The Same Name On The Target End With The Current Source Files. Please Ensure You Have Backed Up Important Data.
   Data Type	Tipe data yang akan diimpor. Atur nilainya menjadi Data + Metadata. Nilai ini menentukan bahwa blok data dan metadata dari suatu objek diimpor.
   Specify OSS Object Prefix Subdirectory	Direktori atau daftar file yang datanya ingin Anda impor. Pilih Impor Objek dari OSS. Anda harus menentukan path relatif dengan awalan objek OSS yang ditentukan. Path OSS yang Anda tentukan harus dimulai dan diakhiri dengan garis miring maju (/). Catatan Jika path sistem file CPFS yang Anda tentukan untuk alur data tidak ada, Anda dapat memilih If the CPFS directory you created does not exist, the system automatically creates a CPFS directory untuk mencegah kegagalan impor data. Hanya CPFS for Lingjun V2.6.0 dan yang lebih baru yang mendukung pembuatan direktori otomatis.

   Ekspor data

   • Pastikan bahwa pengendalian versi diaktifkan untuk bucket OSS sumber yang terkait dengan sistem file CPFS for Lingjun Anda. Jangan nonaktifkan pengendalian versi saat menggunakan fitur alur data. Jika tidak, kesalahan akan dilaporkan saat menjalankan tugas alur data untuk mengekspor data. Untuk informasi lebih lanjut, lihat Pengendalian Versi.

   • Setelah tautan simbolik disinkronkan ke OSS, file yang ditunjuk oleh tautan simbolik tidak disinkronkan ke OSS. Dalam hal ini, tautan simbolik dikonversi menjadi objek biasa yang tidak mengandung data.

   • Tautan keras hanya dapat disinkronkan ke OSS sebagai file biasa yang tidak mengandung informasi tautan.

   • File dari tipe Socket, Device, atau Pipe tidak dapat diekspor ke bucket OSS.

   • Path direktori bisa mencapai panjang maksimal 1.023 karakter.

   • Nama file atau direktori tidak boleh mengandung karakter khusus berikut. Jika tidak, hasil yang tidak terduga mungkin terjadi atau tugas mungkin gagal.

     • Nama subdirektori atau file tidak boleh mengandung dua titik berturut-turut (..).

     • Path subdirektori atau file tidak boleh mengandung backslash (\) dan backslash berturut-turut (\\).

     • Nama subdirektori atau file tidak boleh mengandung forward slash (/).

   • CPFS for Lingjun mengekspor atribut timestamp Modifikasi File ke metadata kustom bucket OSS. Bidang metadata diberi nama x-oss-meta-alihbr-sync-mtime dan tidak dapat dihapus atau dimodifikasi. Jika tidak, kesalahan terjadi saat Anda mengakses atribut timestamp Modifikasi File dari sistem file.

   Parameter	Deskripsi
   Conflict Resolution Policy	Kebijakan yang digunakan ketika sistem file CPFS for Lingjun dan bucket OSS memiliki objek dengan nama yang sama. Nilai valid: Skip Files with the Same Name (Default): mengabaikan objek dengan nama yang sama dan tidak menyinkronkan objek tersebut. Keep the Latest File: membandingkan waktu pembaruan (mtime) dari objek dengan nama yang sama dan menyimpan objek terbaru. Baik OSS maupun CPFS for Lingjun menggunakan waktu modifikasi untuk perbandingan. Overwrite Files with the Same Name: mengganti objek dengan nama yang sama di bucket OSS dengan file sumber di sistem file CPFS for Lingjun. Pilih Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data.
   Export Data Type	Tipe data yang akan diekspor. Pilih Data + Metadata. Nilai ini menentukan bahwa blok data dan metadata dari suatu file diekspor.
   Specify CPFS Subdirectory	Direktori atau daftar file yang datanya ingin Anda ekspor. Pilih Ekspor File dari CPFS. Anda harus menentukan direktori di direktori CPFS yang ditentukan. Direktori yang Anda tentukan harus dimulai dan diakhiri dengan garis miring maju (/), seperti /cpfs/.

9. Klik OK.

Batalkan tugas

Anda dapat membatalkan tugas alur data yang sedang berjalan di konsol.

1. Di halaman Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Aksi.

2. Di panel Task Management, temukan tugas yang ingin Anda batalkan, dan klik Cancel.

3. Di pesan yang muncul, klik OK.

Salin tugas

Anda dapat menyalin tugas alur data yang dijalankan untuk menjalankan tugas tersebut lagi.

1. Di halaman Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Aksi.

2. Di panel Task Management, temukan tugas yang ingin Anda salin, gerakkan pointer ke ikon di kolom Aksi, dan kemudian pilih Copy.

3. Di pesan yang muncul, klik OK.

Lihat penyebab kegagalan tugas

Jika tugas alur data gagal, sistem menampilkan penyebab kegagalan atau menghasilkan laporan tugas tentang kegagalan. Anda dapat melihat penyebab kegagalan atau mengunduh laporan tugas di konsol NAS dan menyelesaikan masalah tersebut.

1. Di halaman Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Aksi.

2. Di panel Task Management, temukan tugas yang gagal dan gerakkan pointer ke ikon di sebelah Failed di kolom Status untuk melihat penyebab kegagalan atau mengunduh laporan tugas.

   Catatan

   Jika tidak ada penyebab kegagalan yang ditampilkan, tidak ada laporan tugas yang dihasilkan, atau Anda tidak dapat menyelesaikan masalah berdasarkan penyebab kegagalan atau laporan tugas, kirim tiket untuk pemecahan masalah.

Lihat informasi konfigurasi tugas dan status berjalan

Anda dapat melihat informasi konfigurasi dan status berjalan dari tugas batch di konsol. Jika Anda ingin melihat informasi konfigurasi dan status berjalan dari tugas streaming, Anda dapat melakukan kueri dengan memanggil API DescribeDataFlowTasks.

1. Di halaman Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Aksi.

2. Di panel Task Management, lihat informasi konfigurasi dan status berjalan dari tugas alur data.

   Parameter	Deskripsi
   ID Tugas	Pengenal unik dari tugas alur data.
   Tipe	Tipe tugas alur data, termasuk impor data atau ekspor data.
   Kebijakan Penyelesaian Konflik	Kebijakan yang digunakan ketika sistem file CPFS for Lingjun dan bucket OSS memiliki objek dengan nama yang sama. Nilai valid: Skip Files with the Same Name (Default) Keep the Latest File Overwrite Files with the Same Name
   Alamat sumber data	Path lengkap dari data yang ditransmisikan dari sumber ke tujuan dalam tugas alur data.
   Alamat tujuan data
   Direktori sumber data
   Total jumlah data yang dipindai di sumber	Jumlah data yang dipindai di sumber. Unit: byte.
   Jumlah sumber data yang disinkronkan	Jumlah data (termasuk data yang dilewati) untuk mana tugas alur data selesai. Unit: byte.
   Jumlah aktual data yang ditransmisikan	Jumlah aktual data yang ditransmisikan dalam tugas alur data. Unit: byte.
   Kecepatan rata-rata	Kecepatan rata-rata data yang ditransmisikan dalam tugas alur data. Unit: Byte/detik.
   Durasi tersisa	Perkiraan waktu yang diperlukan untuk menyelesaikan tugas alur data berdasarkan kecepatan saat ini.
   Periode waktu	Periode waktu dari waktu mulai hingga waktu akhir tugas alur data.
   Kemajuan	Kemajuan eksekusi dalam persentase dari tugas alur data saat ini. Unit: %.
   Status	Status eksekusi dari tugas alur data saat ini. Nilai valid: Tertunda: Tugas alur data telah dibuat dan belum dimulai. Menjalankan: Tugas alur data sedang dijalankan. Gagal: Tugas alur data gagal dijalankan. Dibatalkan: Tugas alur data dibatalkan dan tidak selesai. Membatalkan: Tugas alur data sedang dibatalkan. Selesai: Tugas alur data selesai.

Lihat laporan tugas

Setelah tugas alur data selesai, sistem menghasilkan Skipped File Report, Failed File Report, atau Successful File Report berdasarkan skenario aktual. Anda dapat mengunduh laporan dari konsol dan melihat detail tugas.

1. Di halaman Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Aksi.

2. Di panel Task Management, temukan tugas yang selesai, dan klik Download Task Report.

3. Konfirmasi laporan yang ingin Anda unduh dan klik .

Lihat pemantauan kinerja atau konfigurasikan aturan peringatan

Untuk melihat pemantauan kinerja atau mengonfigurasi aturan peringatan dari tugas, pastikan Anda menggunakan sistem file CPFS for Lingjun V2.6.0 atau yang lebih baru, dan tugas alur data telah dibuat.

• Jika Anda ingin mengetahui detail kinerja dari impor data atau ekspor data dari tugas alur data, seperti throughput baca/tulis, IOPS baca/tulis, dan QPS metadata, lihat Lihat Data Pemantauan Kinerja Sistem File CPFS.

• Jika Anda ingin mengonfigurasi aturan peringatan untuk metrik tertentu dari tugas alur data untuk membantu Anda mengidentifikasi pengecualian dan menangani pengecualian sesegera mungkin, lihat Konfigurasikan Aturan Peringatan Dasar.