Cloud Parallel File Storage:Kelola tugas alur data

Ikhtisar tugas

• Jenis tugas

  • Tugas diklasifikasikan menjadi tiga jenis berdasarkan operasi datanya: import, export, dan evict.

    Type	Description
    Import	Mengimpor data dari storage sumber ke sistem file CPFS. Jenis impor: Anda dapat mengimpor dua jenis data: metadata dan data. Metadata: Hanya mengimpor metadata file. Data: Mengimpor metadata dan data file. Jalur impor: Jalur file sumber di Bucket OSS. Jika file atau direktori yang diimpor tidak memiliki atribut metadata POSIX, pemilik default adalah root dan izin default adalah 0770.
    Export	Mengekspor direktori atau file tertentu dari fileset alur data ke Bucket OSS. Jalur ekspor: Jalur file atau direktori dalam sistem file CPFS. Direktori kosong, hard link, dan symbolic link tidak dapat diekspor ke OSS. Ekspor metadata: Anda dapat mengekspor atribut CreateTime, ModifyTime, Ownership, dan Permission file ke Bucket OSS. Namun, atribut ChangeTime tidak diekspor ke Bucket OSS. Peringatan CPFS mengekspor metadata dengan nama x-oss-meta-afm-xxx ke metadata kustom Bucket OSS. Jangan menghapus atau mengubah metadata ini. Jika tidak, metadata dalam sistem file akan salah.
    Evict	Melepaskan data file dari sistem file CPFS. Setelah eviction, hanya metadata file yang tersisa. File tetap terlihat, namun blok datanya dihapus dan tidak lagi menempati storage space. Saat Anda mengakses file tersebut kembali, datanya dimuat sesuai permintaan dari storage sumber, seperti OSS. Catatan Sebelum melakukan eviction terhadap file, pastikan versi terbaru file tersebut ada di Bucket OSS.

  • Tugas juga diklasifikasikan berdasarkan inisiator menjadi tugas pengguna atau tugas sistem.

    Type	Description
    User task	Tugas alur data yang dibuat di konsol atau dengan memanggil Operasi API CreateDataFlowTask. Anda dapat melihatnya di panel Dataflow > Task Management di konsol. Setelah tugas pengguna selesai, CPFS menghasilkan laporan tugas dan menyimpannya ke direktori .dataflow_report pada sistem file CPFS.
    System task	Tugas yang secara otomatis dihasilkan oleh CPFS setelah Anda mengaktifkan Automatic Metadata Update. Tugas ini menyinkronkan metadata file yang diperbarui dari Bucket OSS ke CPFS. CPFS secara otomatis menghasilkan tugas sistem pada interval yang ditentukan dalam Metadata Refresh Interval (minutes) untuk menyinkronkan metadata file yang diperbarui dari Bucket OSS. Anda dapat menemukan informasinya di panel Dataflow > Task Management di konsol. Tugas sistem tidak menghasilkan laporan tugas.

• Cakupan eksekusi tugas

  Cakupan tugas dapat berupa direktori atau daftar file tertentu (EntryList). Jika cakupannya adalah direktori, tugas tersebut akan menelusuri semua file dalam struktur direktori tersebut.

Buat tugas alur data

1. Login ke NAS console.

2. Di panel navigasi kiri, pilih File System > File System List.

3. Di bilah navigasi atas, pilih Wilayah.

4. Pada halaman File System List, klik nama sistem file.

5. Pada halaman detail sistem file, klik Dataflow.

6. Di tab Dataflow, temukan alur data target dan klik Task Management.

7. Di panel Task Management, klik Create Job.

8. Di panel Create Job, Anda dapat membuat berbagai jenis tugas dan mengonfigurasi parameternya.

   Import data

   Parameter	Description
   Data Type	Pilih jenis data yang akan diimpor. Data: Mengimpor blok data dan metadata file. Metadata: Hanya mengimpor metadata file. Saat Anda hanya mengimpor metadata file, Anda hanya dapat mengkueri nama file. Saat mengakses file tersebut, datanya dimuat sesuai permintaan dari storage sumber.
   Import Objects from OSS	Pilih direktori atau daftar file yang akan diproses oleh tugas alur data. Import Objects from OSS: Direktori OSS yang ditentukan harus diawali dan diakhiri dengan garis miring maju (/). Import Listed Objects: Setiap baris dalam file menentukan jalur objek di Bucket OSS. Direktori tidak didukung.

   Export data

   • Direktori kosong, hard link, dan symbolic link tidak dapat diekspor ke Bucket OSS.

   • Anda dapat mengekspor atribut CreateTime, ModifyTime, Ownership, dan Permission file ke Bucket OSS. Namun, atribut ChangeTime tidak diekspor ke Bucket OSS.

   • CPFS mengekspor metadata ke metadata kustom Bucket OSS dengan nama x-oss-meta-afm-xxx. Anda tidak boleh menghapus atau mengubah metadata ini. Jika tidak, metadata dalam sistem file akan salah.

     Parameter	Description
     Specify CPFS subdirectory	Pilih direktori atau daftar file yang akan diproses oleh tugas alur data. Export Files from CPFS: Jalur direktori harus merupakan jalur dalam sistem file CPFS dan harus diawali serta diakhiri dengan garis miring maju (/). Export Listed Files: Setiap baris dalam file menentukan jalur file dalam sistem file CPFS. Direktori tidak didukung.

   Evict data

   Parameter	Description
   Delete File	Pilih direktori atau daftar file yang akan diproses oleh tugas alur data. Delete Files from CPFS: Jalur direktori harus diawali dan diakhiri dengan garis miring maju (/). Delete Listed Files: Setiap baris dalam file menentukan jalur file dalam sistem file CPFS. Direktori tidak didukung.

9. Tinjau pengaturan dan klik OK.

   Catatan

   Saat tugas alur data sedang Berjalan, CPFS menangguhkan tugas pembaruan data otomatis untuk alur data tersebut.

Lihat laporan tugas

1. Login ke NAS console.

2. Di panel navigasi kiri, pilih File System > File System List.

3. Di bilah navigasi atas, pilih Wilayah.

4. Pada halaman File System List, klik nama sistem file.

5. Pada halaman detail sistem file, klik Dataflow.

6. Di tab Dataflow, temukan alur data target dan klik Task Management.

7. Di panel Task Management, temukan tugas target dan di kolom Actions, pilih > Report.

8. Dapatkan jalur lengkap laporan tugas target dan unduh laporan tersebut.

   Catatan

   • Hanya tugas pengguna yang menghasilkan laporan tugas; tugas sistem tidak.

   • Setelah tugas pengguna selesai, laporan disimpan ke direktori .dataflow_report pada sistem file CPFS.

   Berikut ini contoh laporan tugas:

   SUMMARY,dataflowId,taskId,userId,fsId,startDate,endData,total,succ,skip,failed,throughput_MBps
   FILE,path,status,size
   
   SUMMARY,df-0001,task-0001,1001,cpfs-1234,1632477577,1632477677,18,10,1,7,0.01
   FILE,test1/object1,cached,131072
   FILE,test1/object2,cached,131072

   Category	Field	Description
   Statistik tugas (SUMMARY)	dataflowId	ID alur data.
   	taskId	ID tugas.
   	userId	ID pengguna.
   	fsId	ID sistem file.
   	startDate	Waktu mulai tugas, dalam detik sejak epoch.
   	endDate	Waktu selesai tugas, dalam detik sejak epoch.
   	total	Jumlah total file yang diproses oleh tugas.
   	succ	Jumlah file yang berhasil diproses oleh tugas.
   	skip	Jumlah file yang dilewati oleh tugas, seperti file yang sudah ada untuk tugas impor.
   	failed	Jumlah file yang gagal diproses oleh tugas.
   	throughput_MBps	Throughput rata-rata selama eksekusi tugas, dalam MB/s.
   Informasi file (FILE)	path	Jalur file dalam fileset.
   	status	Status file. cached: File diimpor atau diekspor. uncached: File tidak diimpor. dirty: File dimodifikasi dalam sistem file CPFS dan belum diekspor. NA: File tidak ada.
   	size	Ukuran file, dalam byte.

Operasi terkait