Cloud Parallel File Storage:Mengelola tugas alur data

Tugas

• Jenis tugas

  • Berdasarkan operasi data yang dilakukan, tugas diklasifikasikan menjadi tiga jenis: import, export, dan evict.

    Type	Description
    Import	Mengimpor data dari storage sumber ke sistem file CPFS. Jenis impor: Anda dapat mengimpor dua jenis data: Metadata dan Data (MetaAndData). Metadata: Hanya mengimpor metadata file. Data: Mengimpor metadata dan data file. Jalur impor: Jalur file di bucket OSS. Tugas alur data mengimpor file ke fileset berdasarkan jalurnya di bucket OSS. Jika file atau direktori yang diimpor tidak memiliki atribut metadata POSIX, pemilik default adalah root dan izin default adalah 0770.
    Export	Mengekspor direktori atau file tertentu dari fileset alur data ke bucket OSS. Jalur ekspor: Jalur file atau direktori di sistem file CPFS. Tugas alur data mengekspor file ke bucket berdasarkan jalurnya di fileset. Direktori kosong, hard link, dan symbolic link tidak dapat diekspor ke OSS. Ekspor metadata: Anda dapat mengekspor atribut CreateTime, ModifyTime, Ownership, dan Permission file ke bucket OSS. Namun, atribut ChangeTime tidak diekspor ke OSS. Peringatan CPFS mengekspor metadata ke metadata kustom bucket OSS. Metadata tersebut diberi nama x-oss-meta-afm-xxx. Jangan menghapus atau mengubah metadata ini. Jika dilakukan, kesalahan metadata sistem file mungkin terjadi.
    Evict	Melepaskan data file pada sistem file CPFS. Setelah file di-evict, hanya metadata-nya yang tetap disimpan di sistem file CPFS. Anda masih dapat melihat file tersebut, tetapi blok datanya dihapus dan tidak lagi menggunakan ruang penyimpanan. Saat Anda mengakses file tersebut, datanya dimuat sesuai permintaan dari storage sumber, seperti OSS. Catatan Sebelum melakukan evict terhadap file, pastikan versi terbaru file tersebut tersedia di bucket OSS.

  • Berdasarkan inisiatornya, tugas diklasifikasikan sebagai user task atau system task.

    Type	Description
    user task	Tugas alur data yang Anda buat di konsol atau dengan memanggil operasi API CreateDataFlowTask. Anda dapat mengkueri user task pada panel Dataflow > Task Management di konsol. Saat user task selesai, laporan tugas dihasilkan dan disimpan ke direktori .dataflow_report di sistem file CPFS.
    system task	Tugas yang secara otomatis dihasilkan oleh CPFS setelah Anda mengaktifkan Automatic Metadata Update. Tugas ini menyinkronkan metadata file yang diperbarui dari bucket OSS ke CPFS. System task dihasilkan secara otomatis pada Metadata Refresh Interval (minutes) yang ditentukan untuk menyinkronkan metadata file yang diperbarui dari bucket OSS. Anda dapat mengkueri system task pada panel Dataflow > Task Management di konsol. System task tidak menghasilkan laporan tugas.

• Cakupan eksekusi tugas

  Cakupan tugas dapat berupa direktori atau daftar file tertentu (EntryList). Jika cakupannya adalah direktori, tugas akan melakukan traversal semua file dalam struktur direktori tersebut.

Buat tugas alur data

1. Login ke Konsol NAS.

2. Pada panel navigasi kiri, pilih File System > File System List.

3. Pada bilah navigasi atas, pilih wilayah.

4. Pada halaman File System List, klik nama sistem file.

5. Pada halaman detail sistem file, klik Dataflow.

6. Pada tab Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Actions.

7. Pada panel Task Management, klik Create Job.

8. Pada panel Create Job, buat tugas sesuai jenis yang diperlukan dan konfigurasikan parameternya.

   Import data

   Parameter	Description
   Data Type	Pilih jenis data yang akan diimpor. Data: Mengimpor blok data dan metadata file. Metadata: Hanya mengimpor metadata file. Jika Anda hanya mengimpor metadata file, Anda hanya dapat mengkueri nama file. Saat mengakses file tersebut, datanya dimuat dari storage sumber sesuai permintaan.
   Specify OSS Object Prefix Subdirectory	Pilih direktori atau daftar file untuk tugas alur data. Import Objects from OSS: Direktori OSS yang ditentukan harus diawali dan diakhiri dengan garis miring maju (/). Import Listed Objects: Setiap baris dalam file menentukan jalur file di bucket OSS. Direktori tidak didukung.

   Export data

   • Direktori kosong, hard link, dan symbolic link tidak dapat diekspor ke bucket OSS.

   • Anda dapat mengekspor atribut CreateTime, ModifyTime, Ownership, dan Permission file ke bucket OSS. Namun, atribut ChangeTime tidak diekspor ke OSS.

   • CPFS mengekspor metadata ke metadata kustom bucket OSS. Metadata tersebut diberi nama x-oss-meta-afm-xxx. Jangan menghapus atau mengubah metadata ini. Jika dilakukan, kesalahan metadata sistem file mungkin terjadi.

     Parameter	Description
     Specify CPFS Subdirectory	Pilih direktori atau daftar file untuk tugas alur data. Export Files from CPFS: Direktori harus diawali dan diakhiri dengan garis miring maju (/) dan harus merupakan jalur direktori di sistem file CPFS. Export Listed Files: Setiap baris dalam file menentukan jalur file di sistem file CPFS. Direktori tidak didukung.

   Evict data

   Parameter	Description
   Delete File	Pilih direktori atau daftar file untuk tugas alur data. Delete Files from CPFS: Direktori harus diawali dan diakhiri dengan garis miring maju (/). Delete Listed Files: Setiap baris dalam file menentukan jalur file di sistem file CPFS. Direktori tidak didukung.

9. Tinjau konfigurasi dan klik OK.

   Catatan

   Saat tugas alur data yang dibuat pengguna sedang berjalan, pembaruan otomatis untuk alur data tersebut ditangguhkan.

Lihat laporan tugas

1. Login ke Konsol NAS.

2. Pada panel navigasi kiri, pilih File System > File System List.

3. Pada bilah navigasi atas, pilih wilayah.

4. Pada halaman File System List, klik nama sistem file.

5. Pada halaman detail sistem file, klik Dataflow.

6. Pada tab Dataflow, temukan alur data yang ingin Anda kelola dan klik Task Management di kolom Actions.

7. Pada panel Task Management, temukan tugas yang ingin Anda lihat laporannya dan klik Report di kolom Actions.

8. Dapatkan jalur lengkap laporan tugas dan unduh laporan tersebut.

   Catatan

   • Laporan tugas hanya dihasilkan untuk user task. System task tidak menghasilkan laporan tugas.

   • Anda dapat melihat laporan tugas setelah user task selesai. Laporan disimpan ke direktori .dataflow_report di sistem file CPFS.

   Kode berikut menyediakan contoh laporan tugas:

   SUMMARY,dataflowId,taskId,userId,fsId,startDate,endDate,total,succ,skip,failed,throughput_MBps
   FILE,path,status,size
   
   SUMMARY,df-0001,task-0001,1001,cpfs-1234,1632477577,1632477677,18,10,1,7,0.01
   FILE,test1/object1,cached,131072
   FILE,test1/object2,cached,131072

   Category	Field	Description
   Statistik tugas (SUMMARY)	dataflowId	ID alur data.
   	taskId	ID tugas.
   	userId	ID pengguna.
   	fsId	ID sistem file.
   	startDate	Waktu mulai tugas, dalam detik sejak epoch UNIX.
   	endDate	Waktu selesai tugas, dalam detik sejak epoch UNIX.
   	total	Jumlah total file yang diproses oleh tugas.
   	succ	Jumlah file yang berhasil diproses.
   	skip	Jumlah file yang dilewati. Misalnya, file yang sudah diimpor dalam tugas impor.
   	failed	Jumlah file yang gagal diproses.
   	throughput_MBps	Throughput rata-rata selama eksekusi tugas, dalam MB/s.
   Informasi file (FILE)	path	Jalur file di fileset.
   	status	Status file. cached: File diimpor atau diekspor. uncached: File tidak diimpor. dirty: File dimodifikasi di sistem file CPFS dan belum diekspor. NA: File tidak ada.
   	size	Ukuran file, dalam byte.

Operasi terkait