Cloud Parallel File Storage:Kelola tugas alur data

Deskripsi tugas

• Jenis tugas

  • Berdasarkan operasi data yang dilakukan, tugas diklasifikasikan menjadi tiga jenis: Impor, Ekspor, dan Evict.

    Jenis	Deskripsi
    Impor	Mengimpor data dari penyimpanan sumber ke sistem file CPFS. Jenis impor: Anda dapat mengimpor dua jenis data: Metadata dan Data (MetaAndData). Metadata: Hanya mengimpor metadata file. Data: Mengimpor metadata dan data file. Jalur impor: Jalur file di bucket OSS sumber. Tugas alur data mengimpor file ke fileset berdasarkan jalurnya di bucket OSS. Jika file atau direktori yang diimpor tidak memiliki atribut metadata POSIX, pemilik default adalah root dan izin default adalah 0770.
    Ekspor	Mengekspor direktori atau file tertentu dari fileset alur data ke bucket OSS. Jalur ekspor: Jalur file atau direktori dalam sistem file CPFS. Tugas alur data mengekspor file ke bucket berdasarkan jalurnya di fileset. Direktori kosong, tautan keras, dan tautan simbolik tidak dapat diekspor ke OSS. Ekspor metadata: Anda dapat mengekspor atribut CreateTime, ModifyTime, Ownership, dan Permission file ke bucket OSS. Namun, atribut ChangeTime tidak diekspor. Peringatan CPFS mengekspor metadata ke metadata kustom bucket OSS. Metadata tersebut diberi nama x-oss-meta-afm-xxx. Jangan menghapus atau mengubah metadata ini. Jika tidak, kesalahan dapat terjadi pada metadata sistem file.
    Evict	Melepaskan data file pada sistem file CPFS. Setelah evict, hanya metadata file yang tetap disimpan di sistem file CPFS. Anda masih dapat melihat file tersebut, tetapi blok datanya dihapus dan tidak lagi menempati ruang penyimpanan di sistem file CPFS. Saat Anda mengakses data file tersebut, data akan dimuat dari penyimpanan sumber, seperti OSS, sesuai permintaan. Catatan Sebelum melakukan evict terhadap file, pastikan versi terbaru file tersebut ada di bucket OSS.

  • Berdasarkan inisiatornya, tugas diklasifikasikan sebagai tugas pengguna atau tugas sistem.

    Jenis	Deskripsi
    Tugas pengguna	Tugas alur data yang dibuat di konsol atau dengan memanggil operasi API CreateDataFlowTask. Anda dapat mencari tugas pengguna di panel Dataflow > Task Management di konsol. Saat tugas pengguna selesai, laporan tugas dihasilkan dan disimpan ke direktori .dataflow_report sistem file CPFS.
    Tugas sistem	Tugas yang secara otomatis dihasilkan oleh CPFS setelah Anda mengaktifkan Automatic Metadata Update. Tugas ini menyinkronkan metadata file yang diperbarui dari bucket OSS ke CPFS. Tugas sistem dihasilkan secara otomatis pada interval Auto Update Interval (Minutes) yang ditentukan untuk menyinkronkan metadata file yang diperbarui dari bucket OSS. Anda dapat mencari tugas sistem di panel Dataflow > Task Management di konsol. Tugas sistem tidak menghasilkan laporan tugas.

• Cakupan eksekusi tugas

  Cakupan tugas dapat berupa direktori atau daftar file tertentu (EntryList). Jika cakupannya adalah direktori, tugas akan melakukan traversal semua file dalam struktur direktori tersebut.

Buat tugas alur data

1. Masuk ke Konsol NAS.

2. Di panel navigasi sebelah kiri, pilih File System > File System List.

3. Di bilah navigasi atas, pilih Wilayah.

4. Di halaman File System List, klik nama sistem file.

5. Di halaman detail sistem file, klik Dataflow.

6. Di tab Dataflow, temukan alur data target dan klik Task Management di kolom Tindakan.

7. Di panel Task Management, klik Create Job.

8. Di panel Create Job, konfigurasikan parameter untuk tugas tersebut.

   Impor data

   Item konfigurasi	Deskripsi
   Data Type	Pilih jenis data yang akan diimpor. Data: Mengimpor data dan metadata file. Metadata: Hanya mengimpor metadata file. Jika Anda hanya mengimpor metadata file, Anda hanya dapat mencari nama file. Saat Anda mengakses data, data tersebut akan dimuat dari sumber sesuai permintaan.
   Import File	Pilih direktori atau daftar file untuk tugas alur data. Import Objects from OSS: Direktori OSS yang ditentukan harus diawali dan diakhiri dengan garis miring maju (/). Import Listed Objects: Setiap baris dalam file merepresentasikan jalur file di bucket OSS. Direktori tidak didukung.

   Ekspor data

   • Direktori kosong, tautan keras, dan tautan simbolik tidak dapat diekspor ke bucket OSS.

   • Anda dapat mengekspor atribut CreateTime, ModifyTime, Ownership, dan Permission file ke bucket OSS. Namun, atribut ChangeTime tidak diekspor.

   • CPFS mengekspor metadata ke metadata kustom bucket OSS. Metadata tersebut diberi nama x-oss-meta-afm-xxx. Jangan menghapus atau mengubah metadata ini. Jika tidak, kesalahan metadata sistem file dapat terjadi.

     Item konfigurasi	Deskripsi
     Export File	Pilih direktori atau daftar file untuk tugas alur data. Export Files from CPFS: Direktori harus diawali dan diakhiri dengan garis miring (/) dan harus merupakan jalur direktori dalam sistem file CPFS. Export Listed Files: Setiap baris dalam file merepresentasikan jalur file dalam sistem file CPFS. Direktori tidak didukung.

   Hapus data

   Item konfigurasi	Deskripsi
   Delete File	Pilih direktori atau daftar file untuk tugas alur data. Delete Files from CPFS: Direktori harus diawali dan diakhiri dengan garis miring (/). Delete Listed Files: Setiap baris dalam file merepresentasikan jalur file dalam sistem file CPFS. Direktori tidak didukung.

9. Tinjau konfigurasi dan klik OK.

   Catatan

   Saat tugas alur data tertentu sedang Berjalan, tugas pembaruan data otomatis untuk alur data tersebut ditangguhkan.

Lihat laporan tugas

1. Masuk ke Konsol NAS.

2. Di panel navigasi sebelah kiri, pilih File System > File System List.

3. Di bilah navigasi atas, pilih Wilayah.

4. Di halaman File System List, klik nama sistem file.

5. Di halaman detail sistem file, klik Dataflow.

6. Di tab Dataflow, temukan alur data target dan klik Task Management di kolom Tindakan.

7. Di panel Task Management, temukan tugas yang ingin Anda lihat laporannya dan pilih > Report di kolom Tindakan.

8. Dapatkan jalur lengkap laporan tugas target dan unduh.

   Catatan

   • Laporan tugas hanya dihasilkan untuk tugas pengguna. Tugas sistem tidak menghasilkan laporan tugas.

   • Anda dapat melihat laporan tugas setelah tugas pengguna selesai. Laporan disimpan ke direktori .dataflow_report sistem file CPFS.

   Kode berikut memberikan contoh laporan tugas:

   SUMMARY,dataflowId,taskId,userId,fsId,startDate,endData,total,succ,skip,failed,throughput_MBps
   FILE,path,status,size
   
   SUMMARY,df-0001,task-0001,1001,cpfs-1234,1632477577,1632477677,18,10,1,7,0.01
   FILE,test1/object1,cached,131072
   FILE,test1/object2,cached,131072

   Kategori	Field	Deskripsi
   Statistik tugas (SUMMARY)	dataflowId	ID alur data.
   	taskId	ID tugas.
   	userId	ID pengguna.
   	fsId	ID sistem file.
   	startDate	Waktu mulai tugas, dalam detik sejak epoch.
   	endDate	Waktu akhir tugas, dalam detik sejak epoch.
   	total	Jumlah total file yang diproses oleh tugas.
   	succ	Jumlah file yang berhasil diproses.
   	skip	Jumlah file yang dilewati. Misalnya, file yang sudah diimpor dalam tugas impor.
   	failed	Jumlah file yang gagal diproses.
   	throughput_MBps	Laju throughput rata-rata selama eksekusi tugas, dalam MB/s.
   Informasi file (FILE)	path	Jalur file dalam fileset.
   	status	Status file. cached: File diimpor atau diekspor. uncached: File tidak diimpor. dirty: File dimodifikasi pada sistem file CPFS dan belum diekspor. NA: File tidak ada.
   	size	Ukuran file, dalam byte.

Operasi terkait