Fitur alur data memungkinkan Cloud Parallel File Storage (CPFS) bertukar data dengan Object Storage Service (OSS). Anda dapat membuat tugas alur data untuk menyinkronkan data antara sumber yang berbeda.
Informasi latar belakang
Setelah Anda membuat alur data antara fileset CPFS dan bucket OSS, sistem file CPFS secara otomatis menyinkronkan metadata objek dari bucket OSS tersebut. Setelah sinkronisasi, Anda dapat mengakses dan memproses data dari bucket OSS melalui sistem file CPFS menggunakan antarmuka file berkinerja tinggi yang kompatibel dengan POSIX. Anda juga dapat mengekspor data ke bucket OSS dari Konsol CPFS atau menggunakan OpenAPI.
Pemuatan sesuai permintaan
Setelah alur data dibuat antara sistem file CPFS dan bucket OSS, sistem file CPFS secara otomatis memuat metadata atau data yang diperlukan dari bucket OSS saat Anda mengakses direktori atau file dalam sistem file CPFS. Misalnya, ketika Anda menjalankan perintah ls untuk mencantumkan direktori yang terhubung ke bucket OSS, metadata direktori yang diperlukan dimuat dari OSS. Saat Anda mengakses sebuah file, blok data file yang diperlukan dimuat dari OSS.
Impor dan ekspor data
Anda dapat membuat tugas alur data untuk mengimpor atau mengekspor data antara CPFS dan OSS sehingga data dapat disinkronkan ke sistem file CPFS berkinerja tinggi sebelum tugas komputasi dimulai. Anda dapat menggunakan CPFS untuk mengimpor atau mengekspor seluruh struktur direktori atau daftar file sesuai kebutuhan Anda. Detail eksekusi tersedia dalam laporan tugas setelah tugas selesai.
PentingCPFS mengekspor metadata ke metadata kustom objek OSS. Metadata ini diberi nama
x-oss-meta-afm-xxx. Jangan menghapus atau mengubah metadata ini. Jika tidak, kesalahan metadata sistem file dapat terjadi.Laporan tugas hanya sebagai referensi. Status akhir data di tujuan setelah alur data selesai merupakan catatan resmi. Anda bertanggung jawab untuk melakukan verifikasi konsistensi data antara sumber dan tujuan.
Pembaruan metadata otomatis
CPFS dapat melacak perubahan data di OSS dengan memantau event modifikasi data OSS. CPFS secara otomatis menyinkronkan data baru ke sistem file CPFS. Hal ini memastikan konsistensi data antara CPFS dan OSS serta mengurangi biaya operasi dan pemeliharaan (O&M).
Skalabilitas elastis
Alur data mendukung penskalaan otomatis bandwidth. Anda dapat menskalakan bandwidth berdasarkan lalu lintas.
Batasan
Fileset
Fileset hanya didukung di CPFS 2.2.0 dan versi yang lebih baru.
Satu sistem file CPFS mendukung maksimal 10 fileset.
Fileset dapat ditautkan ke direktori hingga kedalaman delapan level dalam sistem file CPFS.
Fileset dapat berisi hingga 1 juta file atau direktori.
Fileset bersarang tidak didukung.
Alur data
Alur data hanya didukung di CPFS 2.2.0 dan versi yang lebih baru.
Satu sistem file CPFS mendukung maksimal 10 alur data.
Satu alur data dapat memiliki maksimal lima direktori pembaruan otomatis.
Fileset dalam sistem file CPFS hanya dapat ditautkan ke satu bucket OSS.
Catatan tugas alur data disimpan hingga maksimal 90 hari.
Laporan tugas alur data disimpan dalam sistem file CPFS dan menggunakan ruang penyimpanan, dengan kapasitas maksimum hingga 1 juta laporan.
Anda tidak dapat membuat alur data antara sistem file CPFS dan bucket OSS di wilayah yang berbeda.
Batasan alur data pada sistem file
Dalam fileset yang dikaitkan dengan alur data, jangan mengganti nama direktori yang tidak kosong. Jika tidak, Anda mungkin menerima error
Permission Deniedatau error "direktori tidak kosong".Alur data tidak mendukung objek Archive atau Cold Archive di OSS.
Gunakan karakter khusus dalam nama direktori dan file dengan hati-hati. Karakter yang didukung meliputi huruf besar dan kecil, angka, tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), tanda bintang (*), dan tanda kurung ().
Jalur panjang tidak didukung. Panjang jalur maksimum untuk alur data adalah 1.023 karakter.
Batasan pada ekspor data
Alur data tidak mendukung ekspor hard link atau tautan simbolik ke bucket OSS.
Alur data tidak mendukung ekspor direktori kosong ke bucket OSS.
Alur data tidak mendukung ekspor properti ChangeTime ke bucket OSS.
Ketika alur data mengekspor data sparse, bagian berlubang bernilai nol diisi dengan padding sebelum diekspor ke bucket OSS.
Batasan pada pembaruan metadata otomatis
Fitur pembaruan metadata otomatis hanya tersedia di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Chengdu), Tiongkok (Shanghai), Tiongkok (Shenzhen), Tiongkok (Zhangjiakou), dan Tiongkok (Beijing).
Prosedur
Buat fileset CPFS. Untuk informasi selengkapnya, lihat Buat fileset.
Buat alur data. Untuk informasi selengkapnya, lihat Buat alur data.
Buat tugas impor data, ekspor data, atau penghapusan data. Untuk informasi selengkapnya, lihat Buat tugas alur data.
Verifikasi data. Setelah tugas alur data selesai, Anda harus memverifikasi data di tujuan untuk memastikan akurasinya.
PeringatanJika Anda menghapus data sumber sebelum memverifikasi bahwa data telah ditransfer ke tujuan dengan benar, Anda sepenuhnya bertanggung jawab atas kehilangan data yang terjadi dan semua konsekuensinya.
Metrik kinerja
Jenis operasi | Metrik | Deskripsi |
Impor data | Throughput untuk file lebih besar dari 1 GB |
|
OPS untuk file skala megabyte | Impor direktori tunggal dan multi-direktori: 1.000. | |
Ekspor data | Throughput untuk file lebih besar dari 1 GB |
|
OPS untuk file skala megabyte | Ekspor direktori tunggal dan multi-direktori: 600. | |
Penghapusan data | OPS | Penghapusan direktori tunggal dan multi-direktori: 2.000. |
Pemuatan sesuai permintaan (lazy load) | Throughput untuk file lebih besar dari 1 GB |
|
OPS untuk file skala megabyte | Impor direktori tunggal dan multi-direktori: 1.000. | |
Pembaruan metadata otomatis | OPS |
|