Membuat alur data antara sistem file CPFS General-purpose atau CPFS for Lingjun dan penyimpanan sumber.
Deskripsi operasi
Operasi ini berlaku untuk produk berikut:
| Produk | Format ID sistem file | Versi minimum yang mendukung alur data |
| CPFS General-purpose | Dimulai dengan cpfs-, misalnya cpfs-125487**** | 2.2.0 atau lebih baru |
| CPFS for Lingjun | Dimulai dengan bmcpfs-, misalnya bmcpfs-0015**** | 2.4.0 atau lebih baru |
CPFS General-purpose dan CPFS for Lingjun menggunakan kumpulan API yang sama, tetapi berbeda dalam nilai parameter dan dukungan fitur. Lihat bagian yang sesuai berdasarkan jenis produk Anda.
-
Operasi dasar
Anda hanya dapat membuat alur data ketika sistem file CPFS General-purpose atau CPFS for Lingjun berada dalam status Running.
Maksimal 10 alur data dapat dibuat untuk satu sistem file CPFS General-purpose atau CPFS for Lingjun.
Pembuatan alur data biasanya memakan waktu 2 hingga 5 menit. Anda dapat memanggil DescribeDataFlows untuk memeriksa apakah alur data telah dibuat.
-
Izin.
Saat Anda membuat alur data, Cloud Parallel File Storage mengaitkan peran terkait layanan
AliyunServiceRoleForNasOssDataflowdanAliyunServiceRoleForNasEventNotification. Untuk informasi lebih lanjut, lihat Peran terkait layanan CPFS. -
Catatan penggunaan untuk CPFS General-purpose.
Bagian ini berlaku untuk sistem file CPFS General-purpose yang ID-nya dimulai dengan
cpfs-.-
Penagihan
Pembuatan alur data menimbulkan biaya berdasarkan bandwidth alur data. Untuk informasi lebih lanjut, lihat Penagihan CPFS General-purpose.
Saat Anda menggunakan penyegaran otomatis (AutoRefresh), EventBridge mengumpulkan event modifikasi objek dari penyimpanan OSS sumber, yang menimbulkan biaya. Untuk informasi lebih lanjut, lihat Penagihan EventBridge.
-
Spesifikasi alur data
Bandwidth alur data (Throughput) mendukung tiga spesifikasi: 600 MB/s, 1200 MB/s, dan 1500 MB/s. Bandwidth alur data merujuk pada bandwidth transfer maksimum yang dapat dicapai oleh alur data selama impor atau ekspor data.
Pembuatan alur data mengonsumsi satu alamat IP vSwitch yang digunakan oleh titik pemasangan Cloud Parallel File Storage. Pastikan sumber daya IP vSwitch tersedia cukup.
Pemeriksaan inventaris: Ketika DryRun diatur ke true, Anda dapat memverifikasi apakah Sumber daya yang diperlukan untuk membuat alur data dengan spesifikasi tertentu tersedia.
-
Fileset
Tujuan alur data adalah Fileset dalam sistem file CPFS General-purpose. Fileset adalah struktur pohon direktori baru dalam sistem file CPFS General-purpose. Ini adalah sistem file kecil di dalam sistem file induk yang memiliki ruang inode dan kemampuan manajemen independen.
Fileset harus sudah ada saat Anda membuat alur data dan tidak boleh bersarang dengan Fileset lain. Hanya satu alur data yang dapat dibuat pada sebuah Fileset, yang berkorespondensi dengan satu penyimpanan sumber.
Jumlah maksimum file dalam sebuah Fileset adalah 1 juta. Jika jumlah file yang diimpor dari bucket OSS melebihi batas ini, pembuatan file baru akan mengembalikan error
no space.
CatatanJika data sudah ada di Fileset, data yang ada di Fileset akan dibersihkan dan diganti dengan data yang disinkronkan dari OSS setelah alur data dibuat.
-
Penyegaran otomatis
Setelah penyegaran otomatis (AutoRefresh) dikonfigurasi, ketika data di penyimpanan sumber berubah, metadata yang berubah secara otomatis disinkronkan ke sistem file Cloud Parallel File Storage. Data yang berubah dimuat sesuai permintaan saat pengguna mengakses file, atau dimuat dengan memulai Tugas alur kerja.
Penyegaran otomatis bergantung pada EventBridge untuk mengumpulkan event modifikasi objek dari penyimpanan OSS sumber. Anda harus terlebih dahulu mengaktifkan EventBridge.
Cakupan (dalam OAuth) penyegaran otomatis adalah awalan, yang ditentukan oleh parameter RefreshPath. Maksimal 5 direktori penyegaran otomatis dapat dikonfigurasi untuk sebuah alur data.
Interval penyegaran otomatis (AutoRefreshInterval) menentukan interval di mana Cloud Parallel File Storage memeriksa apakah ada pembaruan data di awalan tertentu dari bucket OSS sumber. Jika ada pembaruan data, tugas penyegaran otomatis dimulai. Ketika frekuensi event modifikasi objek di OSS sumber melebihi kapasitas pemrosesan alur data Cloud Parallel File Storage, tugas penyegaran otomatis menumpuk, pembaruan metadata tertunda, dan status alur data menjadi
Misconfigured. Anda dapat menyelesaikan masalah ini dengan meningkatkan spesifikasi alur data atau mengurangi frekuensi modifikasi OSS.Ketika penyegaran otomatis dikonfigurasi untuk awalan dalam alur data Cloud Parallel File Storage, event bus dibuat di sisi pengguna, dan aturan event dibuat untuk awalan bucket OSS sumber. Ketika modifikasi objek terjadi di awalan bucket OSS sumber, event OSS dihasilkan di EventBridge dan diproses oleh alur data Cloud Parallel File Storage.
CatatanEvent bus dan aturan event yang dibuat oleh Cloud Parallel File Storage di EventBridge memiliki deskripsi
Create for cpfs auto refresh. Jangan memodifikasi atau menghapus event bus atau aturan event. Jika tidak, penyegaran otomatis tidak berfungsi dengan benar. -
Penyimpanan sumber
Hanya OSS yang didukung sebagai penyimpanan sumber. Penyimpanan sumber (SourceStorage) dari alur data harus berupa bucket OSS.
Alur data Cloud Parallel File Storage mendukung akses terenkripsi dan tidak terenkripsi ke OSS. Saat Anda memilih akses terenkripsi (SSL) ke OSS, konfirmasi bahwa pengaturan enkripsi dalam transit bucket OSS mendukung akses terenkripsi.
Jika beberapa alur data Cloud Parallel File Storage atau beberapa alur data dari sistem file Cloud Parallel File Storage yang sama menggunakan bucket OSS yang sama sebagai penyimpanan sumber, aktifkan pengendalian versi untuk bucket OSS untuk mencegah konflik data ketika beberapa sistem file Cloud Parallel File Storage mengekspor data ke sumber yang sama.
- Alur data OSS lintas wilayah tidak didukung. Bucket OSS harus berada di wilayah yang sama dengan sistem file Cloud Parallel File Storage.
Catatan
Sebelum membuat alur data, atur tag (kunci: cpfs-dataflow, nilai: true) pada bucket OSS sumber agar alur data Cloud Parallel File Storage dapat mengakses data di bucket tersebut. Jangan menghapus atau memodifikasi tag ini selama penggunaan alur data. Jika tidak, alur data Cloud Parallel File Storage tidak dapat mengakses data di bucket tersebut.
-
-
Catatan penggunaan untuk CPFS for Lingjun.
Bagian ini berlaku untuk sistem file CPFS for Lingjun yang ID-nya dimulai dengan
bmcpfs-.-
Penyimpanan sumber
Hanya OSS yang didukung sebagai penyimpanan sumber. Penyimpanan sumber (SourceStorage) dari alur data harus berupa bucket OSS.
Alur data CPFS for Lingjun mendukung akses terenkripsi dan tidak terenkripsi ke OSS. Saat Anda memilih akses terenkripsi (SSL) ke OSS, pastikan enkripsi dalam transit bucket OSS mendukung akses terenkripsi.
Jika beberapa alur data CPFS for Lingjun atau beberapa alur data dari sistem file CPFS for Lingjun yang sama menggunakan bucket OSS yang sama sebagai penyimpanan sumber, aktifkan pengendalian versi untuk bucket OSS untuk mencegah konflik data ketika beberapa sistem file CPFS for Lingjun mengekspor data ke sumber yang sama.
Alur data OSS lintas wilayah tidak didukung. Bucket OSS harus berada di wilayah yang sama dengan sistem file CPFS for Lingjun.
CPFS for Lingjun 2.6.0 atau lebih baru mendukung pembuatan alur data dengan OSS lintas akun.
Parameter ID akun hanya diperlukan saat Anda menggunakan OSS lintas akun.
- Saat Anda menggunakan OSS lintas akun, otorisasi akun terlebih dahulu. Untuk informasi lebih lanjut, lihat Otorisasi alur data lintas akun.
Catatan
Sebelum membuat alur data, atur tag (kunci: cpfs-dataflow, nilai: true) pada bucket OSS sumber agar alur data CPFS for Lingjun dapat mengakses data di bucket tersebut. Jangan menghapus atau memodifikasi tag ini selama penggunaan alur data. Jika tidak, alur data CPFS for Lingjun tidak dapat mengakses data di bucket tersebut.
-
Pembatasan alur data pada sistem file.
Di jalur sistem file yang terkait dengan alur data, Anda tidak dapat mengganti nama direktori yang tidak kosong. Jika tidak, error Permission Denied atau directory not empty akan dikembalikan.
Gunakan karakter khusus dalam nama direktori dan file dengan hati-hati. Karakter yang didukung termasuk huruf besar dan kecil, digit, tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), asterisk (*), dan tanda kurung ().
Jalur yang terlalu panjang tidak didukung. Panjang jalur maksimum yang didukung oleh alur data adalah 1023 karakter.
-
Pembatasan impor alur data.
Setelah file Symlink diimpor ke CPFS for Lingjun, file tersebut diubah menjadi file reguler yang berisi data, dan informasi Symlink hilang.
Jika bucket OSS memiliki beberapa versi, hanya versi terbaru yang disalin.
Nama file atau nama subdirektori yang lebih panjang dari 255 byte tidak didukung.
-
Pembatasan ekspor alur data
Setelah file Symlink disinkronkan ke OSS, file yang ditunjuk oleh Symlink tidak disinkronkan. Sebaliknya, Symlink menjadi objek kosong reguler tanpa data.
File Hardlink disinkronkan ke OSS sebagai file reguler.
File Socket, Device, dan Pipe yang diekspor ke bucket OSS menjadi objek kosong reguler tanpa data.
Jalur direktori yang lebih panjang dari 1023 karakter tidak didukung.
-
Coba sekarang
Test
RAM authorization
|
Action |
Access level |
Resource type |
Condition key |
Dependent action |
|
nas:CreateDataFlow |
create |
*DataFlow
|
None | None |
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| FileSystemId |
string |
Yes |
ID sistem file.
|
cpfs-099394bd928c**** |
| FsetId |
string |
No |
Token klien yang digunakan untuk memastikan idempotensi permintaan. Anda dapat menggunakan klien untuk menghasilkan token, tetapi Anda harus memastikan bahwa token unik di antara permintaan yang berbeda. Token hanya dapat berisi karakter ASCII dan tidak boleh melebihi 64 karakter. Untuk informasi lebih lanjut, lihat Cara memastikan idempotensi. Catatan
Jika Anda tidak menentukan parameter ini, sistem secara otomatis menggunakan nilai RequestId sebagai nilai ClientToken. Nilai RequestId mungkin berbeda untuk setiap permintaan API. |
123e4567-e89b-12d3-a456-42665544**** |
| SourceStorage |
string |
Yes |
Apakah akan menjalankan dry run untuk permintaan ini. Dry run memeriksa validitas parameter dan ketersediaan Sumber daya tanpa benar-benar membuat instans atau menimbulkan biaya. Nilai valid:
|
false. |
| SourceSecurityType |
string |
No |
Deskripsi alur data. Batasan:
|
Bucket01 DataFlow. |
| Throughput |
integer |
No |
Jenis perlindungan keamanan penyimpanan sumber. Jika penyimpanan sumber harus diakses melalui perlindungan keamanan, tentukan jenis perlindungan keamanan. Nilai valid:
Valid values:
|
SSL. |
| Description |
string |
No |
Alamat akses penyimpanan sumber. Format: Di mana:
Catatan
|
oss://178321033379****:bucket-01 |
| AutoRefreshs |
array<object> |
No |
Jalur akses dalam bucket penyimpanan sumber. Batasan:
Catatan
Parameter ini diperlukan ketika jenis sistem file adalah CPFS for Lingjun. |
/awalan/ |
|
object |
No |
|||
| RefreshPath |
string |
No |
Direktori pembaruan otomatis. CPFS General-purpose mendaftarkan event modifikasi data dari penyimpanan sumber dan memeriksa apakah data di direktori ini telah diperbarui, lalu secara otomatis mengimpor data yang diperbarui. Nilai default kosong, yang berarti pembaruan data di penyimpanan sumber tidak diimpor secara otomatis ke CPFS General-purpose. Anda harus membuat tugas secara manual untuk mengimpor pembaruan. Batasan:
|
/prefix1/prefix2/ |
| AutoRefreshPolicy |
string |
No |
ID Fileset. Catatan
Parameter ini diperlukan ketika jenis sistem file adalah CPFS General-purpose. Valid values:
|
fset-1902718ea0ae**** |
| AutoRefreshInterval |
integer |
No |
Direktori dalam sistem file CPFS for Lingjun. Batasan:
Catatan
Parameter ini diperlukan ketika jenis sistem file adalah CPFS for Lingjun. |
/path/ |
| DryRun |
boolean |
No |
Kumpulan konfigurasi penyegaran otomatis. Catatan
Parameter ini hanya berlaku ketika jenis sistem file adalah CPFS General-purpose. |
false |
| ClientToken |
string |
No |
Kebijakan penyegaran otomatis. Menentukan kebijakan untuk mengimpor pembaruan data dari penyimpanan sumber ke CPFS General-purpose setelah data sumber diperbarui.
Catatan
Parameter ini hanya berlaku ketika jenis sistem file adalah CPFS General-purpose. Valid values:
|
None. |
| SourceStoragePath |
string |
No |
Interval penyegaran otomatis. CPFS General-purpose memeriksa direktori untuk pembaruan data pada interval ini. Jika ada pembaruan data, tugas penyegaran otomatis dimulai. Unit: menit. Nilai valid: 10 hingga 525600. Nilai default: 10. Catatan
Parameter ini hanya berlaku ketika jenis sistem file adalah CPFS General-purpose. |
10 |
| FileSystemPath |
string |
No |
Bandwidth transfer maksimum alur data. Unit: MB/s. Nilai valid:
Catatan
Bandwidth transfer alur data harus kurang dari bandwidth I/O sistem file. Parameter ini diperlukan ketika jenis sistem file adalah CPFS General-purpose. Valid values:
|
600 |
Elemen respons
|
Element |
Type |
Description |
Example |
|
object |
|||
| RequestId |
string |
ID permintaan. |
473469C7-AA6F-4DC5-B3DB-A3DC0D****3E |
| DataFlowId |
string |
ID alur data. |
df-194433a5be31**** |
Contoh
Respons sukses
JSONformat
{
"RequestId": "473469C7-AA6F-4DC5-B3DB-A3DC0D****3E",
"DataFlowId": "df-194433a5be31****"
}
Kode kesalahan
|
HTTP status code |
Error code |
Error message |
Description |
|---|---|---|---|
| 400 | IllegalCharacters | The parameter contains illegal characters. | Parameter tidak valid. |
| 400 | MissingFsetId | FsetId is mandatory for this action. | Parameter ID Fileset tidak ditentukan. |
| 400 | MissingSourceStorage | SourceStorage is mandatory for this action. | Parameter SourceStorage tidak ditentukan. |
| 400 | MissingThroughput | Throughput is mandatory for this action. | Parameter Throughput tidak ditentukan. |
| 400 | MissingFileSystemId | FileSystemId is mandatory for this action. | Parameter FileSystemId tidak ditentukan. |
| 400 | InvalidFilesystemVersion.NotSupport | This Api does not support this fileSystem version. | Operasi saat ini tidak mendukung versi sistem file ini. |
| 400 | DataFlow.Bucket.RegionUnmatched | The bucket and file system are not in the same region. | Bucket dan sistem file tidak berada di wilayah yang sama. |
| 400 | Oss.Path.Conflict | The OSS directory conflicts and is occupied by other data flow tasks. | Direktori OSS berkonflik dengan direktori lain yang sudah ditempati oleh tugas alur kerja data lainnya. |
| 403 | OperationDenied.DependencyViolation | The operation is denied due to dependancy violation. | Kondisi untuk operasi ini tidak terpenuhi. |
| 403 | OperationDenied.NoStock | The operation is denied due to no stock. | |
| 403 | OperationDenied.DependFset | The operation is denied due to invalid fileset state. | Gagal membuat dataflow karena fileset berada dalam status abnormal. |
| 403 | OperationDenied.ConflictOperation | The operation is denied due to a conflict with an ongoing operation. | Dataflow tidak dapat dibuat karena bertabrakan dengan operasi sistem file saat ini. |
| 403 | OperationDenied.DependMountpoint | The operation is denied because no mount point is found. | Gagal membuat dataflow karena sistem file tidak memiliki Titik pemasangan. |
| 403 | OperationDenied.FsetAlreadyInUse | The Fset is already bound to another data flow. | Fset sedang digunakan. |
| 403 | OperationDenied.AutoRefreshNotSupport | The operation is denied. Auto refresh is not supported. | Sistem file tidak mendukung pembaruan otomatis. |
| 403 | OperationDenied.DependBucketTag | The operation is denied. The OSS Bucket tag cpfs-dataflow is missing. | Gagal membuat dataflow karena bucket OSS tidak memiliki tag cpfs-dataflow. |
| 403 | OperationDenied.DataFlowNotSupported | The operation is not supported. | Sistem file tidak mendukung dataflow. |
| 403 | InvalidOperation.DeletionProtection | The operation is not allowed due to resource is protected by deletion protection. | Instans memiliki perlindungan penghapusan yang diaktifkan dan tidak dapat dirilis melalui konsol atau API. |
| 403 | DataFlow.Bucket.AccessDenied | Bucket access denied. | Error otentikasi alur data. |
| 404 | InvalidFileSystem.NotFound | The specified file system does not exist. | Sistem file yang ditentukan tidak ada. |
| 404 | InvalidThroughput.OutOfBounds | Throughput is out of bounds. | Throughput yang ditentukan tidak berada dalam rentang valid. |
| 404 | InvalidDescription.InvalidFormat | Description format is invalid. | Format deskripsi yang ditentukan tidak valid. |
| 404 | InvalidRefreshPath.InvalidParameter | Refresh path is invalid. | Jalur direktori pembaruan otomatis yang ditentukan tidak valid. |
| 404 | InvalidRefreshPath.Duplicated | Refresh path is duplicated. | Jalur direktori pembaruan otomatis yang ditentukan duplikat. |
| 404 | InvalidRefreshPath.NotFound | Refresh path does not exist. | Direktori pembaruan otomatis yang ditentukan tidak ada. |
| 404 | InvalidRefreshPolicy.InvalidParameter | Refresh policy is invalid. | Kebijakan pembaruan otomatis tidak valid. |
| 404 | InvalidRefreshInterval.OutOfBounds | Refresh interval is out of bounds. | RefreshInterval yang ditentukan tidak berada dalam rentang yang valid. |
| 404 | InvalidSourceStorage.Unreachable | Source storage cannot be accessed. | Penyimpanan sumber tidak dapat diakses. |
| 404 | InvalidSourceStorage.NotFound | Source storage is not found. | Penyimpanan sumber yang ditentukan tidak ada. |
| 404 | InvalidSourceStorage.NotSupport | Source storage type is not supported. | Jenis penyimpanan sumber yang ditentukan tidak didukung. |
| 404 | InvalidSourceStorage.PermissionDenied | The source storage access permission is denied. | Anda tidak memiliki izin akses untuk penyimpanan sumber. Periksa otorisasi peran terkait layanan dan tag akses penyimpanan sumber. |
| 404 | InvalidSourceStorage.InvalidRegion | Source storage region is invalid. | Wilayah penyimpanan sumber tidak normal. Periksa apakah penyimpanan sumber dan sistem file CPFS berada di wilayah yang sama. |
| 404 | InvalidSourceStorage.InvalidParameter | Source storage has invalid parameters. | Jalur penyimpanan sumber yang ditentukan tidak valid. |
| 404 | InvalidSourceSecurityType.NotSupport | The source security type is not supported. | Jenis perlindungan keamanan dari penyimpanan sumber yang ditentukan tidak didukung. |
| 404 | InvalidAutoRefresh.TooManyAutoRefreshes | The number of auto refreshes exceeds the limit. | Jumlah konfigurasi pembaruan otomatis yang ditentukan melebihi batas. |
| 404 | InvalidSourceStorage.NeedVersioning | Source storage must enable versioning. | Fitur pengendalian versi harus diaktifkan untuk penyimpanan sumber. |
| 404 | InvalidFsetId.NotFound | The specified Fileset ID does not exist. | Fileset yang ditentukan tidak ada. |
| 404 | DataFlow.Bucket.NotExist | Bucket does not exist. | Bucket tidak ada. |
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.