CreateDataFlow - Cloud Parallel File Storage - Alibaba Cloud Documentation Center

Membuat aliran data antara sistem file CPFS General-purpose atau CPFS for Lingjun dan penyimpanan sumber.

Deskripsi operasi

Operasi ini berlaku untuk produk berikut:

Produk	Format ID sistem file	Versi minimum yang mendukung aliran data
CPFS General-purpose	Dimulai dengan `cpfs-`, misalnya cpfs-125487****	2.2.0 dan yang lebih baru
CPFS for Lingjun	Dimulai dengan `bmcpfs-`, misalnya bmcpfs-0015****	2.4.0 dan yang lebih baru

Catatan

CPFS General-purpose dan CPFS for Lingjun menggunakan kumpulan operasi API yang sama, tetapi berbeda dalam nilai parameter dan dukungan fitur. Lihat bagian yang sesuai berdasarkan jenis produk Anda.

Operasi dasar
- Anda hanya dapat membuat aliran data ketika sistem file CPFS General-purpose atau CPFS for Lingjun berada dalam status Running.
- Maksimal 10 aliran data dapat dibuat untuk satu sistem file CPFS General-purpose atau CPFS for Lingjun.
- Pembuatan aliran data biasanya memakan waktu 2 hingga 5 menit. Anda dapat memanggil DescribeDataFlows untuk memeriksa apakah aliran data telah dibuat.
Izin.

Saat Anda membuat aliran data, Cloud Parallel File Storage (CPFS) mendapatkan dua peran terkait layanan: AliyunServiceRoleForNasOssDataflow dan AliyunServiceRoleForNasEventNotification. Untuk informasi lebih lanjut, lihat Peran terkait layanan CPFS.
Catatan penggunaan untuk CPFS General-purpose.

Bagian ini berlaku untuk sistem file CPFS General-purpose yang ID-nya dimulai dengan cpfs-.
- Penagihan
  - Pembuatan aliran data dikenakan biaya berdasarkan bandwidth aliran data. Untuk informasi lebih lanjut, lihat Penagihan CPFS General-purpose.
  - Saat Anda menggunakan fitur pembaruan otomatis (AutoRefresh), EventBridge mengumpulkan event modifikasi objek dari penyimpanan sumber OSS, yang dikenakan biaya. Untuk informasi lebih lanjut, lihat Penagihan EventBridge.
- Spesifikasi aliran data
  - Bandwidth aliran data (Throughput) mendukung tiga spesifikasi: 600 MB/s, 1200 MB/s, dan 1500 MB/s. Bandwidth aliran data mengacu pada bandwidth transfer maksimum yang dapat dicapai oleh aliran data selama impor atau ekspor data.
  - Pembuatan aliran data mengonsumsi satu alamat IP vSwitch yang digunakan oleh Titik pemasangan Cloud Parallel File Storage General-purpose. Pastikan sumber daya IP vSwitch yang tersedia mencukupi.
  - Pemeriksaan inventaris: Saat DryRun diatur ke true, Anda dapat memverifikasi apakah sumber daya yang diperlukan untuk membuat aliran data dengan spesifikasi tertentu tersedia.
- Fileset
  - Tujuan aliran data adalah Fileset dalam sistem file CPFS General-purpose. Fileset adalah struktur pohon direktori baru dalam sistem file CPFS General-purpose. Ini adalah sistem file kecil di dalam sistem file induk yang memiliki ruang inode dan kemampuan manajemen independen.
  - Fileset harus sudah ada saat Anda membuat aliran data, dan tidak dapat disarangkan dengan Fileset lain. Hanya satu aliran data yang dapat dibuat pada satu Fileset, yang sesuai dengan satu penyimpanan sumber.
  - Jumlah maksimum file dalam Fileset adalah 1.000.000. Jika jumlah file yang diimpor dari bucket OSS melebihi batas ini, pembuatan file baru akan mengembalikan error no space.
Catatan
Jika data sudah ada di Fileset, data yang ada di Fileset akan dihapus dan diganti dengan data yang disinkronkan dari OSS setelah aliran data dibuat.
- Pembaruan otomatis
  - Setelah Anda mengonfigurasi pembaruan otomatis (AutoRefresh), ketika data di penyimpanan sumber berubah, metadata yang berubah akan disinkronkan secara otomatis ke sistem file Cloud Parallel File Storage General-purpose. Data yang berubah akan dimuat sesuai permintaan saat pengguna mengakses file, atau dimuat dengan memulai node aliran data untuk memuat data.
  - Sinkronisasi otomatis bergantung pada EventBridge untuk mengumpulkan event modifikasi objek dari penyimpanan sumber OSS. Anda harus terlebih dahulu mengaktifkan EventBridge.
  - cakupan pembaruan otomatis adalah awalan, yang ditentukan oleh parameter RefreshPath. Maksimal 5 folder pembaruan otomatis dapat dikonfigurasi untuk satu aliran data.
  - Interval pembaruan otomatis (AutoRefreshInterval) adalah pengatur waktu pembaruan otomatis yang ditetapkan oleh Cloud Parallel File Storage General-purpose untuk memeriksa apakah pembaruan data ada di awalan bucket OSS sumber yang ditentukan. Jika pembaruan data ada, node sinkronisasi otomatis akan dimulai. Ketika frekuensi event modifikasi objek di OSS sumber melebihi kapasitas pemrosesan aliran data Cloud Parallel File Storage General-purpose, node sinkronisasi otomatis akan menumpuk, pembaruan metadata tertunda, dan status aliran data berubah menjadi Misconfigured. Anda dapat menyelesaikan masalah ini dengan meningkatkan spesifikasi aliran data atau mengurangi frekuensi modifikasi OSS.
  - Saat Cloud Parallel File Storage General-purpose mengonfigurasi pembaruan otomatis untuk sebuah awalan, event bus dibuat di sisi pengguna, dan aturan event dibuat untuk awalan bucket OSS sumber. Ketika objek dimodifikasi di awalan bucket OSS sumber, event OSS dihasilkan di EventBridge dan diproses oleh aliran data Cloud Parallel File Storage General-purpose.
  Catatan
  Event bus dan aturan event yang dibuat oleh Cloud Parallel File Storage General-purpose di EventBridge memiliki deskripsi Create for cpfs auto refresh. Jangan memodifikasi atau menghapus event bus atau aturan event ini. Jika tidak, sinkronisasi otomatis tidak akan berfungsi dengan benar.
- Penyimpanan sumber
  - Hanya OSS yang didukung sebagai penyimpanan sumber. Penyimpanan sumber (SourceStorage) dari aliran data harus berupa bucket OSS.
  - Aliran data Cloud Parallel File Storage General-purpose mendukung akses terenkripsi dan tidak terenkripsi ke OSS. Saat Anda memilih akses terenkripsi (SSL) ke OSS, pastikan pengaturan enkripsi dalam transit bucket OSS mendukung akses terenkripsi.
  - Jika beberapa aliran data Cloud Parallel File Storage General-purpose, atau beberapa aliran data dari sistem file Cloud Parallel File Storage General-purpose yang sama, menggunakan bucket OSS yang sama sebagai penyimpanan sumber, aktifkan Pengendalian versi untuk bucket OSS guna mencegah konflik data ketika beberapa sistem file Cloud Parallel File Storage General-purpose mengekspor data ke sumber yang sama. Prosedur ini diperlukan untuk menghindari konflik data.
  - Aliran data OSS lintas wilayah tidak didukung. Bucket OSS harus berada di wilayah yang sama dengan sistem file Cloud Parallel File Storage General-purpose.
    Catatan
    Sebelum membuat aliran data, tetapkan label (kunci: cpfs-dataflow, nilai: true) pada bucket OSS sumber agar aliran data Cloud Parallel File Storage General-purpose dapat mengakses data di bucket tersebut. Jangan menghapus atau memodifikasi label ini saat aliran data sedang digunakan. Jika tidak, aliran data Cloud Parallel File Storage General-purpose tidak dapat mengakses data di bucket tersebut.
Catatan penggunaan untuk CPFS for Lingjun.

Bagian ini berlaku untuk sistem file CPFS for Lingjun yang ID-nya dimulai dengan bmcpfs-.
- Penyimpanan sumber
  - Hanya OSS yang didukung sebagai penyimpanan sumber. Penyimpanan sumber (SourceStorage) dari aliran data harus berupa bucket OSS.
  - Aliran data CPFS for Lingjun mendukung akses terenkripsi dan tidak terenkripsi ke OSS. Saat Anda memilih akses terenkripsi (SSL) ke OSS, pastikan pengaturan enkripsi dalam transit bucket OSS mendukung akses terenkripsi.
  - Jika beberapa aliran data CPFS for Lingjun, atau beberapa aliran data dari sistem file CPFS for Lingjun yang sama, menggunakan bucket OSS yang sama sebagai penyimpanan sumber, aktifkan Pengendalian versi untuk bucket OSS guna mencegah konflik data ketika beberapa sistem file CPFS for Lingjun mengekspor data ke sumber yang sama.
  - Aliran data OSS lintas wilayah tidak didukung. Bucket OSS harus berada di wilayah yang sama dengan sistem file CPFS for Lingjun.
  - CPFS for Lingjun 2.6.0 dan yang lebih baru mendukung pembuatan aliran data dengan OSS lintas akun.
  - Parameter ID akun hanya diperlukan saat Anda menggunakan OSS lintas akun.
  - Saat Anda menggunakan OSS lintas akun, otorisasi akun terlebih dahulu. Untuk informasi lebih lanjut, lihat Otorisasi aliran data lintas akun.
    Catatan
    Sebelum membuat aliran data, tetapkan tag (kunci: cpfs-dataflow, nilai: true) pada bucket OSS sumber agar aliran data CPFS for Lingjun dapat mengakses data di bucket tersebut. Jangan menghapus atau memodifikasi tag ini saat aliran data sedang digunakan. Jika tidak, aliran data CPFS for Lingjun tidak dapat mengakses data di bucket tersebut.
- Pembatasan aliran data pada sistem file.
  - Pada jalur sistem file yang terkait dengan aliran data, Anda tidak dapat mengganti nama direktori yang tidak kosong. Jika tidak, error Permission Denied atau directory not empty akan dikembalikan.
  - Gunakan karakter khusus dalam nama direktori dan file dengan hati-hati. Karakter berikut didukung: huruf besar dan kecil, digit, tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), tanda bintang (*), dan tanda kurung (()).
  - Jalur yang terlalu panjang tidak didukung. Panjang jalur maksimum yang didukung oleh aliran data adalah 1023 karakter.
- Pembatasan impor aliran data.
  - Setelah file symlink diimpor ke CPFS for Lingjun, file tersebut dikonversi menjadi file reguler yang berisi data, dan informasi symlink hilang.
  - Jika bucket OSS memiliki beberapa versi, hanya versi terbaru yang disalin.
  - Nama file atau nama subdirektori yang lebih panjang dari 255 byte tidak didukung.
- Pembatasan ekspor aliran data
  - Setelah file symlink disinkronkan ke OSS, file yang ditunjuk oleh symlink tidak disinkronkan. Sebagai gantinya, symlink menjadi objek kosong reguler tanpa data.
  - File hardlink disinkronkan ke OSS hanya sebagai file reguler.
  - File Socket, Device, dan Pipe menjadi objek kosong reguler tanpa data saat diekspor ke bucket OSS.
  - Jalur direktori yang lebih panjang dari 1023 karakter tidak didukung.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tabel berikut menjelaskan otorisasi yang diperlukan untuk memanggil API ini. Anda dapat menentukannya dalam kebijakan Resource Access Management (RAM). Kolom pada tabel dijelaskan sebagai berikut:

Action: Aksi yang dapat digunakan dalam elemen Action pada pernyataan kebijakan izin RAM untuk memberikan izin guna melakukan operasi tersebut.
API: API yang dapat Anda panggil untuk melakukan aksi tersebut.
Access level: Tingkat akses yang telah ditentukan untuk setiap API. Nilai yang valid: create, list, get, update, dan delete.
Resource type: Jenis resource yang mendukung otorisasi untuk melakukan aksi tersebut. Ini menunjukkan apakah aksi tersebut mendukung izin tingkat resource. Resource yang ditentukan harus kompatibel dengan aksi tersebut. Jika tidak, kebijakan tersebut tidak akan berlaku.
- Untuk API dengan izin tingkat resource, jenis resource yang diperlukan ditandai dengan tanda bintang (*). Tentukan Nama Sumber Daya Alibaba Cloud (ARN) yang sesuai dalam elemen Resource pada kebijakan.
- Untuk API tanpa izin tingkat resource, ditampilkan sebagai All Resources. Gunakan tanda bintang (*) dalam elemen Resource pada kebijakan.
Condition key: Kunci kondisi yang didefinisikan oleh layanan. Kunci ini memungkinkan kontrol granular, berlaku baik hanya untuk aksi maupun untuk aksi yang terkait dengan resource tertentu. Selain kunci kondisi spesifik layanan, Alibaba Cloud menyediakan serangkaian common condition keys yang berlaku di semua layanan yang didukung RAM.
Dependent action: Aksi dependen yang diperlukan untuk menjalankan aksi tersebut. Untuk menyelesaikan aksi tersebut, pengguna RAM atau role RAM harus memiliki izin untuk melakukan semua aksi dependen.

Action

Access level

Resource type

Condition key

Dependent action

nas:CreateDataFlow

create

*DataFlow

acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

None

Parameter permintaan

Parameter	Type	Required	Description	Example
FileSystemId	string	Yes	ID sistem file. CPFS General-purpose: harus dimulai dengan `cpfs-`, misalnya cpfs-125487**. CPFS for Lingjun: harus dimulai dengan `bmcpfs-`, misalnya bmcpfs-0015**.	cpfs-099394bd928c****
FsetId	string	No	ID Fileset. Catatan Parameter ini diperlukan ketika jenis sistem file adalah CPFS General-purpose.	fset-1902718ea0ae****
SourceStorage	string	Yes	Alamat akses penyimpanan sumber. Format: `<storage type>://[<account id>:]<path>`. Di mana: storage type: hanya oss yang didukung. account id: opsional. UID akun yang memiliki penyimpanan sumber. Parameter ini diperlukan saat Anda menggunakan OSS lintas akun. path: nama bucket OSS. Batasan: Hanya huruf kecil, digit, dan tanda hubung (-) yang didukung. Nama harus dimulai dan diakhiri dengan huruf kecil atau digit. Panjang maksimum adalah 128 karakter. Pengodean UTF-8 digunakan. Catatan Bucket OSS harus berupa bucket yang sudah ada di wilayah tersebut. Parameter account id hanya didukung oleh CPFS for Lingjun 2.6.0 dan yang lebih baru.	oss://178321033379****:bucket-01
SourceSecurityType	string	No	Jenis perlindungan keamanan penyimpanan sumber. Jika penyimpanan sumber harus diakses melalui perlindungan keamanan, tentukan jenis perlindungan keamanan. Nilai valid: None (default): Penyimpanan sumber tidak memerlukan perlindungan keamanan untuk akses. SSL: Akses dilindungi oleh sertifikat SSL.	SSL
Throughput	integer	No	Bandwidth transfer maksimum aliran data. Unit: MB/s. Nilai valid: 600 1200 1500 Catatan Bandwidth transfer aliran data harus lebih kecil dari bandwidth I/O sistem file. Parameter ini diperlukan ketika jenis sistem file adalah CPFS General-purpose. Valid values: 600 : 600MB/s 1200 : 1200MB/s 1500 : 1500MB/s 2000 : 2000MB/s	600
Description	string	No	Deskripsi aliran data. Batasan: Deskripsi harus memiliki panjang 2 hingga 128 karakter. Deskripsi harus dimulai dengan huruf dan tidak dapat dimulai dengan `http://` atau `https://`. Deskripsi dapat berisi digit, titik dua (:), garis bawah (_), dan tanda hubung (-).	Bucket01 DataFlow
AutoRefreshs	array<object>	No	Konfigurasi pembaruan otomatis. Catatan Parameter ini hanya berlaku ketika jenis sistem file adalah CPFS General-purpose.
	object	No
RefreshPath	string	No	Direktori pembaruan otomatis. CPFS General-purpose mendaftarkan event modifikasi data dari penyimpanan sumber dan memeriksa apakah data di direktori ini telah diperbarui, lalu secara otomatis mengimpor data yang diperbarui. Nilai default kosong, yang berarti pembaruan data di penyimpanan sumber tidak diimpor secara otomatis ke CPFS General-purpose. Anda harus membuat tugas secara manual untuk mengimpor pembaruan. Batasan: Jalur harus memiliki panjang 2 hingga 1024 karakter. Pengodean UTF-8 digunakan. Jalur harus dimulai dan diakhiri dengan garis miring (/). Direktori harus berupa direktori yang sudah ada dalam sistem file CPFS General-purpose dan harus berada di dalam direktori Fileset aliran data.	/prefix1/prefix2/
AutoRefreshPolicy	string	No	Kebijakan pembaruan otomatis yang menentukan bagaimana pembaruan data dari penyimpanan sumber diimpor ke CPFS General-purpose. None (default): Pembaruan data dari penyimpanan sumber tidak diimpor secara otomatis ke CPFS General-purpose. Anda dapat mengimpor pembaruan data dari penyimpanan sumber menggunakan tugas aliran data. ImportChanged: Pembaruan data dari penyimpanan sumber diimpor secara otomatis ke CPFS General-purpose. Catatan Parameter ini hanya berlaku ketika jenis sistem file adalah CPFS General-purpose. Valid values: ImportChanged : Pembaruan data dari penyimpanan sumber diimpor secara otomatis ke CPFS General-purpose. None : Pembaruan data dari penyimpanan sumber tidak diimpor secara otomatis ke CPFS General-purpose.	None
AutoRefreshInterval	integer	No	Interval pembaruan otomatis. CPFS General-purpose memeriksa direktori untuk pembaruan data pada interval ini dan memulai tugas pembaruan otomatis jika pembaruan data ada. Unit: menit. Nilai valid: 10 hingga 525600. Nilai default: 10. Catatan Parameter ini hanya berlaku ketika jenis sistem file adalah CPFS General-purpose.	10
DryRun	boolean	No	Apakah akan menjalankan dry run untuk permintaan ini. Dry run memeriksa validitas parameter dan ketersediaan sumber daya tanpa benar-benar membuat instans atau mengenakan biaya. Nilai valid: true: Mengirim permintaan dry run tanpa membuat instans. Item pemeriksaan mencakup parameter wajib, format permintaan, pembatasan bisnis, dan inventaris NAS. Jika pemeriksaan gagal, error yang sesuai akan dikembalikan. Jika pemeriksaan berhasil, kode status HTTP 200 dikembalikan, tetapi FileSystemId kosong. false (default): Mengirim permintaan normal dan membuat instans setelah pemeriksaan berhasil.	false
ClientToken	string	No	Memastikan idempotensi permintaan. Hasilkan nilai parameter dari klien Anda untuk memastikan bahwa nilai tersebut unik di berbagai permintaan. ClientToken hanya mendukung karakter ASCII dan tidak boleh melebihi 64 karakter. Untuk informasi lebih lanjut, lihat Cara memastikan idempotensi. Catatan Jika Anda tidak menentukan parameter ini, sistem secara otomatis menggunakan RequestId dari permintaan API sebagai ClientToken. RequestId mungkin berbeda untuk setiap permintaan API.	123e4567-e89b-12d3-a456-42665544****
SourceStoragePath	string	No	Jalur akses dalam bucket penyimpanan sumber. Batasan: Jalur harus dimulai dan diakhiri dengan garis miring (/). Jalur bersifat case-sensitive. Jalur harus memiliki panjang 1 hingga 1023 karakter. Pengodean UTF-8 digunakan. Catatan Parameter ini diperlukan ketika jenis sistem file adalah CPFS for Lingjun.	/prefix/
FileSystemPath	string	No	Direktori dalam sistem file CPFS for Lingjun. Batasan: Jalur harus dimulai dan diakhiri dengan garis miring (/). Direktori harus berupa direktori yang sudah ada dalam sistem file CPFS for Lingjun. Jalur harus memiliki panjang 1 hingga 1023 karakter. Pengodean UTF-8 digunakan. Catatan Parameter ini diperlukan ketika jenis sistem file adalah CPFS for Lingjun.	/path/

Elemen respons

Element	Type	Description	Example
	object
RequestId	string	ID permintaan.	473469C7-AA6F-4DC5-B3DB-A3DC0D****3E
DataFlowId	string	ID aliran data.	df-194433a5be31****

Contoh

Respons sukses

JSONformat

{
  "RequestId": "473469C7-AA6F-4DC5-B3DB-A3DC0D****3E",
  "DataFlowId": "df-194433a5be31****"
}

Kode kesalahan

HTTP status code	Error code	Error message
400	IllegalCharacters	The parameter contains illegal characters.
400	MissingFsetId	FsetId is mandatory for this action.
400	MissingSourceStorage	SourceStorage is mandatory for this action.
400	MissingThroughput	Throughput is mandatory for this action.
400	MissingFileSystemId	FileSystemId is mandatory for this action.
400	InvalidFilesystemVersion.NotSupport	This Api does not support this fileSystem version.
400	DataFlow.Bucket.RegionUnmatched	The bucket and file system are not in the same region.
403	OperationDenied.DependencyViolation	The operation is denied due to dependancy violation.
403	OperationDenied.NoStock	The operation is denied due to no stock.
403	OperationDenied.DependFset	The operation is denied due to invalid fileset state.
403	OperationDenied.ConflictOperation	The operation is denied due to a conflict with an ongoing operation.
403	OperationDenied.DependMountpoint	The operation is denied because no mount point is found.
403	OperationDenied.FsetAlreadyInUse	The Fset is already bound to another data flow.
403	OperationDenied.AutoRefreshNotSupport	The operation is denied. Auto refresh is not supported.
403	OperationDenied.DependBucketTag	The operation is denied. The OSS Bucket tag cpfs-dataflow is missing.
403	OperationDenied.DataFlowNotSupported	The operation is not supported.
403	InvalidOperation.DeletionProtection	The operation is not allowed due to resource is protected by deletion protection.
403	DataFlow.Bucket.AccessDenied	Bucket access denied.
404	InvalidFileSystem.NotFound	The specified file system does not exist.
404	InvalidThroughput.OutOfBounds	Throughput is out of bounds.
404	InvalidDescription.InvalidFormat	Description format is invalid.
404	InvalidRefreshPath.InvalidParameter	Refresh path is invalid.
404	InvalidRefreshPath.Duplicated	Refresh path is duplicated.
404	InvalidRefreshPath.NotFound	Refresh path does not exist.
404	InvalidRefreshPolicy.InvalidParameter	Refresh policy is invalid.
404	InvalidRefreshInterval.OutOfBounds	Refresh interval is out of bounds.
404	InvalidSourceStorage.Unreachable	Source storage cannot be accessed.
404	InvalidSourceStorage.NotFound	Source storage is not found.
404	InvalidSourceStorage.NotSupport	Source storage type is not supported.
404	InvalidSourceStorage.PermissionDenied	The source storage access permission is denied.
404	InvalidSourceStorage.InvalidRegion	Source storage region is invalid.
404	InvalidSourceStorage.InvalidParameter	Source storage has invalid parameters.
404	InvalidSourceSecurityType.NotSupport	The source security type is not supported.
404	InvalidAutoRefresh.TooManyAutoRefreshes	The number of auto refreshes exceeds the limit.
404	InvalidSourceStorage.NeedVersioning	Source storage must enable versioning.
404	InvalidFsetId.NotFound	The specified Fileset ID does not exist.
404	DataFlow.Bucket.NotExist	Bucket does not exist.

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.