CreateDataFlowTask - Cloud Parallel File Storage - Alibaba Cloud Documentation Center

Membuat tugas alur kerja data.

Deskripsi operasi

Catatan penggunaan untuk CPFS
- Hanya CPFS versi 2.2.0 dan yang lebih baru yang mendukung alur data. Anda dapat melihat informasi versi pada halaman detail sistem file di Konsol.
- Tugas alur data dijalankan secara asinkron. Anda dapat memanggil DescribeDataFlowTasks untuk mengkueri status eksekusi tugas. Waktu yang diperlukan untuk tugas bergantung pada jumlah data yang akan diimpor atau diekspor. Jika melibatkan data dalam jumlah besar, pisahkan data menjadi beberapa tugas.
- Anda hanya dapat membuat tugas alur data pada alur data dengan status Berjalan.
- Saat Anda menjalankan tugas alur data secara manual, tugas pembaruan data otomatis dari alur data akan terganggu dan menunggu.
- Saat Anda membuat tugas ekspor, pastikan panjang total jalur mutlak file yang akan diekspor dari CPFS tidak melebihi 1.023 karakter.
Catatan penggunaan untuk CPFS for Lingjun
- Hanya CPFS for Lingjun versi 2.4.0 dan yang lebih baru yang mendukung alur data. Anda dapat melihat informasi versi pada halaman detail sistem file di Konsol.
- Tugas alur data dijalankan secara asinkron. Anda dapat memanggil DescribeDataFlowTasks untuk mengkueri status eksekusi tugas. Waktu yang diperlukan untuk tugas bergantung pada jumlah data yang akan diimpor atau diekspor. Jika melibatkan data dalam jumlah besar, pisahkan data menjadi beberapa tugas.
- Anda hanya dapat membuat tugas alur data pada alur data dengan status Berjalan.
- Saat Anda membuat tugas ekspor, pastikan panjang total jalur mutlak file yang akan diekspor dari CPFS for Lingjun tidak melebihi 1.023 karakter.
- CPFS for Lingjun mendukung dua jenis tugas: tugas batch dan tugas aliran. Untuk informasi selengkapnya, lihat Ikhtisar jenis tugas.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tabel berikut menjelaskan otorisasi yang diperlukan untuk memanggil API ini. Anda dapat menentukannya dalam kebijakan Resource Access Management (RAM). Kolom pada tabel dijelaskan sebagai berikut:

Action: Aksi yang dapat digunakan dalam elemen Action pada pernyataan kebijakan izin RAM untuk memberikan izin guna melakukan operasi tersebut.
API: API yang dapat Anda panggil untuk melakukan aksi tersebut.
Access level: Tingkat akses yang telah ditentukan untuk setiap API. Nilai yang valid: create, list, get, update, dan delete.
Resource type: Jenis resource yang mendukung otorisasi untuk melakukan aksi tersebut. Ini menunjukkan apakah aksi tersebut mendukung izin tingkat resource. Resource yang ditentukan harus kompatibel dengan aksi tersebut. Jika tidak, kebijakan tersebut tidak akan berlaku.
- Untuk API dengan izin tingkat resource, jenis resource yang diperlukan ditandai dengan tanda bintang (*). Tentukan Nama Sumber Daya Alibaba Cloud (ARN) yang sesuai dalam elemen Resource pada kebijakan.
- Untuk API tanpa izin tingkat resource, ditampilkan sebagai All Resources. Gunakan tanda bintang (*) dalam elemen Resource pada kebijakan.
Condition key: Kunci kondisi yang didefinisikan oleh layanan. Kunci ini memungkinkan kontrol granular, berlaku baik hanya untuk aksi maupun untuk aksi yang terkait dengan resource tertentu. Selain kunci kondisi spesifik layanan, Alibaba Cloud menyediakan serangkaian common condition keys yang berlaku di semua layanan yang didukung RAM.
Dependent action: Aksi dependen yang diperlukan untuk menjalankan aksi tersebut. Untuk menyelesaikan aksi tersebut, pengguna RAM atau role RAM harus memiliki izin untuk melakukan semua aksi dependen.

Action

Access level

Resource type

Condition key

Dependent action

nas:CreateDataFlowTask

create

*DataFlow

acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

None

Parameter permintaan

Parameter	Type	Required	Description	Example
FileSystemId	string	Yes	ID sistem file. CPFS umum: harus dimulai dengan `cpfs-`, misalnya cpfs-125487**. CPFS for Lingjun: harus dimulai dengan `bmcpfs-`, misalnya bmcpfs-0015**.	cpfs-099394bd928c****
DataFlowId	string	Yes	ID alur data.	df-194433a5be31****
SrcTaskId	string	No	Jika Anda menentukan SrcTaskId, masukkan ID tugas alur kerja data. Sistem menyalin informasi parameter TaskAction, DataType, dan EntryList dari tugas alur kerja data yang ditentukan, dan Anda tidak perlu menentukan parameter ini secara terpisah. Catatan Tugas aliran alur data tidak didukung.	task-29ee8e890f45****
ClientToken	string	No	Token klien yang digunakan untuk memastikan idempotensi permintaan. Anda dapat menggunakan klien untuk menghasilkan token, tetapi Anda harus memastikan bahwa token tersebut unik di antara berbagai permintaan. Token hanya dapat berisi karakter ASCII dan panjangnya tidak boleh melebihi 64 karakter. Untuk informasi selengkapnya, lihat Cara memastikan idempotensi. Catatan Jika Anda tidak menentukan parameter ini, sistem secara otomatis menggunakan RequestId dari permintaan API sebagai ClientToken. RequestId mungkin berbeda untuk setiap permintaan API.	123e4567-e89b-12d3-a456-42665544****
DryRun	boolean	No	Apakah akan menjalankan dry run. Dry run memeriksa validitas parameter dan ketersediaan resource yang diperlukan. Dry run tidak membuat instans atau menimbulkan biaya. Nilai valid: true: menjalankan dry run tanpa membuat instans. Sistem memeriksa apakah parameter yang diperlukan telah ditentukan, apakah format permintaan valid, apakah batas layanan telah tercapai, dan apakah resource NAS yang diperlukan tersedia. Jika permintaan gagal dalam dry run, pesan error dikembalikan. Jika permintaan lulus dry run, kode status HTTP 200 dikembalikan, tetapi TaskId kosong. false (default): menjalankan dry run dan mengirimkan permintaan. Jika permintaan lulus dry run, instans dibuat.	false.
TaskAction	string	No	Jenis node alur data. Nilai valid: Import: melakukan impor data dari penyimpanan sumber ke CPFS. Export: mengekspor data tertentu dari CPFS ke penyimpanan sumber. StreamImport: mengimpor data tertentu secara batch dari penyimpanan sumber ke CPFS. StreamExport: mengekspor data tertentu secara batch dari CPFS ke penyimpanan sumber. Evict: rilis blok data file di CPFS. Setelah rilis, hanya metadata yang dipertahankan di CPFS. Anda masih dapat mengkueri file, tetapi blok data dibersihkan dan tidak menempati kapasitas penyimpanan di CPFS. Saat Anda mengakses data file, data dimuat dari penyimpanan sumber sesuai kebutuhan. Inventory: mendapatkan daftar periksa file yang dikelola oleh aliran data di CPFS. Daftar periksa menyediakan status cache file dalam alur data. Catatan CPFS for Lingjun hanya mendukung Import, Export, StreamImport, dan StreamExport. StreamImport dan StreamExport hanya didukung di CPFS for Lingjun versi 2.6.0 dan yang lebih baru. Valid values: StreamExport : mengeksport data tertentu secara batch dari CPFS ke penyimpanan sumber. Import : melakukan impor data dari penyimpanan sumber ke CPFS. StreamImport : mengimpor data tertentu secara batch dari penyimpanan sumber ke CPFS. Export : mengekspor data tertentu dari CPFS ke penyimpanan sumber. Evict : rilis blok data file di CPFS. Setelah rilis, hanya metadata yang dipertahankan di CPFS. Inventory : mendapatkan daftar file yang dikelola oleh alur data di CPFS. Daftar ini menyediakan status cache file dalam alur data.	Import.
DataType	string	No	Tipe data yang dioperasikan oleh tugas alur kerja data. Nilai valid: Metadata: metadata file, termasuk stempel waktu, kepemilikan, izin, dan atribut lainnya. Jika Anda memilih Metadata, hanya metadata file yang diimpor. Anda dapat melihat file, tetapi saat Anda mengakses data file, data dimuat dari penyimpanan sumber sesuai kebutuhan. Data: blok data file. MetaAndData: metadata dan blok data file. Catatan Ketika TaskAction diatur ke Evict, parameter DataType wajib diisi. Valid values: : Metadata : metadata file. Data : blok data file. MetaAndData : metadata dan blok data file.	Metadata.
Directory	string	No	Direktori sumber data. Batasan: Panjang nilai harus 1 hingga 1.023 karakter. Nilai harus dienkode dalam UTF-8. Nilai harus dimulai dan diakhiri dengan garis miring (/). Hanya satu direktori yang dapat ditentukan sekaligus. Ketika TaskAction diatur ke Export, direktori ini harus berupa jalur relatif dalam FileSystemPath. Ketika TaskAction diatur ke Import, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Ketika TaskAction diatur ke StreamExport, direktori ini harus berupa jalur relatif dalam FileSystemPath. Ketika TaskAction diatur ke StreamImport, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Catatan StreamImport dan StreamExport hanya didukung di CPFS for Lingjun versi 2.6.0 dan yang lebih baru. Directory, EntryList, dan TransferFileListPath adalah parameter yang saling eksklusif. Anda hanya dapat menentukan salah satunya.	/path_in_cpfs/
EntryList	string	No	Daftar file tempat tugas alur kerja data dijalankan. Batasan: Nilai harus dienkode dalam UTF-8. Panjang total daftar file harus kurang dari 64 KB. Daftar file berada dalam format JSON. Jalur setiap file harus memiliki panjang 1 hingga 1.023 karakter dan harus dimulai dengan garis miring (/). Ketika TaskAction diatur ke Import, setiap elemen dalam daftar mewakili nama objek OSS. Ketika TaskAction diatur ke Export, setiap elemen dalam daftar mewakili jalur file CPFS. Catatan Directory, EntryList, dan TransferFileListPath adalah parameter yang saling eksklusif. Anda hanya dapat menentukan salah satunya.	["/path_in_cpfs/file1", "/path_in_cpfs/file2"]
TransferFileListPath	string	No	Direktori OSS. Data disinkronkan berdasarkan konten file CSV di direktori OSS. Batasan: Nilai harus dimulai dan diakhiri dengan garis miring (/). Nilai bersifat case-sensitive. Panjang nilai harus 1 hingga 1.023 karakter. Nilai harus dienkode dalam UTF-8. Catatan TransferFileListPath, Directory, dan EntryList adalah parameter yang saling eksklusif. Anda hanya dapat menentukan salah satunya. Parameter ini menentukan jalur yang ada di OSS. File *.csv di jalur tersebut disimpan di OSS. TransferFileListPath hanya mendukung Import dan Export. Dalam skenario Import, file atau direktori yang ditentukan dalam file CSV diimpor dari OSS ke CPFS. Dalam skenario Export, file atau direktori yang ditentukan dalam file CSV diekspor dari CPFS ke OSS. Format file CSV harus mencakup kolom Name dan Type. Name adalah jalur relatif, dan Type mendukung dua nilai: dir dan file. Jika Type adalah dir, nilai Name harus diakhiri dengan garis miring (/). Hanya CPFS for Lingjun yang mendukung fitur ini.	/test_oss_path/
Includes	string	No	Memfilter direktori di bawah direktori yang ditentukan dan mentransfer konten folder yang disertakan. Catatan Parameter ini hanya berlaku ketika parameter Directory ditentukan. Jalur setiap folder harus memiliki panjang 1 hingga 1.023 karakter dan harus dimulai serta diakhiri dengan garis miring (/). Panjang total tidak boleh melebihi 3.000 karakter. Hanya CPFS for Lingjun yang mendukung fitur ini.	["/test/","/test1/"]
DstDirectory	string	No	Direktori target tempat tugas alur kerja data dipetakan. Batasan: Nilai harus dimulai dan diakhiri dengan garis miring (/). /../ tidak didukung. Panjang nilai harus 1 hingga 1.023 karakter. Nilai harus dienkode dalam UTF-8. Hanya satu direktori yang dapat ditentukan sekaligus. Ketika TaskAction diatur ke Export, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Ketika TaskAction diatur ke Import, direktori ini harus berupa jalur relatif dalam FileSystemPath. Ketika TaskAction diatur ke StreamExport, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Ketika TaskAction diatur ke StreamImport, direktori ini harus berupa jalur relatif dalam FileSystemPath. Catatan StreamImport dan StreamExport hanya didukung di CPFS for Lingjun versi 2.6.0 dan yang lebih baru.	/path_in_cpfs/
CreateDirIfNotExist	boolean	No	Apakah akan mengaktifkan pembuatan otomatis folder jika folder tidak ada. Nilai valid: true: mengaktifkan pembuatan otomatis folder. false (default): tidak mengaktifkan pembuatan otomatis folder. Catatan Parameter ini berlaku ketika TaskAction diatur ke Import. Hanya CPFS for Lingjun versi 2.6.0 dan yang lebih baru yang mendukung fitur ini.	false.
ConflictPolicy	string	No	Kebijakan konflik untuk file dengan nama yang sama. Nilai valid: SKIP_THE_FILE: melewatkan file dengan nama yang sama. KEEP_LATEST: membandingkan waktu pembaruan dan menyimpan versi terbaru. OVERWRITE_EXISTING: menimpa paksa file dengan nama yang sama. Catatan Parameter ini wajib diisi ketika jenis sistem file adalah CPFS for Lingjun.	SKIP_THE_FILE.

Elemen respons

Element	Type	Description	Example
	object
RequestId	string	ID permintaan.	2D69A58F-345C-4FDE-88E4-BF518948****
TaskId	string	ID tugas alur kerja data.	task-38aa8e890f45****

Contoh

Respons sukses

JSONformat

{
  "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
  "TaskId": "task-38aa8e890f45****"
}

Kode kesalahan

HTTP status code	Error code	Error message	Description
400	IllegalCharacters	The parameter contains illegal characters.	Parameter tidak valid.
400	MissingFileSystemId	FileSystemId is mandatory for this action.	Parameter FileSystemId tidak ditentukan.
400	MissingDataFlowId	DataFlowId is mandatory for this action.	Parameter DataFlowId tidak ditentukan.
400	InvalidFilesystemVersion.NotSupport	This Api does not support this fileSystem version.	Operasi saat ini tidak mendukung versi sistem file ini.
403	OperationDenied.InvalidState	The operation is not permitted when the status is processing.	Status sistem file saat ini tidak mendukung operasi ini.
403	OperationDenied.DependencyViolation	The operation is denied due to dependancy violation.	Kondisi untuk operasi ini tidak terpenuhi.
403	OperationDenied.DataFlowNotSupported	The operation is not supported.	Sistem file tidak mendukung dataflow.
404	InvalidParameter.InvalidFormat	The EntryList format is invalid.	Format EntryList yang ditentukan tidak memenuhi persyaratan.
404	InvalidParameter.SizeTooLarge	The specified EntryList size exceeds 64 KB.	Ukuran EntryList yang ditentukan melebihi 64 KB.
404	InvalidDataFlow.NotFound	The specified data flow does not exist.	Alur data yang ditentukan tidak ada.
404	InvalidTaskAction.NotSupported	The task action is not supported.	Jenis tugas yang ditentukan tidak didukung.
404	InvalidTaskAction.PermissionDenied	The task action is not allowed.	Jenis tugas yang ditentukan tidak diizinkan, seperti replikasi sistem.
404	InvalidSrcTaskId.NotFound	The SrcTaskId is not found.	SrcTaskId yang ditentukan tidak ada.
404	InvalidDataType.NotSupported	The data type is not supported.	Tipe data yang ditentukan tidak didukung.
404	InvalidSrcTaskId.TaskIdInvalid	Source task ID is invalid.	ID tugas yang akan disalin tidak valid.
404	InvalidSrcTaskId.TaskIdNotFound	Source task ID is not found.	ID tugas yang akan disalin tidak ada.

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.