CreateDataFlowTask - Cloud Parallel File Storage - Alibaba Cloud Documentation Center

Membuat tugas aliran data.

Deskripsi operasi

Catatan tentang CPFS
- Hanya CPFS 2.2.0 dan versi lebih baru yang mendukung aliran data. Anda dapat melihat informasi versi pada halaman detail sistem file di Konsol.
- Tugas aliran data dijalankan secara asinkron. Anda dapat memanggil DescribeDataFlowTasks untuk mengkueri status eksekusi tugas. Pengatur waktu yang diperlukan untuk tugas bergantung pada jumlah data yang akan diimpor atau diekspor. Untuk jumlah data yang besar, pisahkan data menjadi beberapa tugas.
- Anda hanya dapat membuat tugas aliran data pada aliran data dalam status Running.
- Saat Anda menjalankan tugas aliran data secara manual, tugas pembaruan data otomatis dari aliran data akan terganggu dan menunggu.
- Saat membuat tugas ekspor, pastikan panjang total jalur mutlak file yang akan diekspor dari CPFS tidak melebihi 1.023 karakter.
Catatan tentang CPFS for Lingjun
- Hanya CPFS for Lingjun 2.4.0 dan versi lebih baru yang mendukung aliran data. Anda dapat melihat informasi versi pada halaman detail sistem file di Konsol.
- Tugas aliran data dijalankan secara asinkron. Anda dapat memanggil DescribeDataFlowTasks untuk mengkueri status eksekusi tugas. Pengatur waktu yang diperlukan untuk tugas bergantung pada jumlah data yang akan diimpor atau diekspor. Untuk jumlah data yang besar, pisahkan data menjadi beberapa tugas.
- Anda hanya dapat membuat tugas aliran data pada aliran data dalam status Running.
- Saat membuat tugas ekspor, pastikan panjang total jalur mutlak file yang akan diekspor dari CPFS for Lingjun tidak melebihi 1.023 karakter.
- CPFS for Lingjun mendukung dua jenis tugas: tugas batch dan tugas aliran. Untuk informasi selengkapnya, lihat Ikhtisar jenis tugas.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tabel berikut menjelaskan otorisasi yang diperlukan untuk memanggil API ini. Anda dapat menentukannya dalam kebijakan Resource Access Management (RAM). Kolom pada tabel dijelaskan sebagai berikut:

Action: Aksi yang dapat digunakan dalam elemen Action pada pernyataan kebijakan izin RAM untuk memberikan izin guna melakukan operasi tersebut.
API: API yang dapat Anda panggil untuk melakukan aksi tersebut.
Access level: Tingkat akses yang telah ditentukan untuk setiap API. Nilai yang valid: create, list, get, update, dan delete.
Resource type: Jenis resource yang mendukung otorisasi untuk melakukan aksi tersebut. Ini menunjukkan apakah aksi tersebut mendukung izin tingkat resource. Resource yang ditentukan harus kompatibel dengan aksi tersebut. Jika tidak, kebijakan tersebut tidak akan berlaku.
- Untuk API dengan izin tingkat resource, jenis resource yang diperlukan ditandai dengan tanda bintang (*). Tentukan Nama Sumber Daya Alibaba Cloud (ARN) yang sesuai dalam elemen Resource pada kebijakan.
- Untuk API tanpa izin tingkat resource, ditampilkan sebagai All Resources. Gunakan tanda bintang (*) dalam elemen Resource pada kebijakan.
Condition key: Kunci kondisi yang didefinisikan oleh layanan. Kunci ini memungkinkan kontrol granular, berlaku baik hanya untuk aksi maupun untuk aksi yang terkait dengan resource tertentu. Selain kunci kondisi spesifik layanan, Alibaba Cloud menyediakan serangkaian common condition keys yang berlaku di semua layanan yang didukung RAM.
Dependent action: Aksi dependen yang diperlukan untuk menjalankan aksi tersebut. Untuk menyelesaikan aksi tersebut, pengguna RAM atau role RAM harus memiliki izin untuk melakukan semua aksi dependen.

Action

Access level

Resource type

Condition key

Dependent action

nas:CreateDataFlowTask

create

*DataFlow.

acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

None

Parameter permintaan

Parameter	Type	Required	Description	Example
FileSystemId	string	Yes	ID sistem file. CPFS tujuan umum: ID harus diawali dengan `cpfs-`, misalnya cpfs-125487**. CPFS for Lingjun: ID harus diawali dengan `bmcpfs-`, misalnya bmcpfs-0015**.	cpfs-099394bd928c****
DataFlowId	string	Yes	ID aliran data.	df-194433a5be31****
SrcTaskId	string	No	Jika Anda menentukan SrcTaskId, masukkan ID tugas aliran data. Sistem akan menyalin informasi parameter TaskAction, DataType, dan EntryList dari tugas aliran data yang ditentukan. Anda tidak perlu menentukan parameter ini secara terpisah. Catatan Tugas aliran data aliran tidak didukung.	Tugas-29ee8e890f45****
ClientToken	string	No	Token klien yang digunakan untuk memastikan idempotensi permintaan. Anda dapat menggunakan klien untuk menghasilkan token, tetapi Anda harus memastikan bahwa token tersebut unik di antara permintaan yang berbeda. Token hanya dapat berisi karakter ASCII dan panjangnya tidak boleh melebihi 64 karakter. Untuk informasi selengkapnya, lihat Cara memastikan idempotensi. Catatan Jika Anda tidak menentukan parameter ini, sistem secara otomatis menggunakan RequestId dari permintaan API sebagai ClientToken. RequestId mungkin berbeda untuk setiap permintaan API.	123e4567-e89b-12d3-a456-42665544****
DryRun	boolean	No	Apakah akan menjalankan dry run untuk permintaan ini. Dry run memeriksa validitas parameter, memverifikasi inventaris, dan melakukan pemeriksaan lainnya tanpa benar-benar membuat instans atau membebankan biaya. Nilai valid: true: Mengirim permintaan dry run tanpa membuat instans. Item pemeriksaan mencakup apakah parameter wajib ditentukan, format permintaan, batas bisnis, dan inventaris File Storage NAS. Jika pemeriksaan gagal, error yang sesuai akan dikembalikan. Jika pemeriksaan berhasil, kode status HTTP 200 dikembalikan, tetapi TaskId kosong. false (default): Mengirim permintaan normal. Setelah pemeriksaan berhasil, instans langsung dibuat.	false
TaskAction	string	No	Jenis node aliran data. Nilai valid: Import: Impor data dari penyimpanan sumber ke CPFS. Export: Mengekspor data tertentu dari CPFS ke penyimpanan sumber. StreamImport: Impor data batch dari penyimpanan sumber ke CPFS. StreamExport: Mengekspor data batch tertentu dari CPFS ke penyimpanan sumber. Evict: Melepaskan blok data file di CPFS. Setelah pelepasan, hanya metadata yang dipertahankan di CPFS. Anda masih dapat mengkueri file, tetapi blok data dihapus dan tidak menempati kapasitas penyimpanan di CPFS. Saat Anda mengakses data file, data dimuat dari penyimpanan sumber sesuai permintaan. Inventory: Mendapatkan daftar periksa file yang dikelola oleh aliran data di CPFS. Ini menyediakan status cache file dalam aliran data. Catatan CPFS for Lingjun hanya mendukung Import, Export, StreamImport, dan StreamExport. StreamImport dan StreamExport hanya didukung oleh CPFS for Lingjun 2.6.0 dan versi lebih baru. Valid values: StreamExport : Mengekspor data batch tertentu dari CPFS ke penyimpanan sumber. Import : Impor data dari penyimpanan sumber ke CPFS. StreamImport : Mengimpor data batch tertentu dari penyimpanan sumber ke CPFS. Export : Mengekspor data tertentu dari CPFS ke penyimpanan sumber. Evict : Melepaskan blok data file di CPFS. Setelah pelepasan, hanya metadata yang dipertahankan di CPFS. Inventory : Mendapatkan daftar file yang dikelola oleh aliran data di CPFS. Ini menyediakan status cache file dalam aliran data.	Import
DataType	string	No	Tipe data yang dioperasikan oleh tugas aliran data. Nilai valid: Metadata: metadata file, termasuk atribut seperti pengatur waktu, kepemilikan, dan izin. Jika Anda memilih Metadata, hanya metadata file yang diimpor. Anda dapat melihat file, tetapi saat Anda mengakses data file, data dimuat dari penyimpanan sumber sesuai permintaan. Data: blok data file. MetaAndData: metadata dan blok data file. Catatan Saat TaskAction diatur ke Evict, parameter DataType wajib diisi. Valid values: : Metadata : metadata file. Data : blok data file. MetaAndData : metadata dan blok data file.	Metadata
Directory	string	No	Direktori sumber data. Batasan: Nilai harus memiliki panjang 1 hingga 1.023 karakter. Nilai harus dienkode dalam UTF-8. Nilai harus diawali dan diakhiri dengan garis miring (/). Hanya satu direktori yang dapat ditentukan sekaligus. Saat TaskAction diatur ke Export, direktori ini harus berupa jalur relatif dalam FileSystemPath. Saat TaskAction diatur ke Import, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Saat TaskAction diatur ke StreamExport, direktori ini harus berupa jalur relatif dalam FileSystemPath. Saat TaskAction diatur ke StreamImport, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Catatan StreamImport dan StreamExport hanya didukung oleh CPFS for Lingjun 2.6.0 dan versi lebih baru. Directory, EntryList, dan TransferFileListPath adalah parameter yang saling eksklusif. Anda hanya dapat menentukan salah satunya.	/path_in_cpfs/
EntryList	string	No	Daftar file tempat tugas aliran data dijalankan. Batasan: Nilai harus dienkode dalam UTF-8. Panjang total daftar file harus kurang dari 64 KB. Daftar file harus dalam format JSON. Jalur setiap file harus memiliki panjang 1 hingga 1.023 karakter dan harus diawali dengan garis miring (/). Saat TaskAction diatur ke Import, setiap elemen dalam daftar mewakili nama objek OSS. Saat TaskAction diatur ke Export, setiap elemen dalam daftar mewakili jalur file CPFS. Catatan Directory, EntryList, dan TransferFileListPath adalah parameter yang saling eksklusif. Anda hanya dapat menentukan salah satunya.	["/path_in_cpfs/file1", "/path_in_cpfs/file2"]
TransferFileListPath	string	No	Direktori OSS. Data disinkronkan berdasarkan konten file CSV di direktori OSS. Batasan: Nilai harus diawali dan diakhiri dengan garis miring (/). Nilai bersifat case-sensitive. Nilai harus memiliki panjang 1 hingga 1.023 karakter. Nilai harus dienkode dalam UTF-8. Catatan TransferFileListPath, Directory, dan EntryList adalah parameter yang saling eksklusif. Anda hanya dapat menentukan salah satunya. Parameter ini menentukan jalur yang ada di OSS. File *.csv di jalur tersebut disimpan di OSS. TransferFileListPath hanya mendukung Import dan Export. Untuk Import, file atau direktori yang ditentukan dalam file CSV diimpor dari OSS ke CPFS. Untuk Export, file atau direktori yang ditentukan dalam file CSV diekspor dari CPFS ke OSS. File CSV harus berisi kolom Name dan Type. Name adalah jalur relatif. Type mendukung dua nilai: dir dan file. Jika Type adalah dir, nilai Name harus diakhiri dengan garis miring (/). Hanya CPFS for Lingjun yang mendukung fitur ini.	/test_oss_path/
Includes	string	No	Memfilter direktori di bawah direktori yang ditentukan dan mentransfer konten folder yang disertakan. Catatan Parameter ini hanya berlaku saat parameter Directory ditentukan. Jalur setiap folder harus memiliki panjang 1 hingga 1.023 karakter dan harus diawali dan diakhiri dengan garis miring (/). Panjang total tidak boleh melebihi 3.000 karakter. Hanya CPFS for Lingjun yang mendukung fitur ini.	["/test/","/test1/"]
DstDirectory	string	No	Direktori target tempat tugas aliran data dipetakan. Batasan: Nilai harus diawali dan diakhiri dengan garis miring (/). /../ tidak didukung. Nilai harus memiliki panjang 1 hingga 1.023 karakter. Nilai harus dienkode dalam UTF-8. Hanya satu direktori yang dapat ditentukan sekaligus. Saat TaskAction diatur ke Export, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Saat TaskAction diatur ke Import, direktori ini harus berupa jalur relatif dalam FileSystemPath. Saat TaskAction diatur ke StreamExport, direktori ini harus berupa jalur relatif dalam SourceStoragePath. Saat TaskAction diatur ke StreamImport, direktori ini harus berupa jalur relatif dalam FileSystemPath. Catatan StreamImport dan StreamExport hanya didukung oleh CPFS for Lingjun 2.6.0 dan versi lebih baru.	/path_in_cpfs/
CreateDirIfNotExist	boolean	No	Apakah akan mengaktifkan pembuatan otomatis folder jika folder tidak ada. Nilai valid: true: Pembuatan otomatis folder diaktifkan. false (default): Pembuatan otomatis folder tidak diaktifkan. Catatan Parameter ini berlaku saat TaskAction diatur ke Import. Hanya CPFS for Lingjun 2.6.0 dan versi lebih baru yang mendukung fitur ini.	false
ConflictPolicy	string	No	Kebijakan konflik untuk file dengan nama yang sama. Nilai valid: SKIP_THE_FILE: Melewati file dengan nama yang sama. KEEP_LATEST: Membandingkan pengatur waktu pembaruan dan menyimpan versi terbaru. OVERWRITE_EXISTING: Menimpa secara paksa file dengan nama yang sama. Catatan Parameter ini wajib diisi saat jenis sistem file adalah CPFS for Lingjun. Valid values: KEEP_LATEST : Membandingkan pengatur waktu pembaruan dan menyimpan versi terbaru. OVERWRITE_EXISTING : Menimpa secara paksa file dengan nama yang sama. SKIP_THE_FILE : Melewati file dengan nama yang sama.	SKIP_THE_FILE

Elemen respons

Element	Type	Description	Example
	object
RequestId	string	ID permintaan.	2D69A58F-345C-4FDE-88E4-BF518948****
TaskId	string	ID tugas aliran data.	Tugas-38aa8e890f45****

Contoh

Respons sukses

JSONformat

{
  "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
  "TaskId": "Tugas-38aa8e890f45****"
}

Kode kesalahan

HTTP status code	Error code	Error message	Description
400	IllegalCharacters	The parameter contains illegal characters.	Parameter tidak valid.
400	MissingFileSystemId	FileSystemId is mandatory for this action.	Parameter FileSystemId tidak ditentukan.
400	MissingDataFlowId	DataFlowId is mandatory for this action.	Parameter DataFlowId tidak ditentukan.
400	InvalidFilesystemVersion.NotSupport	This Api does not support this fileSystem version.	Operasi saat ini tidak mendukung versi sistem file ini.
403	OperationDenied.InvalidState	The operation is not permitted when the status is processing.	Operasi ini tidak diizinkan saat status sedang diproses.
403	OperationDenied.DependencyViolation	The operation is denied due to dependancy violation.	Kondisi untuk operasi ini tidak terpenuhi.
403	OperationDenied.DataFlowNotSupported	The operation is not supported.	Sistem file tidak mendukung alur data.
404	InvalidParameter.InvalidFormat	The EntryList format is invalid.	Format EntryList yang ditentukan tidak memenuhi persyaratan.
404	InvalidParameter.SizeTooLarge	The specified EntryList size exceeds 64 KB.	Ukuran EntryList yang ditentukan melebihi 64 KB.
404	InvalidDataFlow.NotFound	The specified data flow does not exist.	Alur data yang ditentukan tidak ada.
404	InvalidTaskAction.NotSupported	The task action is not supported.	Jenis tugas yang ditentukan tidak didukung.
404	InvalidTaskAction.PermissionDenied	The task action is not allowed.	Jenis tugas yang ditentukan tidak diizinkan, seperti mereplikasi sistem.
404	InvalidSrcTaskId.NotFound	The SrcTaskId is not found.	SrcTaskId yang ditentukan tidak ada.
404	InvalidDataType.NotSupported	The data type is not supported.	Tipe data yang ditentukan tidak didukung.
404	InvalidSrcTaskId.TaskIdInvalid	Source task ID is invalid.	ID tugas yang akan disalin tidak valid.
404	InvalidSrcTaskId.TaskIdNotFound	Source task ID is not found.	ID tugas yang akan disalin tidak ada.

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.