All Products
Search

This Product

    Cloud Parallel File Storage:CreateDataFlowTask

    Document Center

    Cloud Parallel File Storage:CreateDataFlowTask

    Last Updated:Apr 04, 2026

    Membuat task dataflow.

    Deskripsi operasi

    • Petunjuk Penggunaan CPFS

      • Hanya CPFS versi 2.2.0 ke atas yang mendukung dataflow. Informasi versi dapat dilihat di halaman detail file system pada konsol.

      • Task dataflow dieksekusi secara asinkron. Anda dapat menggunakan DescribeDataFlowTasks untuk memeriksa status eksekusi task. Durasi task tergantung pada volume data yang perlu diimpor atau diekspor. Untuk data dalam jumlah besar, disarankan membaginya menjadi beberapa task.

      • Pembuatan task dataflow hanya didukung pada dataflow dengan status Running (normal).

      • Saat mengeksekusi task dataflow secara manual, task pembaruan data otomatis pada dataflow tersebut akan diinterupsi dan menunggu.

      • Saat membuat task ekspor, pastikan panjang total path absolut file yang akan diekspor dari CPFS tidak melebihi 1.023 karakter.

    • Petunjuk Penggunaan CPFS Versi ZhiSuan

      • Hanya CPFS Versi ZhiSuan versi 2.4.0 ke atas yang mendukung dataflow. Informasi versi dapat dilihat di halaman detail file system pada konsol.

      • Task dataflow dieksekusi secara asinkron. Anda dapat menggunakan DescribeDataFlowTasks untuk memeriksa status eksekusi task. Durasi task tergantung pada volume data yang perlu diimpor atau diekspor. Untuk data dalam jumlah besar, disarankan membaginya menjadi beberapa task.

      • Pembuatan task dataflow hanya didukung pada dataflow dengan status Running (normal).

      • Saat membuat task ekspor, pastikan panjang total path absolut file yang akan diekspor dari CPFS ZhiSuan tidak melebihi 1.023 karakter.

      • CPFS Versi ZhiSuan mendukung dua jenis task: task batch dan task streaming. Untuk informasi lebih lanjut, lihat Pengenalan Jenis Task.

    Coba sekarang

    Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

    Test

    RAM authorization

    Tidak ada otorisasi untuk operasi ini. Jika Anda mengalami masalah saat menjalankan operasi ini, hubungi dukungan teknis.

    Parameter permintaan

    Parameter

    Type

    Required

    Description

    Example
    FileSystemId

    string

    Yes

    ID file system.

    • ID file system CPFS harus diawali dengan cpfs-. Contoh: cpfs-125487****.

    • ID file system CPFS for Lingjun harus diawali dengan bmcpfs-. Contoh: bmcpfs-0015****.

    cpfs-099394bd928c****
    DataFlowId

    string

    Yes

    ID dataflow.

    df-194433a5be31****
    SrcTaskId

    string

    No

    Jika Anda menentukan SrcTaskId, Anda harus memasukkan ID task dataflow. Sistem akan menyalin parameter TaskAction, DataType, dan EntryList dari task dataflow tujuan. Anda tidak perlu menentukannya secara eksplisit.

    Catatan

    Task dataflow streaming tidak didukung.

    task-29ee8e890f45****
    TaskAction

    string

    No

    Pilih jenis task dataflow.

    Nilai yang valid:

    • Import: mengimpor data yang disimpan di storage sumber ke file system CPFS.

    • Export: mengekspor data tertentu dari file system CPFS ke storage sumber.

    • StreamImport: mengimpor batch data tertentu dari storage sumber ke file system CPFS.

    • StreamExport: mengekspor batch data tertentu dari file system CPFS ke storage sumber.

    • Evict: melepaskan blok data file di file system CPFS. Setelah eviction, hanya metadata file yang tetap disimpan di file system CPFS. Anda masih dapat mengkueri file tersebut. Namun, blok datanya dihapus dan tidak lagi menggunakan storage space di file system CPFS. Saat Anda mengakses data file tersebut, file akan dimuat dari storage sumber sesuai kebutuhan.

    • Inventory: mendapatkan daftar inventaris yang dikelola oleh dataflow dari file system CPFS, menyediakan status cache inventaris dalam dataflow.

    Catatan

    CPFS for Lingjun hanya mendukung Import, Export, StreamImport, dan StreamExport. Hanya CPFS for Lingjun V2.6.0 ke atas yang mendukung StreamImport dan StreamExport.

    Import
    DataType

    string

    No

    Jenis data yang diproses oleh task dataflow.

    Nilai yang valid:

    • Metadata: metadata file, termasuk informasi timestamp, kepemilikan, dan izin file. Jika Anda memilih Metadata, hanya metadata file yang diimpor. Anda hanya dapat mengkueri file tersebut. Saat Anda mengakses data file, file akan dimuat dari storage sumber sesuai kebutuhan.

    • Data: blok data file.

    • MetaAndData: metadata dan blok data file.

    Metadata
    Directory

    string

    No

    Direktori sumber data.

    Batasan:

    • Panjang direktori harus antara 1 hingga 1.023 karakter.

    • Harus dikodekan dalam UTF-8.

    • Direktori harus diawali dan diakhiri dengan slash (/).

    • Hanya satu direktori yang dapat ditentukan sekaligus.

    • Jika parameter TaskAction diatur ke Export, direktori harus berupa path relatif dalam FileSystemPath.

    • Jika parameter TaskAction diatur ke Import, direktori harus berupa path relatif dalam SourceStoragePath.

    • Jika parameter TaskAction diatur ke StreamExport, direktori harus berupa path relatif dalam FileSystemPath.

    • Jika parameter TaskAction diatur ke StreamImport, direktori harus berupa path relatif dalam SourceStoragePath.

    Catatan

    Hanya CPFS for Lingjun V2.6.0 ke atas yang mendukung StreamImport dan StreamExport.

    /path_in_cpfs/
    EntryList

    string

    No

    Daftar file yang diproses oleh task dataflow.

    Batasan:

    • Daftar harus dikodekan dalam UTF-8.

    • Panjang total daftar file tidak boleh melebihi 64 KB.

    • Daftar file dalam format JSON.

    • Panjang path satu file harus antara 1 hingga 1.023 karakter dan harus diawali dengan slash (/).

    • Jika parameter TaskAction diatur ke Import, setiap elemen dalam daftar merepresentasikan nama objek OSS.

    • Jika parameter TaskAction diatur ke Export, setiap elemen dalam daftar merepresentasikan path file CPFS.

    ["/path_in_cpfs/file1", "/path_in_cpfs/file2"]
    DryRun

    boolean

    No

    Menentukan apakah akan melakukan dry run.

    Selama dry run, sistem memeriksa apakah parameter permintaan valid dan apakah sumber daya yang diminta tersedia. Selama dry run, tidak ada task dataflow yang dibuat dan tidak dikenakan biaya.

    Nilai yang valid:

    • true: melakukan dry run. Sistem memeriksa parameter yang diperlukan, sintaks permintaan, batasan layanan, dan ketersediaan sumber daya Apsara File Storage NAS (NAS). Jika gagal, pesan error akan dikembalikan. Jika permintaan lolos dry run, kode status HTTP 200 dikembalikan. Tidak ada nilai yang dikembalikan untuk parameter TaskId.

    • false (default): melakukan dry run dan mengirim permintaan. Jika permintaan lolos dry run, task dataflow akan dibuat.

    false
    ClientToken

    string

    No

    Token client yang digunakan untuk memastikan idempotensi permintaan. Anda dapat menghasilkan token ini di sisi client, tetapi harus memastikan token tersebut unik di antara permintaan yang berbeda.

    Token hanya boleh berisi karakter ASCII dan panjangnya tidak boleh melebihi 64 karakter. Untuk informasi selengkapnya, lihat Cara memastikan idempotensi.

    Catatan

    Jika Anda tidak menentukan parameter ini, sistem secara otomatis menggunakan request ID sebagai client token. Request ID mungkin berbeda untuk setiap permintaan.

    123e4567-e89b-12d3-a456-42665544****
    ConflictPolicy

    string

    No

    Kebijakan penanganan konflik untuk file dengan nama yang sama. Nilai yang valid:

    • SKIP_THE_FILE: melewati file dengan nama yang sama.

    • KEEP_LATEST: membandingkan waktu pembaruan dan menyimpan versi terbaru.

    • OVERWRITE_EXISTING: menimpa paksa file yang sudah ada.

    Catatan

    Parameter ini wajib untuk file system CPFS for Lingjun.

    SKIP_THE_FILE
    DstDirectory

    string

    No

    Direktori yang dipetakan ke task dataflow. Batasan:

    • Direktori harus diawali dan diakhiri dengan slash (/). Direktori tidak boleh berupa /../.

    • Panjang direktori harus antara 1 hingga 1.023 karakter.

    • Harus dikodekan dalam UTF-8.

    • Hanya satu direktori yang dapat ditentukan sekaligus.

    • Jika parameter TaskAction diatur ke Export, direktori harus berupa path relatif dalam SourceStoragePath.

    • Jika parameter TaskAction diatur ke Import, direktori harus berupa path relatif dalam FileSystemPath.

    • Jika parameter TaskAction diatur ke StreamExport, direktori harus berupa path relatif dalam SourceStoragePath.

    • Jika parameter TaskAction diatur ke StreamImport, direktori harus berupa path relatif dalam FileSystemPath.

    Catatan

    Hanya CPFS for Lingjun V2.6.0 ke atas yang mendukung StreamImport dan StreamExport.

    /path_in_cpfs/
    CreateDirIfNotExist

    boolean

    No

    Menentukan apakah akan membuat direktori secara otomatis jika direktori belum ada. Nilai yang valid:

    • true: membuat direktori secara otomatis.

    • false (default): tidak membuat direktori secara otomatis.

    Catatan

    • Parameter ini wajib jika parameter TaskAction diatur ke Import.

    • Hanya CPFS for Lingjun V2.6.0 ke atas yang mendukung parameter ini.

    false
    Includes

    string

    No

    Memfilter subdirektori dan mentransfer isinya.

    Catatan

    • Parameter ini hanya berlaku jika parameter Directory ditentukan.

    • Panjang path satu folder harus antara 1 hingga 1.023 karakter, diawali dan diakhiri dengan slash (/), dan panjang total tidak boleh melebihi 3.000 karakter.

    • Hanya CPFS for Lingjun yang mendukung parameter ini.

    ["/test/","/test1/"]
    TransferFileListPath

    string

    No

    Tentukan direktori OSS dan sinkronkan data berdasarkan isi file CSV di direktori OSS tersebut. Persyaratan:

    • Harus diawali dan diakhiri dengan slash (/).

    • Sensitif terhadap huruf besar/kecil.

    • Panjangnya harus antara 1 hingga 1.023 karakter.

    • Harus dikodekan dalam UTF-8.

    Catatan

    • TransferFileListPath, Directory, dan EntryList saling eksklusif, hanya salah satu dari ketiganya yang dapat dipilih.

    • Parameter ini adalah path aktual yang ada di OSS. File *.csv di path tersebut disimpan di OSS.

    • TransferFileListPath hanya mendukung fungsi Import dan Export.

    • Dalam skenario impor, file atau direktori yang ditentukan dalam file CSV diimpor dari OSS ke CPFS.

    • Dalam skenario ekspor, file atau direktori yang ditentukan dalam file CSV diekspor dari CPFS ke OSS.

    • Format file CSV harus mencakup kolom Name dan Type. Name merujuk pada path relatif, sedangkan Type mendukung dua nilai: dir dan file. Jika Type adalah dir, Name harus diakhiri dengan "/".

    • Hanya CPFS for Lingjun yang mendukung operasi ini.

    /test_oss_path/

    Elemen respons

    Element

    Type

    Description

    Example

    object

    RequestId

    string

    ID permintaan.

    2D69A58F-345C-4FDE-88E4-BF518948****
    TaskId

    string

    ID task dataflow.

    task-38aa8e890f45****

    Contoh

    Respons sukses

    JSONformat

    {
  "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
  "TaskId": "task-38aa8e890f45****"
}

    Kode kesalahan

    HTTP status code

    Error code

    Error message

    Description
    400 IllegalCharacters The parameter contains illegal characters.
    400 MissingFileSystemId FileSystemId is mandatory for this action.
    400 MissingDataFlowId DataFlowId is mandatory for this action.
    400 InvalidFilesystemVersion.NotSupport This Api does not support this fileSystem version.
    403 OperationDenied.InvalidState The operation is not permitted when the status is processing.
    403 OperationDenied.DependencyViolation The operation is denied due to dependancy violation.
    403 OperationDenied.DataFlowNotSupported The operation is not supported.
    404 InvalidParameter.InvalidFormat The EntryList format is invalid.
    404 InvalidParameter.SizeTooLarge The specified EntryList size exceeds 64 KB.
    404 InvalidDataFlow.NotFound The specified data flow does not exist.
    404 InvalidTaskAction.NotSupported The task action is not supported.
    404 InvalidTaskAction.PermissionDenied The task action is not allowed.
    404 InvalidSrcTaskId.NotFound The SrcTaskId is not found.
    404 InvalidDataType.NotSupported The data type is not supported.
    404 InvalidSrcTaskId.TaskIdInvalid Source task ID is invalid.
    404 InvalidSrcTaskId.TaskIdNotFound Source task ID is not found.

    Lihat Error Codes untuk daftar lengkap.

    Catatan rilis

    Lihat Release Notes untuk daftar lengkap.