All Products
Search

This Product

    Cloud Parallel File Storage:Mengelola tugas batch

    Document Center

    Cloud Parallel File Storage:Mengelola tugas batch

    Last Updated:Jul 10, 2026

    Topik ini menjelaskan cara membuat dan mengelola tugas alur data untuk sistem file CPFS for Lingjun di Konsol NAS serta cara melihat penyebab kegagalan tugas.

    Informasi latar belakang

    Tugas alur data yang dibuat di konsol merupakan tugas batch. Tugas batch dapat mengimpor atau mengekspor semua file dari satu direktori ke direktori lain dalam satu kali eksekusi. Anda tidak dapat memulai alur data on-demand untuk file individual. Untuk mentransfer data berdasarkan per file (tugas streaming), Anda harus menggunakan operasi OpenAPI. Pada tugas streaming, Anda harus secara eksplisit memanggil API guna membuat subtugas untuk setiap file tertentu agar memicu transfer data tersebut. Untuk informasi selengkapnya, lihat Mengelola tugas streaming (OpenAPI).

    Prasyarat

    Buat tugas

    1. Masuk ke Konsol NAS.

    2. Pada panel navigasi sebelah kiri, pilih File System > File System List.

    3. Pada bilah navigasi atas, pilih Wilayah.

    4. Pada halaman File System List, klik nama sistem file CPFS for Lingjun yang dituju.

    5. Pada halaman detail sistem file, klik Dataflow.

    6. Pada halaman Dataflow, temukan alur data yang dituju lalu klik Task Management di kolom Actions.

    7. Pada panel Task Management, klik Create Job.

    8. Pada panel Create Job, pilih jenis tugas dan konfigurasikan parameter.

      Impor data

      • Ketika tautan simbolik diimpor ke sistem file CPFS for Lingjun, tautan tersebut dikonversi menjadi file biasa yang berisi data target tautan, dan informasi tautan aslinya hilang.

      • Jika bucket OSS berisi beberapa versi objek, hanya versi terbaru yang dicopy.

      • Nama file dan subdirektori yang lebih panjang dari 255 byte tidak didukung.

      • Nama direktori dan file tidak boleh mengandung karakter khusus berikut. Jika tidak, tugas mungkin menghasilkan hasil yang tidak terduga atau gagal.

        • Nama subdirektori atau file tidak boleh berupa dua titik berturut-turut (..).

        • Jalur tidak boleh mengandung garis miring terbalik (\) atau garis miring terbalik ganda (\\).

        • Nama subdirektori dan file tidak boleh mengandung garis miring (/).

      • Jika nama file bertentangan dengan nama subdirektori, terjadi konflik objek di sistem file CPFS for Lingjun. Hanya salah satu operasi yang dijamin berhasil, sedangkan yang lain akan gagal.

      Parameter

      Deskripsi

      Conflict Resolution Policy

      Kebijakan yang menentukan cara menangani file dengan nama yang sama di sistem file CPFS for Lingjun dan bucket OSS.

      • Skip Files with the Same Name (Default): Mengabaikan file dengan nama yang sama dan tidak menyinkronkannya.

      • Keep the Latest File: Membandingkan waktu modifikasi (mtime) file dengan nama yang sama dan menyimpan versi yang paling baru diperbarui. Baik OSS maupun CPFS for Lingjun menggunakan waktu modifikasi untuk perbandingan.

      • Overwrite Files with the Same Name: Menimpa file tujuan dengan versi dari bucket OSS. Pilih Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data.

      Data Type

      Hanya tipe Data + Metadata yang didukung. Opsi ini mengimpor blok data dan metadata file.

      Specify OSS Object Prefix Subdirectory

      Menentukan cakupan tugas impor. Dua mode didukung:

      • Import all files under this OSS directory: Mengimpor semua file di bawah subdirektori yang ditentukan. Masukkan jalur relatif dalam OSS Object Prefix yang dimulai dan diakhiri dengan garis miring (/).

      • Import files listed in a CSV file under this OSS directory: Mengimpor hanya file yang tercantum dalam file CSV. Setelah memilih mode ini, konfigurasikan lokasi daftar file CSV, yaitu direktori bucket OSS tempat file CSV disimpan. Jalur harus dimulai dan diakhiri dengan garis miring (/), panjangnya antara 1 hingga 1.023 karakter, dan hanya boleh berisi tanda seru (!), tanda hubung (-), garis bawah (_), titik (.), dan tanda kurung (()).

      Persyaratan file CSV:

      1. Setiap file CSV harus mencakup kolom Name yang menentukan jalur file. Kolom lain diabaikan.

      2. File CSV harus memiliki ekstensi .csv atau .csv.*. File dengan ekstensi lain diabaikan.

      3. Simpan file CSV di jalur oss://bucket/*/dir/ yang ditentukan, dan tentukan jalur dir yang sama saat mengonfigurasi tugas.

      4. Jika tugas menggunakan beberapa file CSV, simpan semuanya dalam direktori (dir) yang sama.

      Catatan

      Jika jalur CPFS yang Anda konfigurasikan saat membuat dataflow tidak ada, Anda dapat memilih If the CPFS directory you created does not exist, the system automatically creates a CPFS directory. untuk mencegah kegagalan impor. Pembuatan direktori otomatis hanya didukung oleh CPFS for Lingjun versi 2.6.0 dan yang lebih baru.

      Ekspor data

      • Bucket OSS sumber harus memiliki Pengendalian versi yang diaktifkan. Jangan menangguhkan pengendalian versi selama alur data aktif, atau tugas ekspor akan gagal. Untuk informasi selengkapnya, lihat Pengantar pengendalian versi.

      • Ketika tautan simbolik disinkronkan ke OSS, sistem tidak menyinkronkan file yang ditunjuknya. Sebagai gantinya, tautan simbolik itu sendiri menjadi objek biasa yang kosong di OSS.

      • Tautan keras disinkronkan ke OSS sebagai file biasa.

      • File bertipe Socket, Device, atau Pipe tidak dapat diekspor ke bucket OSS.

      • Jalur direktori yang lebih panjang dari 1.023 karakter tidak didukung.

      • Nama direktori dan file tidak boleh mengandung karakter khusus berikut. Jika tidak, tugas mungkin menghasilkan hasil yang tidak terduga atau gagal.

        • Nama subdirektori atau file tidak boleh berupa dua titik berturut-turut (..).

        • Jalur tidak boleh mengandung garis miring terbalik (\) atau garis miring terbalik ganda (\\).

        • Nama subdirektori dan file tidak boleh mengandung garis miring (/).

      • CPFS for Lingjun mengekspor timestamp modifikasi file ke metadata kustom OSS bernama x-oss-meta-alihbr-sync-mtime. Jangan menghapus atau mengubah metadata ini, karena timestamp sistem file akan menjadi tidak akurat.

      Parameter

      Deskripsi

      Conflict Resolution Policy

      Kebijakan yang menentukan cara menangani file dengan nama yang sama di sistem file CPFS for Lingjun dan bucket OSS.

      • Skip Files with the Same Name (Default): Mengabaikan file dengan nama yang sama dan tidak menyinkronkannya.

      • Keep the Latest File: Membandingkan waktu modifikasi (mtime) file dengan nama yang sama dan menyimpan versi yang paling baru diperbarui. Baik OSS maupun CPFS for Lingjun menggunakan waktu modifikasi untuk perbandingan.

      • Overwrite Files with the Same Name: Menimpa file tujuan dengan versi dari sistem file CPFS for Lingjun. Pilih Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data.

      Export Data Type

      Hanya tipe Data + Metadata yang didukung. Opsi ini mengekspor blok data dan metadata file.

      Specify CPFS Subdirectory

      Menentukan cakupan tugas ekspor. Dua mode didukung:

      • Export all files under this CPFS directory: Mengekspor semua file di bawah subdirektori yang ditentukan. Masukkan jalur relatif dalam direktori CPFS yang dimulai dan diakhiri dengan garis miring (/). Contohnya, /cpfs/.

      • Export all files listed in a CSV file: Mengekspor hanya file yang tercantum dalam file CSV. Setelah memilih mode ini, konfigurasikan lokasi daftar file CSV, yaitu direktori bucket OSS tempat file CSV disimpan. Perhatikan bahwa dalam skenario ekspor, file CSV juga disimpan di OSS. Aturan jalur sama seperti pada mode impor.

      Persyaratan file CSV sama seperti pada mode impor: setiap file CSV harus mencakup kolom Name yang menentukan jalur file di CPFS, menggunakan ekstensi .csv atau .csv.*, dan disimpan bersama dalam direktori yang sama jika menggunakan beberapa file.

    9. Klik OK.

    Membatalkan tugas

    Anda dapat membatalkan tugas alur data yang sedang Berjalan.

    1. Pada tab Dataflow, temukan alur data yang dituju lalu klik Task Management di kolom Actions.

    2. Pada panel Task Management, temukan tugas yang dituju lalu klik Cancel di kolom Actions.

    3. Pada pesan konfirmasi yang muncul, klik OK.

    Menyalin tugas

    Anda dapat menyalin tugas untuk menjalankannya kembali.

    1. Pada tab Dataflow, temukan alur data yang dituju lalu klik Task Management di kolom Actions.

    2. Pada panel Task Management, temukan tugas yang dituju. Lalu, klik ikon image di kolom Actions dan pilih Copy.

    3. Pada pesan konfirmasi yang muncul, klik OK.

    Lihat penyebab kegagalan tugas

    Ketika tugas alur data gagal, sistem akan menampilkan penyebab kegagalan atau menghasilkan laporan kegagalan. Anda dapat melihat penyebabnya atau mengunduh laporan tersebut di konsol untuk melakukan pemecahan masalah.

    1. Pada tab Dataflow, temukan alur data yang dituju lalu klik Task Management di kolom Actions.

    2. Pada panel Task Management, temukan tugas yang dituju. Arahkan pointer ke ikon di samping status Failed untuk melihat penyebab atau mengunduh laporan kegagalan.

      Catatan

      Jika tidak ada penyebab kegagalan yang ditampilkan, laporan tidak tersedia, atau Anda tidak dapat menyelesaikan masalah berdasarkan laporan tersebut, untuk mendapatkan bantuan.

    Lihat konfigurasi dan status tugas

    Anda dapat melihat konfigurasi dan status tugas batch di konsol. Untuk melihat detail ini pada tugas streaming, panggil operasi API DescribeDataFlowTasks.

    1. Pada tab Dataflow, temukan alur data yang dituju lalu klik Task Management di kolom Actions.

    2. Pada panel Task Management, lihat konfigurasi dan status Berjalan tugas tersebut.

      Parameter

      Deskripsi

      Task ID

      Pengidentifikasi unik tugas alur data.

      Type

      Jenis tugas. Nilai yang valid: Import atau Export.

      Conflict resolution policy

      Kebijakan untuk menangani data dengan nama yang sama yang sudah ada di sistem file tujuan. Nilai yang valid:

      • Skip Files with the Same Name (Default)

      • Keep the Latest File

      • Overwrite Files with the Same Name

      Source address

      Jalur sumber, tujuan, dan subdirektori spesifik untuk transfer data.

      Destination address

      Source directory

      Total data scanned at source

      Jumlah data yang dipindai di sumber, dalam byte.

      Data synchronized

      Jumlah data yang telah disinkronkan, termasuk data yang dilewati, dalam byte.

      Data transferred

      Jumlah aktual data yang ditransfer oleh tugas, dalam byte.

      Average speed

      Kecepatan rata-rata transfer tugas alur data. Satuan: B/s.

      Time remaining

      Perkiraan waktu tersisa hingga tugas selesai, berdasarkan kecepatan transfer saat ini.

      Time period

      Waktu mulai dan selesai tugas.

      Progress

      Progres eksekusi tugas saat ini. Satuan: %.

      Status

      Status saat ini dari tugas. Nilai yang valid:

      • Pending: Tugas alur data dibuat dan sedang menunggu dalam antrian.

      • Executing: Tugas alur data sedang berlangsung.

      • Failed: Tugas alur data gagal.

      • Canceled: Tugas alur data dibatalkan dan tidak selesai.

      • Canceling: Tugas alur data sedang dalam proses pembatalan.

      • Completed: Tugas alur data selesai.

      File list path

      Direktori bucket OSS yang menyimpan daftar file CSV. Bidang ini hanya ditampilkan untuk tugas yang menggunakan mode daftar file CSV. Untuk tugas lain, bidang ini kosong.

    Lihat laporan tugas

    Setelah tugas alur data selesai, sistem menghasilkan Skipped File Report, Failed File Report, atau Successful File Report, tergantung pada hasilnya. Anda dapat mengunduh laporan tersebut dari konsol untuk melihat informasi detail tentang file-file tersebut.

    1. Pada tab Dataflow, temukan alur data yang dituju lalu klik Task Management di kolom Actions.

    2. Pada panel Task Management, temukan tugas yang dituju lalu klik Download Task Report di kolom Actions.

    3. Temukan laporan yang ingin diunduh lalu klik ikon image.

    Lihat performa tugas atau konfigurasikan aturan peringatan

    Untuk melihat metrik performa tugas atau mengonfigurasi aturan peringatan, pastikan Anda menggunakan sistem file CPFS for Lingjun versi 2.6.0 atau yang lebih baru dan telah membuat tugas alur data.

    • Untuk melihat metrik performa utama tugas impor atau ekspor alur data, seperti throughput baca/tulis, IOPS baca/tulis, dan QPS metadata, lihat Lihat metrik performa CPFS.

    • Untuk mengonfigurasi aturan peringatan untuk metrik pemantauan tertentu dari tugas alur data agar Anda dapat mendeteksi dan menangani anomali metrik secara tepat waktu, lihat Konfigurasikan aturan peringatan dasar.