All Products
Search

This Product

    DataWorks:Node FTP Check

    Document Center

    DataWorks:Node FTP Check

    Last Updated:Jun 21, 2026

    Node FTP Check secara berkala memeriksa keberadaan file tertentu melalui protokol FTP. Jika file tersebut ada, node berhasil dan memicu eksekusi node turunannya. Jika tidak ditemukan, node terus memeriksa pada interval yang telah dikonfigurasi hingga kondisi berhenti terpenuhi. Node ini umumnya digunakan sebagai mekanisme pensinyalan antara sistem penjadwalan DataWorks dan sistem eksternal. Topik ini menjelaskan cara menggunakan node FTP Check serta menyediakan catatan penting terkait penggunaannya.

    Catatan

    • Pada versi lama DataStudio, node FTP Check sudah tidak didukung lagi (deprecated). Anda harus segera melakukan migrasi node FTP Check ke node Check. Untuk informasi lebih lanjut, lihat Node Check.

    • DataStudio sudah tidak mendukung node FTP Check.

    Prasyarat

    • Anda harus memiliki sumber data FTP. Node FTP Check tidak mendukung sumber data FTP yang dikonfigurasi dengan protokol SFTP dan menggunakan autentikasi key pair.

    • Anda harus memiliki alur kerja. Untuk informasi lebih lanjut, lihat Buat alur kerja terjadwal.

    Latar Belakang

    Kasus penggunaan khas untuk node FTP Check adalah ketika suatu tugas dalam sistem penjadwalan DataWorks perlu mengakses database eksternal, tetapi tugas penulisan data terkait tidak dikelola oleh DataWorks. Dalam skenario ini, DataWorks tidak dapat menentukan kapan tugas penulisan selesai dan data siap diakses. Jika DataWorks membaca data sebelum operasi penulisan selesai, data mungkin tidak lengkap atau operasi baca bisa gagal. Untuk mengatasi hal ini, Anda dapat menginstruksikan sistem penjadwalan eksternal untuk membuat file penanda (flag) di sistem file tertentu setelah tugas penulisan datanya selesai. Misalnya, sistem tersebut dapat menghasilkan file .done untuk menandakan bahwa tugas telah selesai. Anda kemudian dapat mengonfigurasi node FTP Check di DataWorks untuk secara berkala memeriksa keberadaan file .done tersebut. Ketika file terdeteksi, hal ini menunjukkan bahwa tugas penulisan data di database telah selesai, sehingga Anda dapat memicu tugas-tugas yang perlu mengakses data di database tersebut.

    Catatan

    • Anda dapat mengonfigurasi sistem penjadwalan eksternal untuk menghasilkan file penanda di sistem file tertentu.

    • Topik ini menggunakan file .done sebagai contoh. Anda dapat menyesuaikan format dan nama file penanda sesuai kebutuhan.

    Prosesnya adalah sebagai berikut:FTP Check

    1. Sistem penjadwalan eksternal mendeteksi bahwa data di database eksternal sudah siap. Sistem tersebut kemudian menghasilkan file penanda, seperti xxxx2021-03-03.done, di sistem file yang ditentukan. Dalam contoh ini, digunakan file dengan akhiran .done, tetapi Anda dapat menentukan file kustom berdasarkan kebutuhan bisnis Anda.

    2. Sumber data FTP menyediakan akses ke sistem file yang berisi file penanda tersebut.

    3. Node FTP Check melakukan polling terhadap file penanda melalui sumber data FTP berdasarkan kebijakan pemeriksaan yang dikonfigurasi.

      • Jika file penanda ditemukan, data eksternal sudah siap. Node FTP Check berhasil dan mengirim status sukses ke node turunannya.

      • Jika file penanda tidak ditemukan, data eksternal belum siap. Node FTP Check gagal pada percobaan saat ini dan tidak memicu node turunannya. Node terus memeriksa berdasarkan kebijakan yang dikonfigurasi hingga kondisi berhenti terpenuhi.

      Untuk informasi lebih lanjut tentang kebijakan pemeriksaan, lihat Konfigurasikan target dan kebijakan pemeriksaan dalam prosedur di bawah ini.

    4. Node turunan menentukan apakah akan dijalankan berdasarkan hasil dari node FTP Check.

      • Jika node FTP Check berhasil, node turunan mulai dijalankan dan mengakses database eksternal.

      • Jika node FTP Check gagal, node turunan tidak dijalankan.

    5. Node turunan mengakses data di database eksternal.

    Catatan

    Database eksternal dapat mencakup berbagai layanan database atau penyimpanan, seperti Oracle, MySQL, dan SQL Server.

    Batasan

    • Kelompok sumber daya: Node FTP Check dapat dijalankan pada kelompok sumber daya arsitektur tanpa server (disarankan) atau grup sumber daya eksklusif untuk penjadwalan versi lama. Untuk membeli dan menggunakan kelompok sumber daya arsitektur tanpa server, lihat Gunakan kelompok sumber daya arsitektur tanpa server.

    • Sumber data: Anda tidak dapat menggunakan node FTP Check dengan sumber data FTP yang dikonfigurasi dengan protokol SFTP dan menggunakan autentikasi key pair.

    • Jika node FTP Check dijadwalkan berjalan per menit atau per jam, Anda tidak dapat mengatur Policy for Stopping Check menjadi Time for Stopping Check. Untuk tugas semacam ini, Anda harus menggunakan kebijakan Checks Allowed Before Check Node Stops.

    • Wilayah yang didukung: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), dan AS (Virginia).

    Buat node FTP Check

    1. Masuk ke Konsol DataWorks.

    2. Pada halaman Data Studio, arahkan kursor ke ikon 新建 dan pilih General > FTP Check.

      Atau, buka alur kerja, klik kanan General, lalu pilih Create > FTP Check.

    3. Pada kotak dialog Create Node, masukkan Node Name dan pilih Location untuk node tersebut.

      Catatan

      Nama node harus terdiri dari 128 karakter atau kurang dan hanya boleh berisi huruf, karakter Tionghoa, angka, garis bawah (_), dan titik (.).

    4. Klik Commit.

    5. Di panel kanan, klik Scheduling untuk mengonfigurasi properti penjadwalan node.

      Properti tersebut mencakup General, time properties, Resource Group, dan Scheduling Dependency. Untuk informasi lebih lanjut, lihat Konfigurasikan properti dasar, Konfigurasikan properti waktu, Konfigurasikan properti sumber daya, dan Konfigurasikan dependensi penjadwalan siklus yang sama.

    6. Konfigurasikan target dan kebijakan pemeriksaan.

      Konfigurasikan parameter berikut: Pilih FTP Data Source, tentukan path di bidang File to Check, misalnya /root/abc, atur Check Interval (Seconds), dan pilih kebijakan penghentian pemeriksaan (waktu penghentian pemeriksaan atau jumlah maksimum pemeriksaan).

      1. Dari daftar drop-down Select FTP Data Source, pilih sumber data FTP yang dituju.

        Anda dapat memilih sumber data FTP atau SFTP. Jika tidak ada sumber data yang tersedia dalam daftar, Anda harus membuatnya terlebih dahulu. Untuk informasi lebih lanjut, lihat Konfigurasikan sumber data FTP.

      2. Di bidang File to Check, tentukan path file yang akan diperiksa. Jika path file bersifat dinamis, Anda dapat menggunakan parameter penjadwalan untuk membuat path variabel. Untuk informasi lebih lanjut, lihat Format parameter penjadwalan.

      3. Di bidang Check Interval (Seconds), konfigurasikan interval waktu antar pemeriksaan.

      4. Pada bagian Policy for Stopping Check, pilih kebijakan penghentian pemeriksaan.

        • Time for Stopping Check: Node berhenti memeriksa pada waktu tertentu dalam sehari. Tentukan waktu dalam format 24 jam hh:mm:ss. Jika pemeriksaan gagal, node akan mencoba ulang pada interval yang dikonfigurasi hingga file ditemukan atau waktu berhenti tercapai. Node turunan hanya dipicu setelah pemeriksaan berhasil. Jika pemeriksaan terus-menerus gagal, Anda dapat melihat log untuk detailnya.

          Catatan

          Konfigurasi siklus penjadwalan node FTP Check memengaruhi kebijakan penghentian:

          • Jika siklus penjadwalan diatur ke minute atau Hour, Anda tidak dapat memilih Time for Stopping Check. Anda harus menggunakan Checks Allowed Before Check Node Stops. Untuk informasi lebih lanjut, lihat Konfigurasikan target dan kebijakan pemeriksaan.

          • Jika siklus penjadwalan awalnya diatur ke Day dengan kebijakan diatur ke Time for Stopping Check, lalu Anda mengubah siklus menjadi minute atau Hour, opsi Time for Stopping Check menjadi tidak valid. Anda harus mengubah kebijakan menjadi Checks Allowed Before Check Node Stops sebelum dapat melakukan commit node.

        • Checks Allowed Before Check Node Stops: Node berhenti memeriksa setelah jumlah percobaan tertentu. Jika pemeriksaan gagal, node akan mencoba ulang pada interval yang dikonfigurasi hingga file ditemukan atau jumlah maksimum pemeriksaan tercapai. Node turunan hanya dipicu setelah pemeriksaan berhasil. Jika pemeriksaan terus-menerus gagal, Anda dapat melihat log untuk detailnya.

    7. Simpan dan commit node.

      Catatan

      Anda harus mengonfigurasi properti Rerun attribute dan Parent Nodes sebelum dapat melakukan commit node.

      1. Di bilah alat atas, klik ikon 保存 untuk menyimpan node.

      2. Klik ikon 提交 di bilah alat atas.

      3. Di kotak dialog Commit Node, masukkan Change Description.

      4. Klik OK.

      Jika ruang kerja Anda berada dalam mode standar, Anda harus melakukan deploy node setelah melakukan commit. Klik Deploy di pojok kanan atas. Untuk informasi lebih lanjut, lihat Deploy nodes.

    8. Uji node tersebut. Untuk informasi lebih lanjut, lihat Kelola tugas terjadwal.