Node Pemeriksaan FTP dapat dibuat di DataStudio untuk mendeteksi secara berkala keberadaan file tertentu berdasarkan protokol FTP. Jika Node Pemeriksaan FTP mendeteksi bahwa file tersebut ada, sistem penjadwalan menjalankan node turunan dari Node Pemeriksaan FTP. Sebaliknya, jika file tidak terdeteksi, Node Pemeriksaan FTP akan melanjutkan deteksi hingga kondisi penghentian terpenuhi. Dalam banyak kasus, Node Pemeriksaan FTP digunakan untuk komunikasi antara sistem penjadwalan DataWorks dan sistem penjadwalan eksternal. Topik ini menjelaskan cara menggunakan Node Pemeriksaan FTP serta perhatian terkait.
Perhatian
Node Pemeriksaan FTP tidak direkomendasikan di DataStudio versi lama. Kami menyarankan Anda mengganti Node Pemeriksaan FTP dengan Node Pemeriksaan dalam bisnis Anda sesegera mungkin. Untuk informasi lebih lanjut, lihat Konfigurasikan Node Pemeriksaan.
Node Pemeriksaan FTP tidak lagi didukung di Data Studio versi baru.
Prasyarat
Sumber data FTP telah ditambahkan. Anda tidak dapat menggunakan Node Pemeriksaan FTP untuk memeriksa sumber data FTP yang menggunakan protokol
SFTPdan pasangan kunci untuk otentikasi. Untuk informasi lebih lanjut, lihat Sumber data FTP.Alur kerja telah dibuat. Untuk informasi lebih lanjut, lihat Buat alur kerja pemicu otomatis.
Informasi latar belakang
Node Pemeriksaan FTP biasanya digunakan dalam skenario berikut: Tugas dalam sistem penjadwalan DataWorks perlu mengakses database eksternal dalam sistem penjadwalan eksternal, tetapi tugas penulisan data untuk database tersebut tidak dilakukan oleh DataWorks. Dalam hal ini, waktu ketika tugas penulisan data selesai dan waktu ketika database dapat diakses tidak diketahui oleh DataWorks. Jika tugas mengakses database, data yang dibaca dari database mungkin tidak lengkap atau pembacaan data gagal karena tugas penulisan data belum selesai. Untuk memastikan bahwa tugas dapat berhasil membaca data dari database eksternal, Anda dapat mengaktifkan sistem penjadwalan eksternal untuk menghasilkan tanda yang menunjukkan bahwa tugas penulisan data selesai. Misalnya, Anda dapat mengaktifkan sistem penjadwalan eksternal untuk menghasilkan file penanda dengan akhiran .done dalam sistem file untuk menunjukkan bahwa tugas penulisan data selesai. Kemudian, Anda dapat membuat Node Pemeriksaan FTP dalam sistem penjadwalan DataWorks untuk mendeteksi secara berkala apakah file penanda dengan akhiran .done ada. Jika file tersebut ada, node yang perlu mengakses database eksternal dapat dijadwalkan.
Anda dapat menentukan sistem file yang dapat digunakan untuk menyimpan file penanda.
Dalam contoh ini, file penanda dengan akhiran
.donedigunakan. Anda dapat menyesuaikan informasi seperti format dan nama untuk file penanda Anda.
Gambar dan deskripsi berikut memberikan informasi rinci.
Setelah tugas penulisan data untuk database eksternal dalam sistem penjadwalan eksternal selesai dan database dapat diakses, sistem penjadwalan menghasilkan file penanda, seperti
xxxx2021-03-03.done, dalam sistem file yang ditentukan. Dalam contoh ini, file penanda dengan akhiran.donedigunakan. Anda dapat menyesuaikan informasi untuk file penanda Anda berdasarkan kebutuhan bisnis Anda.Sumber data FTP membaca file penanda dalam sistem file.
Node Pemeriksaan FTP secara berkala mendeteksi apakah file penanda ada dalam sumber data FTP berdasarkan kebijakan deteksi yang dikonfigurasi.
Jika Node Pemeriksaan FTP mendeteksi bahwa file penanda ada, tugas penulisan data untuk database eksternal selesai, dan database dapat diakses. Kemudian, Node Pemeriksaan FTP mengembalikan hasil deteksi ke node turunannya.
Jika Node Pemeriksaan FTP mendeteksi bahwa file penanda tidak ada, tugas penulisan data untuk database eksternal belum selesai, dan database tidak dapat diakses. Dalam hal ini, Node Pemeriksaan FTP mengembalikan hasil deteksi dan informasi bahwa node turunannya tidak akan dijadwalkan ke node turunan. Kemudian, Node Pemeriksaan FTP melanjutkan deteksi berdasarkan kebijakan deteksi yang dikonfigurasi hingga kondisi yang ditentukan untuk menghentikan deteksi terpenuhi.
Untuk informasi lebih lanjut tentang cara mengonfigurasi kebijakan deteksi untuk Node Pemeriksaan FTP, lihat Langkah 6 dalam bagian Buat Node Pemeriksaan FTP dari topik ini.
Node turunan dari Node Pemeriksaan FTP menentukan apakah akan mengakses database eksternal berdasarkan hasil deteksi yang dikembalikan oleh Node Pemeriksaan FTP.
Jika Node Pemeriksaan FTP mendeteksi bahwa file penanda ada, node turunan mengakses database eksternal.
Jika Node Pemeriksaan FTP mendeteksi bahwa file penanda tidak ada, node turunan tidak mengakses database eksternal.
Node turunan mengakses database eksternal.
Database eksternal mencakup tetapi tidak terbatas pada Oracle, MySQL, dan SQL Server.
Batasan
Batasan pada grup sumber daya: Node Pemeriksaan FTP dapat dijalankan pada grup sumber daya tanpa server atau grup sumber daya eksklusif versi lama untuk penjadwalan. Kami menyarankan Anda menjalankan tugas pada grup sumber daya tanpa server. Untuk informasi lebih lanjut tentang cara membeli grup sumber daya tanpa server, lihat Buat dan gunakan grup sumber daya tanpa server.
Batasan pada sumber data: Anda tidak dapat menggunakan Node Pemeriksaan FTP untuk memeriksa sumber data FTP yang menggunakan protokol
SFTPdan pasangan kunci untuk otentikasi. Untuk informasi lebih lanjut, lihat Sumber data FTP.Jika Node Pemeriksaan FTP dijadwalkan per menit atau per jam, Anda hanya dapat mengatur parameter Policy for Stopping Check menjadi Checks Allowed Before Check Node Stops untuk node tersebut.
Batasan pada wilayah: Jenis node ini didukung di wilayah berikut: Cina (Hangzhou), Cina (Shanghai), Cina (Beijing), Cina (Shenzhen), Cina (Chengdu), Cina (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), dan AS (Virginia).
Buat Node Pemeriksaan FTP
Masuk ke Konsol DataWorks.
Di halaman DataStudio, gerakkan pointer di atas ikon
dan pilih . Sebagai alternatif, Anda dapat menemukan alur kerja yang diinginkan, klik kanan nama alur kerja, dan kemudian pilih .
Di kotak dialog Buat Node, tentukan parameter Name dan Path.
CatatanNama node harus memiliki panjang 1 hingga 128 karakter dan dapat berisi huruf, angka, garis bawah (_), dan titik (.).
- Klik Confirm.
Klik tab Properties di panel navigasi sisi kanan dan konfigurasikan properti penjadwalan untuk node tersebut.
Properti termasuk basic properties, time properties, resource properties, dan scheduling dependencies. Untuk informasi lebih lanjut, lihat Konfigurasikan properti dasar, Konfigurasikan properti waktu, Konfigurasikan properti sumber daya, dan Konfigurasikan dependensi penjadwalan siklus yang sama.
Konfigurasikan objek deteksi dan kebijakan deteksi.

Pilih sumber data FTP yang ingin Anda deteksi dari daftar drop-down Select FTP Data Source.
Anda dapat memilih sumber data FTP atau SFTP. Jika tidak ada sumber data yang tersedia, Anda harus menambahkan satu. Untuk informasi lebih lanjut, lihat Tambahkan sumber data FTP.
Tentukan jalur file penanda di bidang File to Check. Jika jalur file yang Anda tentukan bersifat dinamis, Anda dapat menggunakan parameter penjadwalan untuk mengonfigurasi jalur variabel dalam jalur file. Untuk informasi lebih lanjut, lihat Format yang didukung dari parameter penjadwalan.
Tentukan interval deteksi dalam bidang Check Interval (Seconds).
Pilih kebijakan untuk Policy for Stopping Check. Kebijakan berikut tersedia:
Time for Stopping Check: waktu ketika deteksi berhenti. Tentukan parameter ini dalam format
hh24:mi:ss. Format waktu berdasarkan sistem 24 jam. Jika tidak ada file penanda yang terdeteksi setiap kali Node Pemeriksaan FTP dijalankan, deteksi gagal. Dalam hal ini, sistem tidak menjadwalkan node turunan dari Node Pemeriksaan FTP. Sistem mulai menjadwalkan node turunan hanya setelah deteksi berhasil. Jika deteksi sebelumnya gagal, node melanjutkan deteksi berdasarkan interval deteksi yang dikonfigurasi dan menghentikan deteksi hingga waktu yang Anda tentukan untuk menghentikan deteksi tercapai. Anda dapat melihat log node untuk menemukan penyebab detail kegagalan.CatatanSiklus penjadwalan Node Pemeriksaan FTP memengaruhi kebijakan penghentian node.
Jika Node Pemeriksaan FTP dijadwalkan per minute atau hour, parameter Kebijakan untuk Menghentikan Pemeriksaan hanya dapat diatur menjadi Checks Allowed Before Check Node Stops untuk node tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan kebijakan deteksi untuk Node Pemeriksaan FTP.
Jika Anda ingin mengubah siklus penjadwalan Node Pemeriksaan FTP yang mana Kebijakan untuk Menghentikan Pemeriksaan diatur menjadi Time for Stopping Check dari day menjadi minute atau hour, kebijakan Time for Stopping Check menjadi tidak valid. Dalam hal ini, Anda harus mengatur Kebijakan untuk Menghentikan Pemeriksaan menjadi Checks Allowed Before Check Node Stops. Jika tidak, Node Pemeriksaan FTP tidak dapat dikomit.
Checks Allowed Before Check Node Stops: jumlah maksimum deteksi yang dapat dilakukan. Jika tidak ada file penanda yang terdeteksi setiap kali Node Pemeriksaan FTP dijalankan, deteksi gagal. Dalam hal ini, sistem tidak menjadwalkan node turunan dari Node Pemeriksaan FTP. Sistem mulai menjadwalkan node turunan hanya setelah deteksi berhasil. Jika deteksi gagal, node melanjutkan deteksi berdasarkan interval deteksi yang ditentukan dan menghentikan deteksi ketika jumlah maksimum deteksi yang dapat dilakukan tercapai. Anda dapat melihat log node untuk menemukan penyebab detail kegagalan.
Simpan dan komit node.
CatatanAnda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum Anda mengomitm tugas.
Klik ikon
di bilah alat atas untuk menyimpan node. Di bilah alat atas tab konfigurasi node sinkronisasi waktu nyata, klik ikon
untuk menyimpan node. Di kotak dialog Submit, masukkan komentar Anda di bidang Change description.
Klik OK.
Jika ruang kerja yang Anda gunakan berada dalam mode standar, Anda harus mengklik Deploy di sudut kanan atas tab konfigurasi untuk menerapkan node setelah Anda mengomitmnya. Untuk informasi lebih lanjut, lihat Lakukan operasi O&M dasar pada node pemicu otomatis.
- Lakukan operasi O&M pada node. Untuk informasi lebih lanjut, lihat Lakukan operasi O&M dasar pada node pemicu otomatis.