DataWorks menyediakan node pemicu HTTP yang memungkinkan Anda memicu node tersebut beserta node downstream-nya dalam suatu workflow dari lingkungan eksternal, seperti sistem lokal atau lingkungan lintas tenant, melalui pemanggilan operasi OpenAPI. Fitur ini memungkinkan pemicuan tugas dari sistem lokal atau penanganan dependensi tugas lintas tenant.
Ikhtisar produk
Node pemicu HTTP adalah node virtual khusus yang memungkinkan Anda menggunakan operasi DataWorks OpenAPI TriggerSchedulerTaskInstance untuk memicu penjadwalan node ini dan node downstream-nya.
Mekanisme pemicu
Node pemicu HTTP hanya memicu node downstream-nya setelah node upstream-nya berhasil dijalankan dan sistem eksternal mengirimkan perintah penjadwalan. Untuk diagram penggunaan node pemicu HTTP, lihat Diagram penggunaan.
Diagram penggunaan
Node pemicu HTTP umumnya digunakan untuk komunikasi antara lingkungan eksternal dan sistem penjadwalan DataWorks.
Deskripsi diagram:
Di Data Studio, buat workflow yang berisi node pemicu HTTP, konfigurasikan dependensi untuk setiap node, lalu terapkan workflow tersebut ke Operation Center.
Sistem secara otomatis menghasilkan instans terjadwal berdasarkan waktu penjadwalan. Anda dapat memperoleh informasi tentang node pemicu HTTP, seperti ID tugas dan waktu pemicu, dari instans-instans tersebut.
Gunakan informasi ini dalam kode Java atau Python, atau pada halaman debugging API, untuk memanggil operasi OpenAPI dan memicu node tersebut. Untuk memicu instans tertentu beserta workflow selanjutnya, atur parameter
TriggerTimeke nilai tetap. Untuk memicu semua instans secara dinamis, aturTriggerTimeke variabel dinamis. Setelah node pemicu HTTP menerima dan memvalidasi perintah pemicu, node tersebut menjalankan node downstream secara berurutan.
Kondisi pemicu
Node pemicu HTTP hanya dapat dipicu jika kondisi-kondisi berikut terpenuhi:
Instans terjadwal dari node pemicu HTTP harus ada. Anda dapat menemukan instans ini di halaman Cycle Examples di Operation Center. Sebelum instans berhasil dipicu oleh API TriggerSchedulerTaskInstance, instans tersebut berada dalam status Waiting for Trigger. Node downstream-nya tetap diblokir hingga API
TriggerSchedulerTaskInstanceberhasil dipanggil untuk memicu node pemicu HTTP, di mana saat itu node downstream dijalankan secara berurutan.Semua node upstream yang menjadi dependensi node Pemicu HTTP telah berhasil dijalankan, sehingga instansnya berstatus berhasil.
Waktu terjadwal untuk instans terjadwal node pemicu HTTP telah tiba.
Kelompok sumber daya penjadwalan yang digunakan oleh node pemicu HTTP memiliki sumber daya yang cukup pada saat pemicu diaktifkan.
Node pemicu HTTP tidak berada dalam frozen state.
Hanya instans node pemicu HTTP dalam status Waiting for Trigger yang dapat dipicu. Instans yang telah berhasil dipicu tidak dapat dipicu lagi.
Skenario umum
Penjadwalan berbasis file eksternal: Gunakan skrip eksternal (seperti Python) untuk membaca informasi tanggal atau kondisi dari file seperti Excel atau CSV. Ketika kondisi pemicu terpenuhi, panggil operasi DataWorks OpenAPI TriggerSchedulerTaskInstance untuk memicu node pemicu HTTP dan menerapkan penjadwalan otomatis berdasarkan data eksternal.
Dependensi tugas lintas tenant: Saat terdapat dependensi tugas antar instans DataWorks dari tenant berbeda, Anda dapat menggunakan node pemicu HTTP untuk memicu tugas lintas tenant. Untuk informasi lebih lanjut, lihat Gunakan node pemicu HTTP untuk memicu eksekusi node lintas tenant.
Jika Anda menggunakan DataWorks Edisi Profesional atau edisi yang lebih tinggi, Anda juga dapat menggunakan Check node untuk menerapkan pemeriksaan kondisi eksternal serupa.
Catatan
Node pemicu HTTP hanya memicu node downstream-nya setelah node upstream-nya berhasil dijalankan dan lingkungan eksternal mengirimkan perintah penjadwalan.
Jika lingkungan eksternal mengirimkan perintah penjadwalan sebelum node upstream selesai dijalankan, node pemicu HTTP tidak akan memicu node downstream. Sistem menyimpan perintah penjadwalan dari lingkungan eksternal dan memicu node downstream melalui node pemicu HTTP setelah node upstream selesai dijalankan.
CatatanPerintah pemicu dari lingkungan eksternal hanya disimpan selama 24 jam. Jika node upstream tidak selesai dijalankan dalam waktu 24 jam, perintah pemicu akan hilang dan perintah penjadwalan yang dikirim oleh lingkungan eksternal menjadi tidak valid.
Setelah instans node pemicu HTTP saat ini berhasil dipicu, instans tersebut tidak dapat dipicu lagi.
Prasyarat
-
Pengguna RAM yang ingin Anda gunakan telah ditambahkan ke ruang kerja Anda.
Jika Anda ingin menggunakan pengguna RAM untuk mengembangkan tugas, Anda harus menambahkan pengguna RAM tersebut ke ruang kerja Anda sebagai anggota dan memberikan peran Develop atau Workspace Administrator kepada pengguna RAM tersebut. Peran Workspace Administrator memiliki izin yang lebih luas daripada yang diperlukan. Berhati-hatilah saat memberikan peran Workspace Administrator. Untuk informasi lebih lanjut tentang cara menambahkan anggota dan memberikan peran, lihat Tambahkan anggota ke ruang kerja.
Kelompok sumber daya serverless telah dikaitkan dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat topik dalam direktori Gunakan kelompok sumber daya serverless.
Sebelum mengembangkan node pemicu HTTP, Anda harus membuat node pemicu HTTP yang sesuai terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat node pemicu HTTP.
Batasan
Fitur node pemicu HTTP hanya tersedia di Dataworks Enterprise Edition dan edisi yang lebih tinggi. Untuk informasi lebih lanjut tentang edisi DataWorks, lihat Edisi DataWorks.
Node pemicu HTTP hanya digunakan untuk memicu tugas dan tidak dapat digunakan sebagai tugas komputasi. Anda harus mengatur node tugas yang ingin dijalankan sebagai node downstream dari node pemicu HTTP agar tugas tersebut dapat dipicu dan dieksekusi.
Buat node pemicu HTTP
Buat node pemicu HTTP
Untuk informasi tentang cara membuat node, lihat Buat node pemicu HTTP.
Konfigurasikan node pemicu HTTP
Setelah membuat node pemicu HTTP, konfigurasikan parameter berikut di Scheduling Settings di sisi kanan halaman pengeditan node. Untuk informasi lebih lanjut tentang parameter lainnya, lihat Pengaturan penjadwalan.
Parameter | Deskripsi |
Resource Group for Scheduling | Pilih kelompok sumber daya serverless yang telah Anda kaitkan. |
Instance generation method | Anda dapat memilih T +1 generated next day atau Instant generation after publishing. |
Node pemicu HTTP adalah node beban nol. Anda tidak perlu menulis konten apa pun untuk node tersebut.
Jika node pemicu HTTP tidak memiliki node upstream, node root dari workflow digunakan sebagai node upstream default.
Terapkan node pemicu HTTP
Setelah menyelesaikan pengaturan penjadwalan, kirim dan terapkan node pemicu HTTP ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Terapkan node.
Setelah tugas diterapkan, tugas tersebut dijalankan secara berkala berdasarkan pengaturan penjadwalan Anda. Anda dapat melihat tugas terjadwal yang telah diterapkan di dan melakukan operasi O&M pada tugas tersebut. Untuk informasi lebih lanjut, lihat Kelola tugas terjadwal.
Konfigurasi pemicu di lingkungan penjadwalan eksternal
Saat mengonfigurasi pengaturan pemicu di lingkungan penjadwalan eksternal, Anda harus mengonfigurasi parameter instans node pemicu HTTP yang diperoleh sebelumnya dengan salah satu metode berikut dan memanggil operasi TriggerSchedulerTaskInstance untuk memicu node pemicu HTTP.
Dapatkan parameter instans node pemicu HTTP
Berdasarkan metode pembuatan instans yang Anda pilih saat mengonfigurasi node pemicu HTTP, lihat dan catat parameter instans node pemicu HTTP di Operation Center.
Pembuatan T+1 hari berikutnya: Anda harus membuka Operation Center pada hari berikutnya untuk melihat dan mencatat parameter instans HTTP.
Pembuatan instan setelah penerapan: Anda dapat langsung membuka Operation Center untuk melihat dan mencatat parameter instans HTTP.
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Operation Center.
Di panel navigasi kiri, klik untuk membuka halaman Cycle Examples.
Di daftar tersebut, temukan instans node pemicu HTTP yang telah Anda buat dan catat Task ID serta Scheduled Time dari instans tersebut.
CatatanArahkan kursor ke nama instans node pemicu HTTP untuk melihat Task ID instans tersebut.
Referensi
DataWorks menyediakan fitur node pemicu HTTP untuk memicu dan mengeksekusi tugas dalam skenario lintas tenant. Untuk informasi lebih lanjut, lihat Gunakan node pemicu HTTP untuk memicu eksekusi node lintas tenant.