Realtime Compute for Apache Flink：Mengelola alur kerja

Batasan

• Anda hanya dapat membuat alur kerja untuk menjadwalkan pekerjaan batch yang telah diterapkan.

• Fitur task orchestration sedang dalam pratinjau publik. Perjanjian Tingkat Layanan (SLA) tidak dijamin selama masa pratinjau publik. Untuk informasi lebih lanjut, lihat Realtime Compute for Apache Flink Service Level Agreement (SLA). Jika Anda memiliki pertanyaan tentang fitur ini, Anda dapat submit a ticket.

• Fitur task orchestration hanya didukung di wilayah China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen), China (Zhangjiakou), dan Singapura.

Buat alur kerja

1. Masuk ke Realtime Compute for Apache Flink console.

2. Pada kolom Actions ruang kerja target, klik Console.

3. Di panel navigasi sebelah kiri, pilih Operation Center > Task Orchestration.

4. Klik Create Workflow dan masukkan informasi yang diperlukan.

   Parameter	Deskripsi
   Workflow name	Nama alur kerja harus unik dalam proyek saat ini.
   Variable configuration	Mendukung komputasi data berdasarkan nilai yang telah ditentukan. Variable name: Nama variabel kustom, seperti ${date}. Variable value: Tanggal statis, format waktu, atau ekspresi. Variabel waktu sistem berikut didukung: Variable name system.biz.date dan value ${system.biz.date}: Hari sebelum waktu penjadwalan instans penjadwalan harian. Formatnya adalah yyyyMMdd. Variable name system.biz.curdate dan value ${system.biz.curdate}: Tanggal penjadwalan instans penjadwalan harian. Formatnya adalah yyyyMMdd. Variable name system.datetime dan value ${system.datetime}: Waktu penjadwalan instans penjadwalan harian. Formatnya adalah yyyyMMddHHmmss. Catatan Konfigurasi ini tidak wajib jika Anda membuat alur kerja untuk tabel materialized. Parameter ini berlaku untuk semua pekerjaan yang terkait dengan node. Konfigurasi tingkat alur kerja memiliki prioritas lebih tinggi daripada konfigurasi tingkat pekerjaan.
   Scheduling type	Dua jenis penjadwalan didukung: Manual Trigger: Jalankan alur kerja secara manual dengan mengklik Run. Cocok untuk pengujian sementara atau pemrosesan segera. Recurring Schedule: Alur kerja dipicu berdasarkan aturan penjadwal. Anda dapat menjalankannya secara berkala, misalnya per menit, jam, atau hari. Penting Anda harus memilih Recurring Schedule untuk alur kerja yang membuat node tabel materialized.
   Scheduling cycle	Parameter ini hanya wajib untuk tipe Recurring Schedule. Anda dapat menggunakan ekspresi cron untuk menetapkan aturan kompleks. Contoh: 0 0 */4 ? * *: Berjalan setiap 4 jam. 0 0 2 ? * *: Berjalan pukul 02.00 setiap hari. 0 0 5,17 ? * MON-FRI: Berjalan pukul 05.00 dan 17.00 dari Senin hingga Jumat. Untuk informasi lebih lanjut tentang cara menulis ekspresi cron, lihat Rules for writing cron expressions.
   Scheduling start time	Waktu ketika jadwal mulai berlaku. Parameter ini hanya wajib untuk tipe Recurring Schedule. Penting Setelah membuat alur kerja berulang, Anda harus mengaktifkan Scheduling State-nya agar berjalan pada waktu yang ditentukan. Saat menetapkan waktu mulai, pastikan waktu tersebut di masa depan. Jika tidak, tugas mungkin menghasilkan dry-run atau gagal karena melewatkan jendela penjadwalan.
   Failure retries	Jumlah kali percobaan ulang untuk node yang gagal dalam alur kerja. Secara default, node yang gagal tidak akan dicoba ulang.
   Failure notification	Alamat email default untuk notifikasi ketika node alur kerja gagal. Catatan Anda dapat mengonfigurasi peringatan melalui Cloud Monitor yang dikirim melalui DingTalk, pesan teks, dan metode lainnya. Untuk informasi lebih lanjut, lihat Configure monitoring and alerting.
   Resource queue	Target penerapan untuk alur kerja. Untuk informasi lebih lanjut, lihat Manage resource queues. Pengaturan ini berlaku untuk semua node secara default. Tidak diperlukan konfigurasi tambahan untuk node. Catatan Konfigurasi ini tidak mengubah target penerapan pekerjaan batch yang sesuai.
   Tags	Anda dapat menetapkan nama tag dan nilai tag untuk alur kerja.

5. Klik Create.

   Anda akan diarahkan ke halaman editor node alur kerja.

6. Konfigurasikan node awal alur kerja.

   Secara default, halaman editor node alur kerja berisi satu node awal. Klik node awal tersebut, konfigurasikan parameter di panel Edit Node, lalu klik Save.

   Job

   Parameter	Deskripsi
   Job	Anda hanya dapat memilih pekerjaan batch yang telah diterapkan dari proyek saat ini. Pencarian fuzzy didukung.
   Node name	Nama node dalam alur kerja saat ini.
   Upstream nodes	Dependensi hulu dari node saat ini. Anda hanya dapat memilih node lain dalam alur kerja yang sama. Catatan Node awal tidak memiliki dependensi hulu dan tidak mendukung pemilihan node hulu.
   Failure retries	Jumlah kali percobaan ulang untuk node yang gagal. Secara default, nilai ini sama dengan jumlah percobaan ulang alur kerja. Jika diatur, pengaturan tingkat node memiliki prioritas lebih tinggi.
   Status subscription	Konfigurasikan kebijakan langganan status node dan email notifikasi. Langganan untuk status Start dan Fail didukung.
   Timeout	Durasi timeout untuk eksekusi node. Jika waktu eksekusi melebihi durasi ini, node dianggap gagal.
   Resource queue	Target penerapan untuk node. Untuk informasi lebih lanjut, lihat Manage resource queues. Jika tidak ditentukan, antrian sumber daya yang dikonfigurasi untuk alur kerja akan digunakan secara default. Catatan Konfigurasi ini tidak mengubah target penerapan pekerjaan batch yang sesuai.
   Tags	Anda dapat menetapkan nama tag dan nilai tag untuk node alur kerja.

   Materialized table

   Parameter	Deskripsi
   Materialized table	Anda hanya dapat memilih tabel partisi yang dibuat di Ververica Runtime (VVR) 11.0 atau versi lebih baru dan memiliki mode refresh stream.
   Node name	Nama node dalam alur kerja saat ini.
   Time partition	Partition field: Bidang partisi waktu dari tabel materialized. Partition format: Misalnya, yyyyMMdd.
   Resource configuration	Anda dapat menyesuaikan jumlah sumber daya yang digunakan untuk pengisian ulang data terjadwal. Untuk konkurensi, Anda dapat mencentang Auto-infer untuk secara otomatis menyesuaikan konkurensi yang sesuai.
   Upstream nodes	Dependensi hulu dari node saat ini. Anda hanya dapat memilih node lain dalam alur kerja yang sama. Catatan Node awal tidak memiliki dependensi hulu dan tidak mendukung pemilihan node hulu. Setelah node tabel materialized dibuat, node turunan secara otomatis diinferensi berdasarkan alur data.
   Failure retries	Jumlah kali percobaan ulang untuk node yang gagal. Secara default, nilai ini sama dengan jumlah percobaan ulang alur kerja. Jika diatur, pengaturan tingkat node memiliki prioritas lebih tinggi.
   Status subscription	Konfigurasikan kebijakan langganan status node dan email notifikasi. Langganan untuk status Start dan Fail didukung.
   Timeout	Durasi timeout untuk eksekusi node. Jika waktu eksekusi melebihi durasi ini, node dianggap gagal.
   Resource queue	Target penerapan untuk node. Untuk informasi lebih lanjut, lihat Manage resource queues. Jika tidak ditentukan, antrian sumber daya yang dikonfigurasi untuk alur kerja akan digunakan secara default. Catatan Konfigurasi ini tidak mengubah target penerapan tabel materialized yang sesuai.
   Tags	Anda dapat menetapkan nama tag dan nilai tag untuk node alur kerja.

   Catatan

   • Setelah membuat node tabel materialized, kotak dialog akan muncul. Kotak dialog ini menggunakan alur data tabel materialized untuk membantu Anda membangun node turunan dengan cepat. Anda kemudian dapat memilih node yang sesuai untuk membuatnya secara cepat.

   • Node turunan tunduk pada batasan yang sama. Anda hanya dapat memilih tabel partisi yang dibuat di VVR 11.0 atau versi lebih baru dan menggunakan mode refresh stream dengan freshness kurang dari 30 menit.

7. (Opsional) Klik Add Node di bagian bawah halaman untuk menambahkan lebih banyak node.

8. Simpan konfigurasi alur kerja.

   1. Klik Save di pojok kanan atas halaman editor node.

   2. Pada kotak dialog yang muncul, klik OK.

Jalankan alur kerja

Setiap kali alur kerja dijalankan, sebuah instans alur kerja akan dihasilkan di tab Workflow Instance List and Details pada halaman detail alur kerja.

• Manual trigger: Segera menjalankan tugas alur kerja saat ini satu kali. Metode ini cocok untuk pengujian sementara atau pemrosesan segera.

  Pada kolom Actions alur kerja target, klik Run. Pada kotak dialog yang muncul, pilih Manual Execution, lalu klik OK. Setiap kali Anda melakukan operasi ini, alur kerja akan berjalan satu kali.

• Recurring schedule: Setelah Anda memulai jadwal berulang, tugas alur kerja akan dipicu pada waktu yang ditentukan.

  Untuk menjalankan alur kerja pada waktu efektif yang ditentukan, Anda harus mengaktifkan Scheduling State-nya.

Data backfill

Data backfill melengkapi atau memperbarui data dalam periode waktu tertentu. Fitur ini terutama digunakan untuk skenario seperti mengirim ulang data historis dari hulu, memperbaiki tabel dimensi, dan menambahkan antarmuka baru.

Status alur kerja

Pada kolom Running Status untuk suatu alur kerja, Anda dapat melihat status agregat dari semua instansnya. Misalnya, jika suatu alur kerja dijalankan sekali sehari selama lima hari, maka akan dihasilkan lima instans alur kerja. Kolom Running Status menampilkan ringkasan statistik dari status eksekusi kelima instans tersebut.

Edit alur kerja

1. Masuk ke Realtime Compute for Apache Flink console.

2. Pada kolom Actions ruang kerja target, klik Console.

3. Di panel navigasi sebelah kiri, klik Task Orchestration.

4. Pada kolom Actions alur kerja target, klik Edit Workflow.

   Untuk informasi lebih lanjut tentang konfigurasi parameter, lihat Create a workflow.

   Catatan

   Anda tidak dapat mengedit alur kerja ketika Scheduling State-nya berstatus Enabled.

Referensi

• Anda dapat menjadwalkan tugas batch Flink SQL di platform DataWorks. Untuk informasi lebih lanjut, lihat Flink SQL Batch node dan Node scheduling configuration.

• Untuk informasi lebih lanjut tentang konsep dasar task orchestration, lihat Task orchestration (public preview).

• Untuk informasi lebih lanjut tentang cara melihat instans alur kerja dan log node, lihat Manage workflow instances and node instances.

• Anda dapat menambahkan antrian sumber daya untuk mengisolasi dan mengelola sumber daya. Untuk informasi lebih lanjut, lihat Manage resource queues.

• Untuk informasi lebih lanjut tentang cara menerapkan pekerjaan batch (SQL, JAR, dan Python), lihat Deploy a job.