Microservices Engine:Manajemen tugas

Buat tugas

1. Login ke Konsol MSE SchedulerX.

2. Login ke Konsol EDAS.

3. Di panel navigasi kiri, klik Task Management, lalu pilih wilayah dan Namespace untuk tugas tersebut.

4. Klik Add Task. Pada langkah Basic Configuration, konfigurasikan pengaturan tugas, lalu klik Next.

   Tabel berikut menjelaskan parameter konfigurasi dasar.

   Parameter	Deskripsi
   Task name	Nama kustom untuk tugas tersebut.
   Description	Deskripsi singkat untuk mengidentifikasi tugas dalam hasil pencarian.
   Application ID	Kelompok aplikasi tempat tugas tersebut berada. Pilih kelompok dari daftar drop-down.
   Task type	Bahasa atau runtime untuk tugas tersebut. Jenis yang didukung adalah Java, XXL-JOB, SpringSchedule, Golang, script task, Http, dan DataWorks. Jika Anda memilih script task, pilih bahasa skrip: shell, python, atau go. Anda kemudian dapat menulis skrip tugas di editor yang disediakan.
   Class full path	Catatan Parameter ini hanya muncul ketika Task Type diatur ke Java. Nama kelas lengkap dari JobProcessor, misalnya xxx.xxx.xxx.HelloProcessor.
   Execution mode	Menentukan cara tugas dijalankan. Mode berikut didukung: stand-alone operation: Dijalankan pada satu worker yang dipilih secara acak. broadcast run: Dijalankan secara simultan di semua worker dan selesai hanya setelah setiap worker menyelesaikan tugas. Visual MapReduce: Model Map dengan daftar visual subtask. Mendukung hingga 300 subtask. Edisi Profesional mendukung hingga 1.000 subtask dan memungkinkan Anda mencari subtask berdasarkan kata kunci bisnis. MapReduce: Model MapReduce standar yang mendukung pemrosesan paralel untuk jumlah besar subtask. Hanya menyediakan informasi ringkasan untuk eksekusi subtask. Direkomendasikan untuk tugas dengan hingga 1 juta subtask. shard run: Mirip dengan model elastic-job, Anda dapat mengonfigurasi parameter sharding untuk mendistribusikan shard secara merata di antara beberapa client. Mode ini mendukung banyak bahasa. Catatan Pengaturan lanjutan berubah berdasarkan execution mode yang dipilih.
   Task parameters	String arbitrer yang dapat diakses dari konteks tugas saat waktu proses.

   Tabel berikut menjelaskan parameter konfigurasi lanjutan.

   Parameter	Mode eksekusi yang berlaku	Deskripsi	Bawaan
   Task failure retry count	Semua mode	Jumlah kali tugas akan dicoba ulang secara otomatis setelah gagal. Catatan Jika worker yang sedang menjalankan tugas direstart, status tugas berubah menjadi gagal. Anda dapat mengonfigurasi parameter ini untuk segera menjalankan ulang tugas.	0
   Task failure retry interval	Semua mode	Interval antar percobaan ulang. Satuan: detik.	30
   Task concurrency	Semua mode	Jumlah maksimum instans tugas yang sama yang dapat dijalankan secara konkuren. Nilai 1 mencegah eksekusi tumpang tindih.	1
   Cleaning strategy	Semua mode	Kebijakan pembersihan untuk riwayat eksekusi tugas.	Keep last N entries
   Number of records to retain	Semua mode	Jumlah catatan eksekusi tugas yang disimpan.	300 records
   Subtask concurrency per machine	Visual MapReduce MapReduce shard run	Untuk model terdistribusi, ini adalah jumlah subtask yang dapat diproses secara konkuren oleh satu worker. Anda dapat menaikkan nilai ini untuk mempercepat eksekusi, atau menurunkannya jika sistem atau database downstream tidak mampu menangani beban tersebut.	5
   Subtask failure retry count	Visual MapReduce MapReduce shard run	Untuk model terdistribusi, ini adalah jumlah kali subtask yang gagal akan dicoba ulang secara otomatis.	0
   Subtask failure retry interval	Visual MapReduce MapReduce shard run	Untuk model terdistribusi, ini adalah interval antar percobaan ulang subtask. Satuan: detik.	0
   Subtask failover strategy	Visual MapReduce MapReduce shard run	Jika diaktifkan, subtask yang gagal akan didistribusikan ulang ke worker lain. Proses ini dapat menyebabkan subtask dijalankan lebih dari sekali, sehingga kode Anda harus idempoten. Catatan Diperlukan client v1.8.13 atau yang lebih baru.
   Master node participates in execution	Visual MapReduce MapReduce shard run	Menentukan apakah node master juga mengeksekusi subtask. Anda harus memiliki setidaknya dua worker online. Jika jumlah subtask sangat besar, kami menyarankan agar Anda menonaktifkan parameter ini. Catatan Diperlukan client v1.8.13 atau yang lebih baru.
   Subtask distribution method	Visual MapReduce MapReduce shard run	push model: Mendistribusikan subtask secara merata ke seluruh worker. pull model: Setiap worker secara aktif menarik subtask. Ini menghindari efek "mata rantai terlemah". Selama proses pull, semua subtask di-cache di node master, yang dapat mengonsumsi memori signifikan. Model ini direkomendasikan untuk tugas dengan tidak lebih dari 10.000 subtask.	push model
   Distribution policy	Visual MapReduce MapReduce	Kebijakan distribusi untuk subtask. Secara bawaan, sistem mendistribusikan subtask ke node secara round-robin. polling scheme: Memberikan bagian subtask yang sama kepada setiap worker. Gunakan skema ini ketika subtask memiliki waktu pemrosesan yang serupa. Load-based strategy: Node master mendeteksi beban worker dan mendistribusikan subtask sesuai dengan itu. Gunakan skema ini ketika waktu pemrosesan bervariasi di antara subtask atau worker. Catatan Diperlukan client v1.10.14 atau yang lebih baru.
   Distribution rate	Visual MapReduce MapReduce	Laju distribusi subtask. Anda dapat menentukan jumlah subtask yang didistribusikan per detik atau per menit.
   Pull size per request (pull model only)	Visual MapReduce MapReduce shard run	Jumlah subtask yang ditarik oleh worker (node slave) dari node master dalam satu permintaan.	5
   Subtask queue capacity (pull model only)	Visual MapReduce MapReduce shard run	Ukuran antrian cache subtask di setiap worker (node slave).	10
   Global subtask concurrency (pull model only)	Visual MapReduce MapReduce shard run	Dalam model pull terdistribusi, Anda dapat menetapkan batas global untuk jumlah konkurensi subtask guna pembatasan laju.	1.000

5. Pada langkah Timing Configuration, konfigurasikan pengaturan penjadwalan dan parameter lanjutan, lalu klik Next.

   Tabel berikut menjelaskan parameter penjadwalan.

   Parameter	Deskripsi
   Time type	none: Tidak ada penjadwalan. Tugas biasanya dipicu oleh alur kerja. cron: Ekspresi cron. api: Dipicu oleh panggilan API. fixed_rate: Interval tetap. second_delay: Penundaan tetap dalam detik. onetime: Tugas satu kali. unix cron: Ekspresi cron bergaya Unix.
   Cron expression (hanya untuk tipe waktu cron)	Masukkan ekspresi cron. Anda dapat menulis ekspresi secara langsung atau menggunakan tool untuk menghasilkan dan memvalidasinya.
   Fixed frequency (hanya untuk tipe waktu fixed_rate)	Masukkan frekuensi tetap dalam detik. Nilainya harus lebih besar dari 60. Misalnya, nilai 200 berarti tugas dijadwalkan setiap 200 detik.
   Fixed delay (hanya untuk tipe waktu second_delay)	Masukkan penundaan tetap dalam detik. Nilai yang valid berkisar antara 1 hingga 60. Misalnya, 5 memicu tugas setelah penundaan 5 detik.
   Scheduled time (hanya untuk tipe waktu onetime)	Masukkan waktu eksekusi terjadwal untuk tugas tersebut. Contoh: 2023-7-13 00:00:00.
   Unix cron expression (hanya untuk tipe waktu unix cron)	Masukkan ekspresi cron bergaya Unix.

   Tabel berikut menjelaskan parameter konfigurasi lanjutan.

   Parameter	Deskripsi
   Time offset	Offset antara waktu data dan waktu penjadwalan. Anda dapat mengambil nilai ini dari konteks penjadwalan.
   Time zone	Pilih zona waktu sesuai kebutuhan Anda. Anda dapat memilih zona waktu negara atau wilayah umum, atau offset GMT standar.

6. Pada langkah Notification Configuration, konfigurasikan parameter peringatan dan kontak, lalu klik Complete.

   Langkah ini mencakup beberapa pengaturan peringatan: Timeout alarm, Timeout termination, Success notification, Failure alarm, dan No available machine alarm. Anda juga dapat menentukan penerima notifikasi dengan memilih Application group contact atau Custom.

   Notification Channels and Contacts saat ini mendukung Application Group Contacts dan Custom.

   • Application group contact

     Semua kontak dalam kelompok aplikasi menerima notifikasi.

   • Custom

     Dalam mode kustom, Anda dapat menentukan penerima berdasarkan Contact group atau Contact.

     • Contact group

       Semua kontak dalam grup kontak yang dipilih menerima notifikasi. Untuk informasi selengkapnya tentang cara membuat grup kontak, lihat Notification contacts.

     • Contact

       1. Untuk menambahkan kontak notifikasi, klik Add Contact, lalu klik Go to Create Contact. Sistem mengirimkan notifikasi ke semua kontak yang ditambahkan.

       2. Di kotak dialog yang muncul, klik New Contact dan masukkan informasi kontak.

       Informasi kontak mencakup Name (wajib), Mobile, Email, webhook, dan Contact Group.

7. Kembali ke halaman Task Management untuk memverifikasi bahwa tugas telah dibuat dengan pengaturan yang Anda tentukan.

   Catatan

   Tugas diaktifkan secara bawaan setelah dibuat. Anda juga dapat menonaktifkan lalu mengaktifkan kembali tugas sesuai kebutuhan bisnis. Untuk informasi selengkapnya, lihat Aktifkan dan nonaktifkan tugas terjadwal.

Edit tugas

1. Di halaman Tasks, klik Edit di kolom Actions untuk tugas target.

2. Di panel Edit, konfigurasikan pengaturan Dasar, Penjadwalan, dan Notifikasi.

   Catatan

   Anda tidak dapat mengubah Application ID atau Task Type. Aturan konfigurasi untuk parameter lain sama seperti saat membuat tugas.

Jalankan tugas terjadwal

Di halaman Tasks, klik Run once di kolom Actions untuk menjalankan tugas segera.

Aktifkan atau nonaktifkan tugas

Salin tugas terjadwal

Di halaman Tasks, di kolom Actions untuk tugas target, klik More > Copy. Ini menyalin konfigurasi tugas, yang kemudian dapat Anda edit untuk membuat tugas terjadwal baru.

Backfill tugas

Jika Anda perlu menjalankan ulang tugas untuk periode sebelumnya karena perubahan bisnis, seperti menambahkan bidang baru ke database atau memperbaiki kesalahan pada data historis, Anda dapat melakukan backfill tugas.

Jika data dari eksekusi tugas sebelumnya salah atau hilang, jalankan backfill untuk mengambil data yang benar.

1. Login ke Konsol MSE SchedulerX.

2. Di halaman Task Management, di kolom Actions untuk tugas target, klik More > Backfill Task.

3. Di panel Backfill Task, atur tanggal mulai dan akhir serta data timestamp, lalu klik OK.

   • Start and end date: Rentang tanggal untuk backfill.

   • Data timestamp: Menentukan waktu dalam sehari untuk setiap instans backfill yang dihasilkan dalam rentang tanggal tersebut.

   Contoh konfigurasi backfill:

   • Waktu saat ini: 2019-01-01 10:00:00.

   • Tanggal mulai dan akhir: 2018-10-01 hingga 2018-10-07. Secara bawaan, rentang mencakup dari 00:00:00 pada 2018-10-01 hingga 23:59:59 pada 2018-10-07.

   • Data timestamp: 11:11:11.

   Backfill menghasilkan tujuh instans tugas.

   ID	Scheduling time	Data timestamp
   1	2019-01-01 10:00:00	2018-10-01 11:11:11
   2	2019-01-01 10:00:00	2018-10-02 11:11:11
   3	2019-01-01 10:00:00	2018-10-03 11:11:11
   4	2019-01-01 10:00:00	2018-10-04 11:11:11
   5	2019-01-01 10:00:00	2018-10-05 11:11:11
   6	2019-01-01 10:00:00	2018-10-06 11:11:11
   7	2019-01-01 10:00:00	2018-10-07 11:11:11

Riwayat eksekusi dan catatan operasi

• Lihat riwayat eksekusi: Di halaman Task Management, klik More>History di kolom Actions tugas target untuk melihat riwayat eksekusinya. Di halaman Task Instance History, Anda dapat memfilter catatan berdasarkan kriteria seperti status, Application ID, dan tanggal, serta memilih kotak centang Include Workflows. Tabel riwayat mencakup kolom seperti Task ID/Name, Task Type/Execution Method, Instance ID/Process Instance ID, Application ID, Start Time, End Time, dan Operator. Kolom Actions menyediakan tautan ke Details, Logs, dan More. Pesan di bagian atas halaman menunjukkan bahwa Edisi Standar hanya mendukung penampilan 30 catatan, sedangkan Edisi Profesional mendukung 300 catatan.

• Lihat catatan operasi: Di halaman Task Management, klik More > Operation Records di kolom Actions tugas target untuk melihat catatan operasi manajemen untuk tugas terjadwal tersebut. Halaman Operation Records mendukung pemfilteran berdasarkan Type dan Task ID. Tabel hasil mencakup kolom Task ID, Operation Time, Operation Type, Operator, Extensions, dan Actions. Anda dapat mengklik View untuk melihat detail operasi.

Hapus tugas

1. Di halaman Tasks, klik More > Delete di kolom Actions untuk tugas target.

2. Di kotak dialog konfirmasi, klik Confirm.

Impor atau ekspor tugas

1. Di halaman Tasks, pilih aplikasi Edisi Profesional.

   Pilih aplikasi dari daftar drop-down All Applications di bagian atas halaman.

2. Klik Import task atau Export tasks.