Alur kerja mengoordinasikan task dalam urutan yang telah ditentukan dengan dependensi eksplisit. Anda dapat membuat alur kerja dan mengonfigurasi properti penjadwalan untuk menjalankan task secara otomatis pada waktu tertentu.
Prasyarat
-
Anda telah membuat ruang kerja. Untuk informasi selengkapnya, lihat Mengelola ruang kerja.
-
Anda telah mengembangkan dan menerbitkan task yang diperlukan.
Buat alur kerja
-
Buka halaman Workflows.
-
Masuk ke Konsol E-MapReduce.
-
Pada panel navigasi kiri, pilih EMR Serverless > Spark.
-
Pada halaman Spark, klik nama ruang kerja yang dituju.
-
Pada halaman EMR Serverless Spark, klik Workflows di panel navigasi kiri.
-
-
Pada halaman Workflows, klik Create Workflow.
-
Pada panel Create Workflow, konfigurasikan parameter berikut lalu klik Next.
Parameter
Deskripsi
Name
Nama alur kerja harus unik dalam ruang kerja saat ini.
Resource Queue
Pilih antrian sumber daya default tempat alur kerja dijalankan.
CatatanPengaturan antrian sumber daya pada node akan menggantikan antrian default ini.
Other Settings
Scheduling Type
Jenis penjadwalan untuk menjalankan alur kerja di lingkungan produksi:
-
Manual (Default): Alur kerja hanya dijalankan ketika Anda memicunya secara manual.
-
Scheduler: Alur kerja dijalankan secara otomatis sesuai jadwal yang ditentukan (menit, jam, atau hari).
Ketika Anda mengatur Scheduling Type menjadi Scheduler, Anda juga harus mengonfigurasi parameter Scheduler dan Scheduling Started At.
Scheduler
Seberapa sering alur kerja dijalankan secara otomatis. Wajib diisi hanya jika Anda mengatur Scheduling Type menjadi Scheduler.
Siklus penjadwalan berikut tersedia:
-
Harian: Dijalankan sekali pada waktu tertentu setiap hari.
-
Jam: Dijalankan pada interval tertentu, misalnya
setiap N jam, dalam rentang waktu tertentu setiap hari. -
Menit: Dijalankan pada interval tertentu, misalnya
setiap N menit, dalam rentang waktu tertentu setiap hari.
Scheduling Started At
Tanggal dan waktu mulai penjadwalan alur kerja. Nilai default adalah waktu saat ini. Wajib diisi hanya untuk jenis Scheduler.
PentingUntuk alur kerja jenis Scheduler, Anda harus mengaktifkan toggle Scheduling Status pada halaman Workflows agar jadwalnya aktif.
Retries After Failure
Jumlah percobaan ulang node setelah gagal. Default: tanpa percobaan ulang.
CatatanPengaturan pada node individual dapat menggantikan parameter ini.
Failure Notification
Alamat email untuk menerima notifikasi kegagalan.
Tags
Pasangan kunci-nilai untuk memberi tag alur kerja.
-
-
Edit node alur kerja.
-
Pada halaman Edit Workflow, klik Add Node di bagian bawah.
-
Pada panel Add Node, konfigurasikan parameter node.
Parameter
Deskripsi
Path
Jalur ke task yang dijalankan oleh node ini. Task tersebut harus sudah diterbitkan.
Node Type
Jenis node alur kerja. Secara default, sistem melakukan inferensi jenis dari task pada jalur yang ditentukan.
Node Name
Nama kustom untuk node. Diisi otomatis dari sumber task.
Upstream Nodes
Node sebelumnya dalam alur kerja.
Node pertama tidak memerlukan upstream node.
Failure Retries
Mewarisi pengaturan percobaan ulang dari alur kerja. Default: tanpa percobaan ulang.
Timeout(seconds)
Batas waktu eksekusi satu node. Default: tanpa batas.
Subscriptions
Tentukan alamat email untuk berlangganan notifikasi terkait status tertentu dari node.
Tags
Pasangan kunci-nilai tag untuk node. Setiap node secara otomatis menyertakan dua tag bawaan:
workflow_namedantask_name.Resource Queue
Antrian sumber daya untuk node ini. Pengaturan ini menggantikan antrian sumber daya default alur kerja.
PentingPengaturan antrian sumber daya spesifik node memiliki prioritas lebih tinggi daripada default alur kerja, bahkan jika default tersebut diubah di kemudian hari.
CatatanJika sumber task adalah pengembangan SQL, Anda juga harus mengonfigurasi parameter task. Parameter ini secara default mewarisi nilai dari templat task. Anda dapat memodifikasi templat task untuk mengubah nilai default tersebut. Untuk informasi selengkapnya tentang parameter, lihat Manajemen konfigurasi.
-
Klik Save.
Setelah mengonfigurasi node awal, Anda dapat mengklik Add Node di bagian bawah halaman untuk menambahkan node lainnya.
-
-
Terbitkan alur kerja.
-
Di pojok kanan atas, klik Publish Workflow.
-
Pada kotak dialog Publish, Anda dapat memasukkan deskripsi rilis, lalu klik OK.
-
Jalankan alur kerja
Setiap eksekusi alur kerja menghasilkan catatan pada tab Workflow Runs di halaman detail alur kerja.
Debug
Lakukan debug versi terbaru alur kerja saat sedang mengeditnya.
-
Pada halaman Edit Workflow, klik Debugging.

-
Pada kotak dialog Debugging, pilih antrian sumber daya dari lingkungan pengembangan, lalu klik Run.
Jalankan terjadwal
Jika Anda mengatur Scheduling Type menjadi Scheduler saat membuat alur kerja, Anda dapat mengaktifkan toggle Scheduling Status setelah pembuatan. Alur kerja tersebut kemudian akan dipicu pada waktu yang ditentukan.

Jalankan Secara Manual
Pada halaman Workflows, klik nama alur kerja yang dituju. Di pojok kanan atas, klik Run dan pilih metode untuk menjalankan alur kerja.
-
Manually Run (Default): Menjalankan alur kerja segera, terlepas dari jadwalnya.
-
Backfill: Menjalankan ulang alur kerja untuk periode historis guna memperbaiki data dari eksekusi yang gagal atau terlewat. Konfigurasikan parameter berikut:
Parameter
Deskripsi
Cycle
Sistem menghasilkan eksekusi alur kerja untuk rentang waktu yang Anda pilih.
-
Ketika waktu saat ini melewati awal siklus yang dipilih, sistem secara otomatis menghasilkan dan mengeksekusi eksekusi backfill tersebut.
-
Eksekusi alur kerja backfill hanya dihasilkan dan dijalankan jika waktu eksekusi terjadwal alur kerja tersebut berada dalam siklus yang dipilih.
-
Jika alur kerja berisi variabel waktu (misalnya,
${ds}), sistem secara otomatis menggantinya dengan waktu dari siklus yang dipilih.
Resource Queue
Menggunakan antrian sumber daya default alur kerja. Anda dapat memilih antrian lain yang tersedia di lingkungan produksi.
Remarks
Deskripsi untuk eksekusi backfill guna membantu manajemen dan troubleshooting di masa depan.
More
Failure Notification: Tentukan alamat email untuk menerima peringatan ketika eksekusi backfill alur kerja gagal.
-
Lihat status eksekusi
Lihat status semua eksekusi alur kerja dan eksekusi node pada kolom Workflow Runs Status dan Workflow Job Runs Status untuk alur kerja yang dituju.
-
Status eksekusi alur kerja
Status
Deskripsi
Biru
Berjalan
Hijau
Berhasil
Merah
Gagal
Ungu
Tertunda
-
Status eksekusi node alur kerja
Status
Deskripsi
Biru
Berjalan
Hijau
Berhasil
Merah
Gagal
Kuning
Mencoba ulang
Ungu
Tertunda
Topik terkait
-
Untuk informasi selengkapnya tentang konsep dasar alur kerja, lihat Konsep dasar.
-
Untuk informasi tentang cara melihat eksekusi alur kerja dan node, lihat Mengelola eksekusi alur kerja dan eksekusi node.