Kelola alur kerja - E-MapReduce

Alur kerja terdiri dari serangkaian pekerjaan dengan dependensi dan urutan pelaksanaan yang jelas. Untuk menjalankan pekerjaan pada waktu tertentu, Anda dapat membuat alur kerja, menambahkan node, serta mengonfigurasi kebijakan penjadwalan. Topik ini menjelaskan cara membuat dan menjalankan alur kerja.

Prasyarat

Ruang kerja telah dibuat. Untuk informasi lebih lanjut, lihat Kelola ruang kerja.
Pekerjaan telah dikembangkan dan diterbitkan.

Buat alur kerja

Buka halaman Alur Kerja.
1. Masuk ke Konsol E-MapReduce (EMR).
2. Di panel navigasi kiri, pilih EMR Serverless > Spark
3. Di halaman Spark, temukan ruang kerja yang diinginkan dan klik nama ruang kerja tersebut.
4. Di panel navigasi kiri halaman EMR Serverless Spark, pilih Pusat Operasi > Workflows.
Di tab Workflows, klik Create Workflow.

Di panel Create Workflow, konfigurasikan parameter dan klik Next. Tabel berikut menjelaskan parameter tersebut.

Parameter		Deskripsi
Name		Nama alur kerja. Nama tersebut harus unik dalam sebuah ruang kerja.
Resource Queue		Antrian sumber daya default untuk alur kerja. Catatan Antrian sumber daya yang ditentukan untuk node alur kerja dapat menggantikan antrian sumber daya default.
Other Settings	Scheduling Type	Mode di mana alur kerja dijalankan di lingkungan produksi. Nilai valid: Tidak ada (Manual): Alur kerja dijalankan secara manual. Ini adalah nilai default. Penjadwal: Alur kerja dijalankan berdasarkan pengaturan penjadwal. Alur kerja dapat dijadwalkan untuk dijalankan per menit, jam, atau hari. Jika Anda mengatur parameter Scheduling Type menjadi Scheduler, Anda harus mengonfigurasi parameter Scheduling Time dan Scheduling Started At.
	Scheduling Time	Siklus penjadwalan alur kerja. Parameter ini menentukan frekuensi penjadwalan alur kerja di lingkungan produksi. Jalannya alur kerja dihasilkan berdasarkan frekuensi penjadwalan alur kerja. Parameter ini hanya diperlukan jika parameter Scheduling Type diatur ke Scheduler. Nilai valid: Hari: Node dijalankan sekali sehari pada titik waktu yang ditentukan. Jam: Node dijalankan sekali `setiap N jam` dalam periode tertentu setiap hari. Menit: Node dijalankan sekali `setiap N menit` dalam periode tertentu setiap hari.
	Scheduling Started At	Tanggal dan waktu ketika alur kerja dijadwalkan untuk berjalan. Nilai defaultnya adalah waktu saat ini. Parameter ini hanya diperlukan jika parameter Tipe Penjadwalan diatur ke Scheduler. Penting Jika Anda membuat alur kerja dengan Scheduler sebagai Jenis Penjadwalan, Anda harus mengaktifkan sakelar Scheduling Status untuk alur kerja tersebut di tab Workflows pada halaman Workflows. Jika tidak, alur kerja tidak dapat dipicu pada waktu penjadwalan.
	Retries After Failure	Jumlah percobaan ulang setelah node alur kerja gagal dijalankan. Secara default, tidak ada percobaan ulang yang dilakukan. Catatan Jumlah percobaan ulang yang ditentukan untuk node alur kerja dapat menggantikan nilai parameter ini.
	Failure Notification	Alamat email untuk menerima notifikasi setelah alur kerja gagal dijalankan.
	Tags	Tag yang digunakan untuk mengidentifikasi alur kerja. Anda dapat menentukan kunci dan nilai setiap tag.

Tambahkan node dalam alur kerja.

Di halaman yang muncul, klik Add Node di bagian bawah kanvas.

Di panel Add Node, konfigurasikan parameter. Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Source File Path	Path pekerjaan yang sesuai dengan node. Pekerjaan dalam path tersebut harus diterbitkan.
Node Type	Tipe node. Secara default, sistem melakukan inferensi tipe node berdasarkan pekerjaan dalam path yang sesuai.
Node Name	Nama node. Sistem secara otomatis memasukkan nama node berdasarkan nilai Path File Sumber. Anda juga dapat menentukan nama berdasarkan kebutuhan bisnis Anda.
Upstream Node	Node hulu dari node saat ini. Node hulu harus merupakan node yang dibuat dalam alur kerja saat ini. Anda tidak perlu menentukan node hulu untuk node pertama dalam alur kerja.
Number of Retries	Jumlah percobaan ulang yang ditentukan dalam alur kerja digunakan. Secara default, tidak ada percobaan ulang yang dilakukan.
Timeout (Seconds)	Periode batas waktu untuk satu kali jalannya node. Secara default, tidak ada batasan yang diberlakukan.
Subscription	Alamat email ke mana notifikasi dikirim ketika node berada dalam status tertentu.
Tags	Tag node. Secara default, tag workflow_name dan task_name disediakan untuk setiap node.
Resource Queue	Antrian sumber daya yang digunakan untuk menjalankan node. Secara default, antrian sumber daya yang Anda tentukan untuk alur kerja digunakan. Anda dapat mengonfigurasi antrian sumber daya untuk node untuk menggantikan antrian sumber daya yang Anda tentukan untuk alur kerja. Penting Setelah Anda menentukan antrian sumber daya untuk node alur kerja, antrian sumber daya yang ditentukan akan tetap berlaku meskipun Anda mengubah antrian sumber daya yang dikonfigurasikan untuk alur kerja.

Catatan

Jika Anda menggunakan pekerjaan SQL, Anda dapat mengonfigurasi parameter dalam bagian Konfigurasi Tugas sesuai kebutuhan bisnis. Secara default, nilai parameter dalam bagian Konfigurasi Tugas sama dengan nilai parameter yang Anda konfigurasikan untuk pekerjaan. Untuk informasi lebih lanjut, lihat Kelola konfigurasi.

Klik Save.
Anda dapat terus menambahkan node dengan mengklik Add Node sesuai kebutuhan bisnis Anda.

Terbitkan alur kerja.
1. Di pojok kanan atas, klik Publish Workflow.
2. Di kotak dialog Publish, konfigurasikan parameter Keterangan dan klik OK.

Jalankan alur kerja

Setiap kali alur kerja dijalankan, sebuah jalannya alur kerja dihasilkan. Anda dapat melihat jalannya alur kerja di tab Workflow Runs halaman detail alur kerja.

Debugging

Saat mengedit alur kerja, Anda dapat men-debug versi terbaru alur kerja.

Temukan alur kerja yang diinginkan, lalu klik Edit pada kolom Actions. Di halaman yang muncul, klik Debug di sebelah kanan nama alur kerja.
Di kotak dialog Debug, pilih antrian sumber daya yang digunakan dalam lingkungan pengembangan dan klik Run.

Jalankan terjadwal

Jika Anda mengatur parameter Scheduling Type ke Scheduler saat membuat alur kerja dan mengaktifkan sakelar di kolom Scheduling Status setelah pembuatan alur kerja, alur kerja akan dijadwalkan untuk dijalankan pada waktu yang ditentukan.

Jalankan manual

Di tab Workflows, klik nama alur kerja yang ingin Anda jalankan. Di pojok kanan atas halaman yang muncul, klik Run. Di kotak dialog Run, konfigurasikan parameter Scheduling Method dan klik OK. Kemudian, alur kerja dijalankan berdasarkan metode penjadwalan yang dipilih. Nilai valid untuk parameter Scheduling Method:

Manually Run: Menjalankan alur kerja secara manual tanpa perlu menunggu waktu penjadwalan tiba. Ini adalah nilai default.

Backfill: Mengisi ulang data untuk alur kerja dalam periode waktu historis. Anda dapat memilih opsi ini untuk alur kerja yang tidak dijalankan atau gagal dijalankan. Anda dapat mengonfigurasi parameter yang dijelaskan dalam tabel berikut sesuai kebutuhan bisnis Anda saat memilih opsi ini.

Parameter	Deskripsi
Cycle	Sistem menghasilkan jalannya alur kerja ketika alur kerja dijalankan dalam rentang waktu yang Anda tentukan untuk parameter Siklus. Rentang waktu yang ditentukan bisa lebih awal dari waktu saat ini. Ketika waktu aktual lebih lambat dari rentang waktu yang ditentukan, jalannya alur kerja backfill data dihasilkan dan dijalankan. Jalannya alur kerja backfill data dihasilkan dan dijalankan hanya jika waktu penjadwalan jatuh dalam rentang waktu yang ditentukan. Jika variabel waktu, seperti ${ds}, dikonfigurasikan untuk alur kerja, sistem secara otomatis mengganti variabel dengan waktu yang termasuk dalam nilai parameter Siklus.
Resource Queue	Secara default, antrian sumber daya yang Anda konfigurasikan untuk alur kerja digunakan. Anda juga dapat memilih antrian sumber daya lain di lingkungan produksi dari daftar drop-down.
Remarks	Masukkan deskripsi berdasarkan kebutuhan bisnis Anda. Ini membantu Anda mengelola alur kerja dan menyelesaikan masalah.
More	Failure Notification: Anda dapat menentukan alamat email untuk menerima notifikasi ketika pengisian ulang data gagal.

Periksa status jalannya alur kerja dan node alur kerja

Anda dapat memeriksa status jalannya alur kerja di kolom Workflow Runs Status dan status node alur kerja di kolom Workflow Node Runs Status.

Status jalannya alur kerja
Status
Deskripsi
Biru
Berjalan
Hijau
Berhasil
Merah
Gagal
Ungu
Tertunda
Status node alur kerja
Status
Deskripsi
Biru
Berjalan
Hijau
Berhasil
Merah
Gagal
Kuning
Mencoba Ulang
Ungu
Tertunda

Referensi

Untuk informasi lebih lanjut tentang alur kerja, lihat Istilah.
Untuk informasi tentang cara melihat informasi seperti jalannya alur kerja dan jalannya node alur kerja, lihat Kelola jalannya alur kerja dan jalannya node alur kerja.

Status	Deskripsi
Biru	Berjalan
Hijau	Berhasil
Merah	Gagal
Ungu	Tertunda