All Products
Search
Document Center

E-MapReduce:Mengelola alur kerja

Last Updated:Jul 18, 2026

Alur kerja mengoordinasikan task dalam urutan yang telah ditentukan dengan dependensi eksplisit. Anda dapat membuat alur kerja dan mengonfigurasi properti penjadwalan untuk menjalankan task secara otomatis pada waktu tertentu.

Prasyarat

  • Anda telah membuat ruang kerja. Untuk informasi selengkapnya, lihat Mengelola ruang kerja.

  • Anda telah mengembangkan dan menerbitkan task yang diperlukan.

Buat alur kerja

  1. Buka halaman Workflows.

    1. Masuk ke Konsol E-MapReduce.

    2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.

    3. Pada halaman Spark, klik nama ruang kerja yang dituju.

    4. Pada halaman EMR Serverless Spark, klik Workflows di panel navigasi kiri.

  2. Pada halaman Workflows, klik Create Workflow.

  3. Pada panel Create Workflow, konfigurasikan parameter berikut lalu klik Next.

    Parameter

    Deskripsi

    Name

    Nama alur kerja harus unik dalam ruang kerja saat ini.

    Resource Queue

    Pilih antrian sumber daya default tempat alur kerja dijalankan.

    Catatan

    Pengaturan antrian sumber daya pada node akan menggantikan antrian default ini.

    Other Settings

    Scheduling Type

    Jenis penjadwalan untuk menjalankan alur kerja di lingkungan produksi:

    • Manual (Default): Alur kerja hanya dijalankan ketika Anda memicunya secara manual.

    • Scheduler: Alur kerja dijalankan secara otomatis sesuai jadwal yang ditentukan (menit, jam, atau hari).

      Ketika Anda mengatur Scheduling Type menjadi Scheduler, Anda juga harus mengonfigurasi parameter Scheduler dan Scheduling Started At.

    Scheduler

    Seberapa sering alur kerja dijalankan secara otomatis. Wajib diisi hanya jika Anda mengatur Scheduling Type menjadi Scheduler.

    Siklus penjadwalan berikut tersedia:

    • Harian: Dijalankan sekali pada waktu tertentu setiap hari.

    • Jam: Dijalankan pada interval tertentu, misalnya setiap N jam, dalam rentang waktu tertentu setiap hari.

    • Menit: Dijalankan pada interval tertentu, misalnya setiap N menit, dalam rentang waktu tertentu setiap hari.

    Scheduling Started At

    Tanggal dan waktu mulai penjadwalan alur kerja. Nilai default adalah waktu saat ini. Wajib diisi hanya untuk jenis Scheduler.

    Penting

    Untuk alur kerja jenis Scheduler, Anda harus mengaktifkan toggle Scheduling Status pada halaman Workflows agar jadwalnya aktif.

    Retries After Failure

    Jumlah percobaan ulang node setelah gagal. Default: tanpa percobaan ulang.

    Catatan

    Pengaturan pada node individual dapat menggantikan parameter ini.

    Failure Notification

    Alamat email untuk menerima notifikasi kegagalan.

    Tags

    Pasangan kunci-nilai untuk memberi tag alur kerja.

  4. Edit node alur kerja.

    1. Pada halaman Edit Workflow, klik Add Node di bagian bawah.

    2. Pada panel Add Node, konfigurasikan parameter node.

      Parameter

      Deskripsi

      Path

      Jalur ke task yang dijalankan oleh node ini. Task tersebut harus sudah diterbitkan.

      Node Type

      Jenis node alur kerja. Secara default, sistem melakukan inferensi jenis dari task pada jalur yang ditentukan.

      Node Name

      Nama kustom untuk node. Diisi otomatis dari sumber task.

      Upstream Nodes

      Node sebelumnya dalam alur kerja.

      Node pertama tidak memerlukan upstream node.

      Failure Retries

      Mewarisi pengaturan percobaan ulang dari alur kerja. Default: tanpa percobaan ulang.

      Timeout(seconds)

      Batas waktu eksekusi satu node. Default: tanpa batas.

      Subscriptions

      Tentukan alamat email untuk berlangganan notifikasi terkait status tertentu dari node.

      Tags

      Pasangan kunci-nilai tag untuk node. Setiap node secara otomatis menyertakan dua tag bawaan: workflow_name dan task_name.

      Resource Queue

      Antrian sumber daya untuk node ini. Pengaturan ini menggantikan antrian sumber daya default alur kerja.

      Penting

      Pengaturan antrian sumber daya spesifik node memiliki prioritas lebih tinggi daripada default alur kerja, bahkan jika default tersebut diubah di kemudian hari.

      Catatan

      Jika sumber task adalah pengembangan SQL, Anda juga harus mengonfigurasi parameter task. Parameter ini secara default mewarisi nilai dari templat task. Anda dapat memodifikasi templat task untuk mengubah nilai default tersebut. Untuk informasi selengkapnya tentang parameter, lihat Manajemen konfigurasi.

    3. Klik Save.

      Setelah mengonfigurasi node awal, Anda dapat mengklik Add Node di bagian bawah halaman untuk menambahkan node lainnya.

  5. Terbitkan alur kerja.

    1. Di pojok kanan atas, klik Publish Workflow.

    2. Pada kotak dialog Publish, Anda dapat memasukkan deskripsi rilis, lalu klik OK.

Jalankan alur kerja

Setiap eksekusi alur kerja menghasilkan catatan pada tab Workflow Runs di halaman detail alur kerja.

Debug

Lakukan debug versi terbaru alur kerja saat sedang mengeditnya.

  1. Pada halaman Edit Workflow, klik Debugging.

    image

  2. Pada kotak dialog Debugging, pilih antrian sumber daya dari lingkungan pengembangan, lalu klik Run.

Jalankan terjadwal

Jika Anda mengatur Scheduling Type menjadi Scheduler saat membuat alur kerja, Anda dapat mengaktifkan toggle Scheduling Status setelah pembuatan. Alur kerja tersebut kemudian akan dipicu pada waktu yang ditentukan.

image.png

Jalankan Secara Manual

Pada halaman Workflows, klik nama alur kerja yang dituju. Di pojok kanan atas, klik Run dan pilih metode untuk menjalankan alur kerja.

  • Manually Run (Default): Menjalankan alur kerja segera, terlepas dari jadwalnya.

  • Backfill: Menjalankan ulang alur kerja untuk periode historis guna memperbaiki data dari eksekusi yang gagal atau terlewat. Konfigurasikan parameter berikut:

    Parameter

    Deskripsi

    Cycle

    Sistem menghasilkan eksekusi alur kerja untuk rentang waktu yang Anda pilih.

    • Ketika waktu saat ini melewati awal siklus yang dipilih, sistem secara otomatis menghasilkan dan mengeksekusi eksekusi backfill tersebut.

    • Eksekusi alur kerja backfill hanya dihasilkan dan dijalankan jika waktu eksekusi terjadwal alur kerja tersebut berada dalam siklus yang dipilih.

    • Jika alur kerja berisi variabel waktu (misalnya, ${ds}), sistem secara otomatis menggantinya dengan waktu dari siklus yang dipilih.

    Resource Queue

    Menggunakan antrian sumber daya default alur kerja. Anda dapat memilih antrian lain yang tersedia di lingkungan produksi.

    Remarks

    Deskripsi untuk eksekusi backfill guna membantu manajemen dan troubleshooting di masa depan.

    More

    Failure Notification: Tentukan alamat email untuk menerima peringatan ketika eksekusi backfill alur kerja gagal.

Lihat status eksekusi

Lihat status semua eksekusi alur kerja dan eksekusi node pada kolom Workflow Runs Status dan Workflow Job Runs Status untuk alur kerja yang dituju.image.png

  • Status eksekusi alur kerja

    Status

    Deskripsi

    Biru

    Berjalan

    Hijau

    Berhasil

    Merah

    Gagal

    Ungu

    Tertunda

  • Status eksekusi node alur kerja

    Status

    Deskripsi

    Biru

    Berjalan

    Hijau

    Berhasil

    Merah

    Gagal

    Kuning

    Mencoba ulang

    Ungu

    Tertunda

Topik terkait