E-MapReduce:Mengelola alur kerja

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Ruang kerja. Lihat Mengelola ruang kerja.

• Job yang telah dikembangkan dan dipublikasikan.

Buat alur kerja

1. Buka halaman Workflows.

   1. Login ke Konsol E-MapReduce (EMR).

   2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.

   3. Pada halaman Spark, klik nama ruang kerja yang ingin Anda gunakan.

   4. Pada panel navigasi kiri halaman EMR Serverless Spark, pilih Operation Center > Workflows.

2. Pada tab Workflows, klik Create Workflow.

3. Pada panel Create Workflow, konfigurasikan parameter dan klik Next. Jika Scheduling Type diatur sebagai Scheduler, konfigurasikan:

   • Scheduling Type: Frekuensi eksekusi. Days dijalankan sekali per hari pada waktu tetap. Hours dijalankan setiap N jam dalam rentang harian. Minutes dijalankan setiap N menit dalam rentang harian.

   • Scheduling Started At: Tanggal dan waktu mulai eksekusi terjadwal. Nilai default adalah waktu saat ini.

   Penting

   Setelah alur kerja dibuat, aktifkan sakelar Scheduling Status untuk alur kerja tersebut pada tab Workflows. Tanpa pengaktifan ini, alur kerja tidak akan dijalankan sesuai jadwal.

   Parameter	Deskripsi
   Name	Nama alur kerja. Harus unik dalam satu ruang kerja.
   Resource Queue	Antrian sumber daya default untuk alur kerja. Antrian sumber daya tingkat node akan mengganti pengaturan ini.
   Other Settings > Scheduling Type	Cara alur kerja dijalankan di lingkungan produksi. Nilai yang valid: None (Manual) (dipicu secara manual, default) dan Scheduler (otomatis, per menit, jam, atau hari). Lihat tabel jenis penjadwalan di bawah.
   Retries After Failure	Jumlah percobaan ulang untuk node yang gagal. Default: tanpa percobaan ulang. Pengaturan percobaan ulang tingkat node akan mengganti nilai ini.
   Failure Notification	Alamat email yang akan diberi tahu jika alur kerja gagal.
   Tags	Pasangan kunci-nilai untuk mengidentifikasi alur kerja.

   Jenis Penjadwalan	Perilaku	Parameter tambahan yang diperlukan
   None (Manual) (default)	Memicu eksekusi secara manual.	—
   Scheduler	Berjalan secara otomatis per menit, jam, atau hari.	Scheduling Time dan Scheduling Started At

4. Tambahkan node ke alur kerja. Node merepresentasikan job dalam pipeline. Hubungkan node tersebut melalui hubungan hulu/hilir (upstream/downstream) untuk menentukan urutan eksekusi.

   1. Pada kanvas, klik Add Node di bagian bawah kanvas.

   2. Pada panel Add Node, konfigurasikan parameter.

      Parameter	Deskripsi
      Source File Path	Path job yang akan dijalankan pada node ini. Job tersebut harus sudah dipublikasikan.
      Node Type	Ditetapkan secara otomatis dari job pada path yang ditentukan.
      Node Name	Otomatis diisi dari Source File Path. Sesuaikan jika diperlukan.
      Upstream Node	Node yang harus selesai sebelum node ini dijalankan. Harus merupakan node dalam alur kerja saat ini. Biarkan kosong untuk node pertama.
      Number of Retries	Nilai default mengikuti jumlah percobaan ulang tingkat alur kerja. Secara default tidak ada percobaan ulang.
      Timeout (Seconds)	Waktu eksekusi maksimum untuk satu kali eksekusi node. Default: tanpa batas.
      Subscription	Alamat email yang akan diberi tahu saat node mencapai status tertentu.
      Tags	Tag node. Setiap node secara default menyertakan tag workflow_name dan task_name.
      Resource Queue	Antrian sumber daya untuk node ini. Nilai default mengikuti antrian sumber daya alur kerja. Setelah diatur pada tingkat node, pengaturan ini tetap berlaku meskipun Anda kemudian mengubah antrian sumber daya tingkat alur kerja.

      Catatan

      Untuk job SQL, konfigurasikan parameter tambahan pada bagian Task Configuration. Nilai default mengikuti konfigurasi tingkat job. Lihat Mengelola konfigurasi default.

   3. Klik Save. Ulangi langkah ini untuk menambahkan lebih banyak node.

5. Publikasikan alur kerja.

   1. Di pojok kanan atas, klik Publish Workflow.

   2. Pada kotak dialog Publish, masukkan catatan dan klik OK.

Jalankan alur kerja

Setiap eksekusi alur kerja menghasilkan catatan eksekusi. Lihat riwayat eksekusi pada tab Workflow Runs di halaman detail alur kerja.

Jalankan sesuai jadwal

Jika Scheduling Type diatur sebagai Scheduler dan sakelar Scheduling Status diaktifkan, alur kerja akan dijalankan secara otomatis pada waktu yang telah dikonfigurasi.

Periksa status eksekusi alur kerja

Kolom Workflow run status menampilkan status setiap eksekusi alur kerja. Kolom Workflow node status menampilkan status node individual dalam suatu eksekusi. Untuk detail tentang catatan eksekusi dan log eksekusi tingkat node, lihat Mengelola eksekusi alur kerja dan eksekusi node alur kerja.

Workflow run status

Workflow node status

Langkah selanjutnya

• Untuk konsep dan terminologi alur kerja, lihat Terms.

• Untuk melihat dan mengelola catatan eksekusi alur kerja serta detail eksekusi node, lihat Mengelola eksekusi alur kerja dan eksekusi node alur kerja.