Masalah dan solusi terkait menunggu resource - DataWorks

Masalah umum dan solusi untuk instans task yang sedang menunggu resource di DataWorks.

Mengapa task menunggu resource?
Mengapa task terus menunggu resource penjadwalan gateway?
Mengapa task Data Integration terus menampilkan status wait?

Mengapa instans menunggu resource?

Gejala
Ketika penjadwal mengirimkan task ke execution engine, instans mungkin masuk antrean karena alasan berikut:
- Menunggu resource group untuk penjadwalan.
- Menunggu resource group untuk Data Integration.
- Menunggu resource komputasi dari engine.
Penyebab
Resource dalam resource group terbatas. Task yang berjalan lama dan tidak melepas resource akan memblokir task lain untuk berjalan. Untuk informasi lebih lanjut tentang mekanisme pengiriman task, lihat Ikhtisar resource group DataWorks.
Solusi
Buka Operation Center > Intelligent Diagnostics, masukkan ID instans untuk melakukan analisis end-to-end terhadap task. Hal ini memungkinkan Anda memeriksa status eksekusi dan antrean task serta mengidentifikasi task lain yang sedang mengonsumsi resource. Anda dapat dengan cepat menemukan task yang menduduki resource dalam waktu lama dan memblokir pipeline eksekusi. Untuk informasi lebih lanjut, lihat Intelligent Diagnosis.
Untuk node instans yang berstatus Waiting for Resources, klik kanan node tersebut dan pilih Run Diagnostics > Resources untuk melihat task lain yang masih berjalan saat Running Status task saat ini adalah Waiting for Resources. Alternatifnya, pada panel detail node di kanan bawah, klik tautan Diagnose di samping status task untuk membuka Instance Diagnose. Saat memfilter task, Anda dapat mengatur execution status menjadi waiting for resource pada bilah filter di bagian atas untuk dengan cepat menemukan instans yang relevan.
Delay normal selama puncak penjadwalan tengah malam
Jika task dijadwalkan sekitar 00:00 dan waktu tunggunya hanya beberapa menit, hal ini biasanya normal selama periode puncak penjadwalan. Setiap hari sekitar 00:00, sejumlah besar task dipicu secara bersamaan, dan instans mungkin mengalami waktu tunggu dalam hitungan menit dari waktu terjadwal hingga waktu mulai aktual. Delay ini terjadi pada fase pengiriman task.
Untuk mengurangi delay ini, atur waktu penjadwalan task agar tersebar ke waktu setelah 00:00. Jika waktu tunggu jauh melebihi beberapa menit atau terjadi di luar periode 00:00, selidiki penggunaan resource dengan mengikuti bagian Penyebab dan Solusi di atas.

Mengapa task terus menunggu resource penjadwalan gateway?

Gejala
Log task menunjukkan bahwa task sedang menunggu resource penjadwalan gateway.
Penyebab
Jumlah task konkuren dalam resource group saat ini telah mencapai batas maksimum.
Solusi
Anda perlu menunggu task yang sedang berjalan selesai dan melepas resource, atau melakukan scale out grup sumber daya eksklusif untuk penjadwalan. Anda dapat melihat informasi resource dengan cara berikut.
- Menggunakan shared resource group untuk penjadwalan
  - View via Intelligent Diagnosis
    Buka Operation Center > Intelligent Diagnostics, masukkan ID instans untuk melakukan analisis end-to-end terhadap task. Hal ini memungkinkan Anda memeriksa status eksekusi dan antrean task serta mengidentifikasi task lain yang sedang mengonsumsi resource. Anda dapat dengan cepat menemukan task yang menduduki resource dalam waktu lama dan memblokir pipeline eksekusi. Untuk informasi lebih lanjut, lihat Intelligent Diagnosis.
    Untuk node instans yang berstatus Waiting for Resources, klik kanan node tersebut dan pilih Run Diagnostics > Resources untuk melihat task lain yang masih berjalan saat Running Status task saat ini adalah Waiting for Resources.
  - Lihat melalui Dashboard
    Pada halaman Dashboard di Operation Center, lihat tingkat pemanfaatan shared resource group.
    Catatan
    Periode 00:00–09:00 setiap hari merupakan waktu puncak task DataWorks, ketika resource penjadwalan bersama sangat tinggi permintaannya dan task mungkin menunggu resource. Anda dapat mengatur waktu penjadwalan task agar tersebar ke jam sepi atau menambahkan exclusive resource group untuk penjadwalan di Konsol DataWorks untuk mengurangi konflik sumber daya.
- Jika Anda menggunakan exclusive resource group untuk penjadwalan, Anda dapat melihat daftar task dan pemanfaatan resource dari resource group tersebut melalui Konsol DataWorks atau Operation Center.
  - Lihat melalui Intelligent Diagnosis
    Buka Operation Center > Intelligent Diagnostics, masukkan ID instans untuk melakukan analisis end-to-end terhadap task. Hal ini memungkinkan Anda memeriksa status eksekusi dan antrean task serta mengidentifikasi task lain yang sedang mengonsumsi resource. Anda dapat dengan cepat menemukan task yang menduduki resource dalam waktu lama dan memblokir pipeline eksekusi. Untuk informasi lebih lanjut, lihat Intelligent Diagnosis.
    Untuk node instans yang berstatus Waiting for Resources, klik kanan node tersebut dan pilih Run Diagnostics > Resources untuk melihat task lain yang masih berjalan saat Running Status task saat ini adalah Waiting for Resources.
  - Lihat melalui Konsol DataWorks
    Pada panel navigasi kiri Konsol DataWorks, klik Resource Groups. Pada halaman Resource Groups, lihat Utilization rate. Klik Utilization rate untuk melihat Resource Groups, Resource Usage, dan lainnya.
  - Lihat melalui Resource O&M
    Pada panel navigasi kiri halaman Operation Center, klik Resource O&M untuk melihat pemanfaatan resource dan informasi lainnya.
    Catatan
    Spesifikasi exclusive resource group untuk penjadwalan yang berbeda mendukung jumlah maksimum instans konkuren yang berbeda pula. Untuk informasi lebih lanjut, lihat Spesifikasi resource group DataWorks.

Mengapa task Data Integration terus menampilkan status 'wait'?

Gejala
Log task Data Integration menunjukkan status wait.
Penyebab
Jumlah task yang berjalan pada resource group Data Integration saat ini melebihi konkurensi maksimum yang didukung oleh server. Task sedang menunggu resource eksekusi Data Integration.
Catatan
Jika pemanfaatan resource tinggi tetapi tidak ada task yang benar-benar berjalan, atau jika jumlah task yang dapat dieksekusi pada resource group belum mencapai batas maksimum tetapi task tetap tidak dapat dijalankan,
Solusi:
- Periksa nilai parameter konkurensi di log (konfigurasi task). Jika konkurensi diatur terlalu tinggi, konfigurasikan konkurensi task berdasarkan konkurensi maksimum yang didukung oleh server dan konsumsi konkurensi saat ini.
- Jika pengaturan konkurensi satu task melebihi konkurensi maksimum yang didukung oleh server, hentikan semua task konkuren tersebut, modifikasi konkurensi task, lalu jalankan kembali task tersebut.
  Pada panel navigasi kiri halaman Operation Center, klik Dashboard. Pada halaman Dashboard, klik tab Data Integration untuk melihat Running Details of Synchronization Task. Bagian atas halaman detail eksekusi task sinkronisasi menyediakan kondisi filter, termasuk Submit Time, Task Status, Task Name, Source Data Source Type, Data Integration Resource Group, Destination Data Source Type, dan Public Network Traffic. Daftar task di bawahnya berisi kolom seperti Instance ID, Task Name, Task Status, Submit Time, Start Time, End Time, Duration, Source Data Source, Destination Data Source, Data Integration Resource Group, Running Concurrency, Synchronized Data Volume, dan Synchronization Progress. Anda dapat menggunakan kolom-kolom ini untuk mendiagnosis penyebab task menunggu.
  Catatan
  Konkurensi task harus dikonfigurasi berdasarkan konkurensi maksimum yang didukung oleh server, jumlah task yang berjalan secara bersamaan, dan pengaturan konkurensi setiap task.
  Task Data Integration menduduki satu resource penjadwalan. Jika task tidak berhasil berjalan dalam waktu lama, task tersebut dapat memblokir task lain untuk berjalan.
- Tunggu task yang sedang berjalan selesai dan melepas resource, atau lakukan scale out exclusive Data Integration resource group. Anda dapat melihat informasi resource dengan cara berikut.
  Catatan
  Jika task Data Integration sedang menunggu resource group, lihat Troubleshoot Data Integration resource group issues untuk solusi.
  - Lihat melalui Intelligent Diagnosis
    Buka Operation Center > Intelligent Diagnostics, masukkan ID instans untuk melakukan analisis end-to-end terhadap task. Hal ini memungkinkan Anda memeriksa status eksekusi dan antrean task serta mengidentifikasi task lain yang sedang mengonsumsi resource. Anda dapat dengan cepat menemukan task yang menduduki resource dalam waktu lama dan memblokir pipeline eksekusi. Untuk informasi lebih lanjut, lihat Intelligent Diagnosis.
    Untuk node instans yang berstatus Waiting for Resources, klik kanan node tersebut dan pilih Run Diagnostics > Resources untuk melihat task lain yang masih berjalan saat Running Status task saat ini adalah Waiting for Resources.
  - Lihat di Konsol DataWorks
    Pada panel navigasi kiri Konsol DataWorks, klik Resource Group List. Pada halaman Resource Group List, lihat Utilization rate. Klik Utilization rate untuk melihat Resource Groups, Resource Usage, dan informasi lainnya.
  - Lihat di Resource O&M
    Pada panel navigasi kiri halaman Operation Center, klik Resource O&M untuk melihat pemanfaatan resource, task yang sedang berjalan, dan informasi lainnya.
    Catatan
    Exclusive Data Integration resource group dengan spesifikasi berbeda mendukung jumlah maksimum instans konkuren yang berbeda. Untuk informasi lebih lanjut, lihat Exclusive resource groups for Data Integration.