Ketika sebuah instans task gagal berjalan atau selesai lebih lambat dari yang diharapkan, Intelligent Diagnosis memeriksa keempat kondisi yang harus dipenuhi oleh suatu instans sebelum dapat dijalankan—dependensi hulu, waktu penjadwalan, ketersediaan resource, dan eksekusi—serta mengidentifikasi secara tepat di mana kegagalan terjadi. Untuk instans yang gagal, analisis AI bawaan mengurai log error dan menyarankan tindakan perbaikan.
Batasan
-
Intelligent Diagnosis memerlukan DataWorks Edisi Profesional atau lebih tinggi. Jika Anda menggunakan edisi lain, Anda dapat mencoba fitur ini secara gratis. Untuk mengakses seluruh fitur, lakukan upgrade ke Edisi Profesional. Untuk informasi selengkapnya, lihat Perbedaan antar edisi DataWorks.
-
Intelligent Diagnosis didukung di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), AS (Virginia), dan UEA (Dubai).
Cara kerja
Intelligent Diagnosis memeriksa sebuah instans task dari empat sudut pandang:
-
Running details: Memeriksa secara berurutan apakah instans leluhur telah selesai dengan sukses, apakah waktu terjadwal telah tiba, apakah sumber daya penjadwalan tersedia, dan apakah instans tersebut berjalan tanpa kesalahan.
-
General: Menampilkan timestamp utama dan properti penjadwalan dasar untuk instans tersebut.
-
Impact baseline: Menunjukkan baseline yang dipantau mana saja yang mencakup task tersebut beserta status terkininya.
-
Historical instance: Menampilkan tren 15 hari untuk Durasi eksekusi, Waktu mulai, waktu tunggu sumber daya, dan waktu penyelesaian.
Diagnosis Cerdas Terbuka
Prasyarat
Sebelum memulai, pastikan Anda memiliki:
-
Akses ke ruang kerja DataWorks dengan Edisi Profesional atau lebih tinggi.
Untuk menuju Operation Center:
-
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah target.
-
Di panel navigasi kiri, pilih Data Development and O&M > Operation Center.
-
Pilih ruang kerja target dari daftar drop-down dan klik Go to Operation Center.
Navigasi ke halaman diagnosis
Dari Operation Center, buka halaman Intelligent Diagnosis menggunakan salah satu metode berikut:
Opsi 1: Dari daftar instans
-
Di panel navigasi kiri, pilih Auto Triggered Node O&M > Auto Triggered Instances.
-
Di tab Instance Perspective, temukan instans target.
-
Klik Perform Diagnostics di kolom Actions.
Opsi 2: Dari halaman DAG
-
Di panel navigasi kiri, pilih Auto Triggered Node O&M > Auto Triggered Instances.
-
Di tab Instance Perspective, temukan instans target dan klik DAG di kolom Actions.
-
Di halaman DAG, klik kanan instans tersebut dan pilih Instance Diagnose.
Opsi 3: Cari berdasarkan ID instans
Di panel navigasi kiri, pilih O&M Assistant > Intelligent Diagnosis, lalu cari instans hanya berdasarkan ID instans.
Diagnosis sebuah instans
Tab Running details
Tab Running Details memandu melalui keempat kondisi yang harus dipenuhi oleh sebuah instans sebelum dapat dijalankan. DataWorks memeriksanya secara berurutan.
Upstream nodes
Menampilkan status instans ancestor. Jika sebuah instans ancestor gagal dijalankan, instans saat ini akan diblokir.
Untuk mendiagnosis instans ancestor yang gagal, klik Instance Diagnose di kolom Operation instans tersebut.
Tip: Jika rantai dependensi hulu kompleks dan terdapat beberapa instans ancestor yang belum lengkap, gunakan fitur upstream analysis pada tab Upstream Analysis di halaman DAG untuk mengidentifikasi instans ancestor spesifik yang menghambat eksekusi. Kemudian gunakan intelligent diagnosis pada instans-instans tersebut.
Timing check
Memeriksa apakah waktu penjadwalan untuk instans tersebut telah tiba. Pemeriksaan ini hanya dijalankan setelah pemeriksaan Upstream Nodes berhasil.
Saat Anda mengonfigurasi properti penjadwalan untuk sebuah task di halaman DataStudio, Anda harus menentukan waktu di mana task tersebut dijadwalkan berjalan dalam sistem penjadwalan. Namun, waktu aktual saat task mulai dijalankan mungkin lebih lambat daripada waktu penjadwalan karena isu seperti kegagalan task ancestor.
Resources
Menampilkan penggunaan resource untuk kelompok sumber daya penjadwalan yang ditetapkan untuk instans ini. Jika pemeriksaan gagal, resource penjadwalan sedang sepenuhnya terpakai dan instans menunggu hingga resource dilepas.
| Bagian | Deskripsi |
|---|---|
| Scheduling resource information | Nama kelompok resource, jumlah instans yang berjalan, dan jumlah instans yang menunggu pada kelompok resource tersebut |
| Diagnosis Results | Status eksekusi instans saat ini |
| Resource Usage Trends | Penggunaan resource per periode waktu untuk kelompok resource; untuk kelompok resource yang dibagikan, juga menunjukkan berapa lama instans telah menunggu |
Untuk mengurangi konflik sumber daya, gunakan kelompok sumber daya serverless. Jika Anda menggunakan kelompok sumber daya bersama, perhatikan bahwa permintaan puncak terjadi setiap hari dari pukul 00.00 hingga 09.00—jadwalkan task di luar jendela ini untuk mengurangi waktu tunggu.
Execution
Menampilkan log eksekusi, detail aturan pemantauan kualitas data (DQ), dan kode node untuk instans tersebut. Untuk instans yang gagal, tab Intelligent Diagnostics menganalisis log error menggunakan model bahasa besar (LLM) dan memberikan saran perbaikan.
| Tab | Description |
|---|---|
| Log | Log eksekusi lengkap untuk instans tersebut. Untuk node EMR, klik URL antarmuka web EMR untuk melihat detail resource EMR. Klik Intelligent Diagnostics di pojok kanan bawah untuk langsung menuju tab analisis AI. |
| Intelligent Diagnostics | Menganalisis log error menggunakan Tongyi Qianwen, DeepSeek, atau DW Knowledge Base. Tongyi Qianwen dan DeepSeek mengurai log error dan menghasilkan analisis beserta saran perbaikan. DW Knowledge Base menampilkan artikel basis pengetahuan yang relevan. |
| DQC | Detail aturan pemantauan kualitas data. Jika aturan DQ dikaitkan dengan task tersebut, aturan tersebut akan dipicu setelah task selesai dijalankan. |
| Code details | Kode dari node yang menghasilkan instans ini. |
Setelah meninjau analisis AI, Anda dapat langsung mengambil tindakan dari tab Intelligent Diagnostics: mengedit kode instans, menjalankan ulang instans, mengatur status instans menjadi success, mengubah kelompok sumber daya untuk penjadwalan atau Data Integration, mengajukan tiket, atau mengajukan izin tabel.
Tab General
Tab General menampilkan timestamp utama dan properti penjadwalan dasar untuk instans saat ini. Untuk detail tentang properti penjadwalan, lihat Konfigurasi properti dasar.
Tab Impact baseline
Tab Impact baseline menunjukkan baseline mana saja yang mencakup task tersebut dalam cakupan pemantauannya serta status terkini masing-masing baseline. Untuk informasi selengkapnya tentang baseline, lihat Ikhtisar.
Tab Historical instance
Tab Historical instance menampilkan tren 15 hari serta daftar eksekusi historis untuk node saat ini.
Grafik tren
Grafik tren menampilkan metrik berikut untuk node saat ini dalam 15 hari terakhir:
| Chart | Description |
|---|---|
| Running time | Tren durasi eksekusi untuk node saat ini |
| Start run time | Tren waktu mulai untuk node saat ini |
| Time consumption of waiting for scheduling resources | Tren waktu tunggu resource untuk node saat ini |
| Completed At | Tren waktu penyelesaian untuk node saat ini |
Historical instance list
Daftar ini menampilkan waktu mulai, waktu penyelesaian, durasi eksekusi, dan waktu tunggu resource masing-masing instans selama 15 hari terakhir. Klik Instance Diagnose di kolom Operation untuk membuka halaman diagnosis untuk instans historis mana pun.