DataWorks:Lampiran: Fitur DAG

Klik DAG di samping sebuah node untuk membuka tampilan DAG-nya. Antarmuka DAG memiliki kanvas pusat yang menampilkan graf node, daftar node di sebelah kiri untuk memilih node, serta kontrol untuk fitur seperti agregasi node, analisis hulu, dan analisis hilir di bagian atas. Anda dapat melakukan operasi berikut dalam tampilan DAG. Topik ini menggunakan instans yang dipicu otomatis sebagai contoh.

• Agregasi node

  Jika instans yang dipicu secara otomatis memiliki banyak node atau tingkat dependensi yang tinggi, Anda dapat mengagregasi node berdasarkan dimensi seperti status node, ruang kerja, Pemilik, atau prioritas untuk melihat jumlah node dalam dimensi tertentu. Hal ini membantu Anda memahami distribusi node dan mengelola eksekusi secara lebih efektif. Contoh berikut menunjukkan tampilan saat node Not Aggregate dan saat node aggregated by priority.

  Catatan

  Anda hanya dapat mengagregasikan node berdasarkan status dalam DAG suatu instans. Instans dapat berupa instans yang dipicu otomatis, instans pengisian ulang data, atau instans uji coba.

  • Saat node tidak diagregasikan, setiap node ditampilkan secara individual dalam DAG. Setiap node menampilkan nama dan jenisnya, seperti virtual node, ODPS SQL, atau batch synchronization. Garis antar node menunjukkan dependensi. Pesan di bagian bawah menunjukkan tampilan saat ini berisi 10 node dari 8 tingkat dependensi.

  • Saat node diagregasikan berdasarkan prioritas, tampilannya sebagai berikut. Anda dapat dengan cepat melihat bahwa node saat ini memiliki 6 node anak dengan prioritas 1. DAG yang diagregasikan menunjukkan jalur dependensi, dimulai dari fanyi_test_root (virtual node) di bagian atas, melewati User Behavior Analysis Case Description (virtual node), table_ddl_ods_raw_log_d (ODPS SQL), dua kelompok agregasi masing-masing berisi dua node, lalu ke dws_user_info_all_di (ODPS SQL), ads_user_info_1d (ODPS SQL), dan akhirnya ke User Behavior Analysis Result Query (ODPS SQL). Panah antar node menunjukkan dependensi penjadwalan. Panel kiri mencantumkan semua nama task, dan Anda dapat memilih node menggunakan kotak centang.

• Analisis hulu

  Jika sebuah node telah tertunda dalam waktu lama, Anda dapat melakukan analisis hulu. Analisis ini mengungkap node hulu yang menjadi penghambat, sehingga Anda dapat dengan cepat menemukan dan menyelesaikan error waktu proses untuk meningkatkan efisiensi eksekusi.

  Catatan

  • Anda hanya dapat menggunakan fitur analisis hulu dalam DAG suatu instans. Instans dapat berupa instans yang dipicu otomatis, instans pengisian ulang data, atau instans uji coba.

  • Anda hanya dapat melakukan Upstream Analysis pada node yang sedang tidak berjalan. Maksimal enam tingkat ditampilkan. Jika ingin melihat lebih banyak tingkat, klik Continue Analysis di pojok kiri atas.

  • Analisis hulu membantu Anda dengan cepat menemukan node leluhur yang menjadi dependensi node saat ini namun belum berhasil dijalankan. Node-node tersebut mungkin berada dalam status Running, Failed, Pending (Time), Pending (Resource), atau Frozen. Node leluhur dalam status ini menghambat eksekusi hilir.

  Jika sebuah node contoh belum dijalankan dalam waktu lama, Anda dapat memilih node tersebut dan mengklik Upstream Analysis di pojok kiri atas. Hasil analisis menunjukkan bahwa node hulu yang menjadi penghambat adalah node old_work_root. Dengan hasil ini, Anda dapat dengan cepat menemukan node penghambat dan menangani error terkait.

  Catatan

  Langkah selanjutnya:

  • Setelah menemukan instans kunci, Anda dapat memfilter berdasarkan dimensi agregasi untuk melihat ruang kerja atau pemilik instans kunci yang memengaruhi output data node saat ini. Hal ini meningkatkan efisiensi operasional.

  • Setelah menemukan instans penghambat, Anda juga dapat mengklik kanan dan memilih Run Diagnostics untuk menganalisis secara cepat mengapa instans tersebut belum berhasil dijalankan. Untuk informasi selengkapnya, lihat Diagnosis cerdas.

  Dalam hasil analisis hulu, old_work_root adalah virtual node, dan node dependen hilirnya adalah node sd bertipe ODPS SQL.

• Analisis hilir

  Secara default, tampilan DAG menampilkan tiga tingkat: node saat ini, node leluhur langsungnya (satu tingkat ke atas), dan node turunan langsungnya (satu tingkat ke bawah). Ketika instans yang dipicu otomatis memiliki jumlah node atau tingkat yang besar, sulit untuk melihat cakupan dampak secara keseluruhan. Anda dapat menggunakan fitur analisis hilir untuk memfilter berdasarkan kriteria seperti status node, ruang kerja, pemilik, atau prioritas. Hal ini membantu Anda menghitung jumlah node pada berbagai tingkat atau jumlah total node di semua tingkat untuk dimensi tertentu.

  Catatan

  • Tampilan gabungan atau berlapis dalam status agregasi: Setelah Anda mengklik Downstream Analysis, node secara default diagregasikan berdasarkan pemilik, dan jumlah total node untuk dimensi tersebut di semua tingkat dihitung.

  • Tampilan berkelompok tanpa agregasi: Jika terdapat lebih dari 10 node hilir, node tersebut secara default ditampilkan dalam kelompok. Tampilan ini memberikan pemahaman yang lebih intuitif mengenai dampak bisnis node tersebut.

  • Tampilan tidak dikelompokkan: Dalam tampilan non-agregasi, Anda dapat mengklik Ungroup untuk memperluas node yang dikelompokkan. Hal ini memungkinkan Anda melihat hubungan hulu dan hilir semua node.

  • Tampilan Layer untuk Downstream Analysis menampilkan maksimal enam tingkat. Untuk melihat lebih banyak tingkat, klik Continue Analysis di pojok kiri atas.

  Contoh berikut menunjukkan hasil melakukan Downstream Analysis pada node tag:

  • Tampilan gabungan: Menggabungkan node hilir yang dianalisis berdasarkan dimensi agregasi saat ini. Dalam status non-agregasi, node hilir ditampilkan dalam kelompok. Pada contoh ini, metode Merge digunakan dan node aggregated by workspace. Semua node hilir digabung menjadi satu lapisan, menunjukkan jumlah node yang berasal dari ruang kerja berbeda. Setelah Anda mengklik tombol Merged dalam tampilan DAG, hasil analisis hilir untuk node tag ditampilkan dalam mode gabungan. Tujuh node hilir ditunjukkan dalam kelompok agregasi, dengan masing-masing kelompok berisi jumlah node turunan yang berbeda. Bilah status di bagian bawah menunjukkan bahwa 42 node dan 5 tingkat sedang ditampilkan.

  • Tampilan berlapis: Menampilkan node hilir yang dianalisis berdasarkan tingkat dependensi sesuai dimensi agregasi saat ini. Pada contoh ini, metode Layer digunakan dan node aggregated by workspace, menunjukkan jumlah node dari ruang kerja berbeda pada tingkat berbeda. Setelah memilih tampilan DAG dan mengklik tombol Layered, node hilir disusun dari atas ke bawah berdasarkan tingkat. Setiap tingkat menunjukkan jumlah node yang dikandungnya, dan bagian bawah halaman menampilkan jumlah total node dan tingkat yang ditampilkan (misalnya, "42 node dan 5 tingkat ditampilkan").

• Gaya tampilan DAG

  Anda dapat mengklik ikon fungsi di pojok kanan atas tampilan DAG untuk menyesuaikan gaya tampilannya. Misalnya, Anda dapat menggunakan Toggle Full Screen View atau Fit Screen.

  Contoh berikut menunjukkan DAG untuk node hilir suatu node dalam tampilan Ungroup dan Group.

  • DAG Ungroup: Tampilan ini membantu Anda memahami dengan jelas hubungan hulu dan hilir semua node. Dalam mode tidak dikelompokkan, setiap node hilir ditampilkan sebagai kartu individual yang disusun berdasarkan tingkat dependensi, menunjukkan total 15 node dan 2 tingkat. Anda dapat mengklik ikon Snapshot di bilah alat sisi kanan untuk menyimpan DAG saat ini sebagai gambar.

  • DAG Group: Tampilan ini menampilkan node hilir secara teratur, dengan lima node per baris, sehingga memudahkan Anda melihat jumlah total node hilir dengan cepat.

  • DAG Ungroup: Tampilan ini memperjelas hubungan hulu dan hilir semua node. Dalam mode tidak dikelompokkan, setiap node hilir ditampilkan sebagai kartu individual yang disusun berdasarkan tingkat dependensi, mencakup total 15 node dan 2 tingkat. Anda dapat mengklik ikon Snapshot di bilah alat sisi kanan untuk menyimpan DAG saat ini sebagai gambar.

  • DAG Group: Tampilan ini menampilkan node hilir secara terstruktur, dengan lima node per baris, sehingga memudahkan Anda melihat jumlah total node hilir dengan cepat.