DataWorks:Lampiran: Fitur DAG

Klik DAG Graph di samping sebuah node untuk membuka DAG-nya. Anda dapat melakukan operasi berikut di dalam DAG. Topik ini menggunakan DAG dari instans berulang sebagai contoh:

• Agregasi node

  Jika sebuah instans berulang memiliki terlalu banyak node atau lapisan, Anda dapat mengagregasi node berdasarkan dimensi seperti status node, workspace, owner, atau prioritas. Hal ini memungkinkan Anda melihat jumlah node untuk dimensi tertentu, sehingga Anda dapat mengalokasikan dan menjalankan node secara lebih efektif. Contoh berikut menunjukkan tampilan node saat not aggregated dan saat aggregated by priority.

  Catatan

  Anda hanya dapat mengagregasi node berdasarkan status di DAG untuk instans. Ini mencakup instans berulang yang dipicu otomatis, instans pengisian ulang data yang dipicu manual, dan instans uji.

  • Saat node tidak diagregasi, graf ditampilkan seperti pada gambar berikut.

  • Saat node diagregasi berdasarkan prioritas, graf ditampilkan seperti pada gambar berikut. Anda dapat dengan cepat melihat bahwa node saat ini memiliki 6 node anak dengan prioritas 1.

• Analisis hulu

  Instans berulang sering kali memiliki dependensi hulu dan hilir. Jika sebuah node target belum dijalankan dalam periode yang lama, Anda dapat melakukan analisis hulu terhadapnya. Operasi ini akan menampilkan node leluhur yang menghambat node saat ini di DAG. Dengan demikian, Anda dapat dengan cepat menemukan dan menyelesaikan error waktu proses untuk meningkatkan efisiensi eksekusi node.

  Catatan

  • Analisis hulu hanya didukung untuk DAG instans. Ini mencakup instans berulang yang dipicu otomatis, instans pengisian ulang data yang dipicu manual, dan instans uji.

  • Anda hanya dapat melakukan Upstream Analysis pada node yang belum dijalankan. Maksimal enam lapisan ditampilkan. Untuk menampilkan lebih banyak lapisan, klik Continue Analysis di pojok kiri atas.

  • Analisis hulu membantu Anda dengan cepat menemukan node leluhur yang menjadi dependensi node saat ini tetapi belum berhasil dijalankan. Node-node tersebut mungkin berada dalam status Berjalan, Gagal, Menunggu Waktu, Menunggu Resource, atau Beku (dijeda). Node leluhur dalam status ini menghambat node turunan agar tidak dijalankan.

  Jika node contoh belum dijalankan dalam periode yang lama, pilih node tersebut dan klik Upstream Analysis di pojok kiri atas.Analisis menunjukkan bahwa node leluhur yang menghambat node saat ini adalah node old_work_root, seperti yang ditunjukkan pada gambar berikut. Hasil ini membantu Anda dengan cepat menemukan node penghambat dan menyelesaikan error terkait.

  Catatan

  Langkah selanjutnya:

  • Setelah menemukan instans kunci, Anda dapat memfilter berdasarkan dimensi agregasi untuk melihat workspace atau owner dari instans kunci yang memengaruhi output data node saat ini. Hal ini membantu meningkatkan efisiensi O&M Anda.

  • Setelah menemukan instans kunci yang menghambat instans saat ini, Anda juga dapat mengklik kanan instans tersebut dan memilih Run Diagnosis untuk menganalisis secara cepat mengapa instans tersebut belum berhasil dijalankan. Untuk informasi selengkapnya, lihat Diagnosis Cerdas.

  

• Analisis hilir

  Saat Anda membuka DAG, tiga lapisan ditampilkan secara default. Lapisan-lapisan tersebut mencakup node saat ini, node induk tingkat pertama, dan node anak tingkat pertama. Jika sebuah instans berulang memiliki terlalu banyak node atau lapisan, akan sulit untuk melihat cakupan dampaknya. Anda dapat menggunakan fitur analisis hilir untuk memfilter berdasarkan dimensi seperti status node, workspace, owner, atau prioritas. Hal ini memungkinkan Anda menghitung jumlah node di lapisan berbeda atau jumlah total node di semua lapisan untuk dimensi target.

  Catatan

  • Dalam status teragregasi, Anda dapat menggabungkan atau menampilkan secara berlapis. Setelah mengklik Downstream Analysis, node secara default diagregasi berdasarkan owner, dan jumlah total node untuk dimensi ini di semua lapisan dihitung.

  • Dalam status tidak teragregasi, jika terdapat lebih dari 10 node turunan, node tersebut ditampilkan dalam kelompok secara default. Tampilan ini memberikan pemahaman yang lebih jelas mengenai dampak bisnis dari node tersebut.

  • Dalam status tidak teragregasi, Anda dapat mengklik Ungroup untuk melihat node dalam suatu kelompok secara individual. Tampilan ini menunjukkan hubungan hulu dan hilir dari semua node.

  • Saat Downstream Analysis menggunakan tampilan Layered untuk menampilkan hasil, maksimal enam lapisan ditunjukkan. Untuk menampilkan lebih banyak lapisan, klik Continue Analysis di pojok kiri atas.

  Contoh berikut menunjukkan hasil Downstream Analysis pada node tag:

  • Merge: Menggabungkan node hilir yang dianalisis berdasarkan dimensi agregasi saat ini. Dalam status tidak teragregasi, node hilir ditampilkan dalam kelompok. Contoh ini menggunakan metode Merge dan aggregates by workspace. Semua node turunan digabungkan ke dalam satu lapisan, yang menunjukkan jumlah node di workspace berbeda.

  • Layered: Menampilkan node hilir yang dianalisis dalam lapisan berdasarkan dimensi agregasi saat ini. Contoh ini menggunakan metode Layered dan aggregates by workspace. Jumlah node di workspace berbeda ditampilkan dalam lapisan berbeda.

• Pilih gaya tampilan untuk DAG.

  Anda dapat mengklik ikon fungsi di pojok kanan atas DAG untuk menyesuaikan gaya tampilannya. Misalnya, Anda dapat menggunakan Full Screen atau Fit to Screen.

  Contoh berikut menunjukkan DAG untuk tampilan Ungroup dan Group dari node turunan.

  • DAG untuk Ungroup ditunjukkan pada gambar berikut. Tampilan ini menunjukkan hubungan hulu dan hilir dari semua node.

  • DAG untuk Group ditunjukkan pada gambar berikut. Tampilan ini menampilkan lima node per baris secara teratur, yang membantu Anda dengan cepat melihat jumlah total node turunan.

• DAG menunjukkan dependensi hulu dan hilir dari node. Garis utuh menunjukkan dependensi dalam epoch yang sama, sedangkan garis putus-putus menunjukkan dependensi lintas siklus. Anda juga dapat mengklik kanan node target untuk melakukan operasi. Gambar berikut menggunakan instans berulang sebagai contoh.

  Operasi	Deskripsi
  Expand Parent/Child Nodes	Saat alur bisnis memiliki tiga node atau lebih, Operation Center secara otomatis menyembunyikan beberapa node. Anda dapat memperluas lapisan induk dan anak untuk melihat semua node.
  View Operational Log	Lihat log operasional untuk instans saat ini, yang dapat berada dalam status Berjalan, Berhasil, atau Gagal. Catatan Instans di shared resource groups for scheduling disimpan selama satu bulan, sedangkan log disimpan selama satu minggu. Resource group eksklusif disediakan untuk penjadwalan, dan instans serta log-nya disimpan selama satu bulan.
  Run Diagnosis	DataWorks Operation Center menyediakan fitur run diagnosis untuk membantu Anda memahami informasi full-link dari eksekusi node dan dengan cepat menemukan masalah. Untuk informasi selengkapnya, lihat Diagnosis Cerdas.
  View Code	Lihat kode dari instans saat ini.
  Edit Node	Klik untuk menuju halaman Data Studio guna memodifikasi konten node saat ini.
  View Lineage	Lihat lineage dari instans saat ini.
  View More Details	Klik untuk melihat informasi tentang node saat ini, seperti Properties, Context, Operational Log, Operation Logs, dan Code.
  Stop	Anda hanya dapat menghentikan instans yang sedang menunggu untuk dijalankan atau sedang Berjalan. Setelah operasi ini, status instans berubah menjadi Gagal.
  Rerun	Anda dapat menjalankan ulang sebuah node. Setelah node berhasil dijalankan, node tersebut dapat memicu penjadwalan node turunan yang belum dijalankan. Operasi ini sering digunakan untuk menangani node yang mengalami error atau terlewat. Catatan Anda hanya dapat menjalankan ulang node yang berada dalam status Not Run, Succeeded, atau Failed.
  Rerun Downstream	Anda dapat menjalankan ulang sebuah node beserta node turunannya. Anda harus memilih node yang akan dijalankan ulang. Setelah node yang dipilih berhasil dijalankan, node tersebut dapat memicu penjadwalan node turunannya yang belum dijalankan. Operasi ini sering digunakan untuk perbaikan data. Catatan Anda hanya dapat memilih node yang berada dalam status Not Run, Completed, atau Failed. Jika Anda memilih node dalam status lain, halaman akan menampilkan pesan The Selected Nodes Include Nodes That Do Not Meet The Run Conditions, dan Anda tidak dapat mengirimkan permintaan eksekusi.
  Set to Succeeded	Mengubah status instans saat ini menjadi succeeded dan menjalankan node turunan yang belum dijalankan. Operasi ini sering digunakan untuk menangani node yang mengalami error. Catatan Anda hanya dapat mengatur node dalam status Failed menjadi succeeded. Anda tidak dapat mengatur alur bisnis menjadi succeeded.
  Resume	Anda dapat melanjutkan eksekusi node setelah gagal. Fitur ini hanya didukung untuk node MaxCompute. Catatan Untuk exclusive resource groups for scheduling yang dibeli sebelum Januari 2021, untuk melakukan upgrade, Anda harus terlebih dahulu mengklik tautan permintaan untuk bergabung ke grup komunikasi "Alibaba Cloud Big Data & AI Platform". Kemudian, pindai kode QR di bawah ini untuk bergabung ke grup DingTalk produk DataWorks guna konsultasi pra-penjualan dan purna-jual. Anda dapat langsung mention robot cerdas untuk konsultasi, atau menghubungi staf piket selama jam kerja mereka.
  Emergency Operation	Operasi untuk instans saat ini dalam situasi darurat. Operasi darurat hanya berlaku untuk eksekusi node saat ini. Pilih Remove Dependency untuk menghapus dependensi node saat ini. Operasi ini sering digunakan ketika node leluhur gagal dan tidak memiliki hubungan data dengan instans ini.
  Pause (Freeze)	Pembekuan pada instans berulang hanya berlaku untuk instans saat ini dan hanya jika sedang Berjalan. Instans berulang yang dibekukan tidak akan dijadwalkan secara otomatis untuk dijalankan (tidak benar-benar menjalankan data) dan akan menghambat node turunannya agar tidak dijalankan (tidak ada node turunan yang akan dijadwalkan secara otomatis). Contoh skenario: Jika Anda menjadwalkan sebuah node untuk dijalankan setiap jam, maka 24 instans dihasilkan per hari. Jika salah satu instans per jam tidak perlu dijalankan, Anda dapat memilih untuk membekukan instans tersebut. Pembekuan satu instans per jam tidak memengaruhi eksekusi instans lainnya.
  Resume (Unfreeze)	Anda dapat membuka pembekuan instans yang berada dalam status beku. Jika instans belum dijalankan, instans tersebut akan dijalankan secara otomatis setelah node leluhurnya selesai. Jika semua node leluhur telah selesai, node tersebut langsung diatur menjadi Gagal. Anda harus menjalankannya secara manual agar dapat berjalan normal. Catatan Operasi unfreeze hanya memengaruhi instans ini. Jika auto triggered task masih dibekukan, instans untuk hari berikutnya juga akan berada dalam status beku.

• Saat Anda mengklik sebuah instans, panel yang menampilkan detail instans akan muncul di pojok kanan bawah halaman. Anda dapat mengklik Expand Details di panel tersebut untuk melihat detail instans. Gambar berikut menggunakan instans berulang sebagai contoh.

  Fitur	Deskripsi
  Properties	Pada tab ini, Anda dapat melihat properti penjadwalan tugas di lingkungan produksi. Untuk informasi selengkapnya mengenai parameter pada antarmuka, lihat Scheduling Configuration. Hubungan antara node ID dan instance ID: Untuk node yang dijadwalkan per jam atau per menit, Anda dapat menggunakan node ID untuk menemukan semua instans tingkat jam atau menit yang dihasilkan untuk node tersebut pada hari ini. Untuk menemukan instans spesifik tingkat jam atau menit, gunakan instance ID. Memahami status tugas: Status tugas terkait dengan eksekusi tugas. Jika suatu tugas berada dalam keadaan seperti Not Run, Waiting for Time, Waiting for Resource, atau Frozen, Anda dapat menggunakan fitur Run Diagnosis untuk segera mengidentifikasi masalahnya. Waktu tunggu sumber daya: Jika suatu tugas menunggu sumber daya dalam waktu lama, Anda dapat menggunakan fitur Run Diagnosis untuk mengidentifikasi tugas mana yang sedang menggunakan sumber daya saat tugas saat ini berjalan. Hal ini membantu Anda menemukan dan memperbaiki tugas abnormal dengan cepat. Waktu proses berlebihan: Jika waktu proses suatu tugas jauh lebih lama dibandingkan waktu proses historisnya, Anda dapat menanganinya berdasarkan skenario berikut. Untuk tugas non-sync, Anda dapat berkonsultasi dengan pemilik engine terkait. Tugas sinkronisasi offline: Tahap tertentu dari tugas mungkin berjalan lambat atau menunggu sumber daya dalam waktu lama. Untuk informasi selengkapnya, lihat Offline synchronization FAQ. Pemantauan aturan: Anda dapat melihat aturan pemantauan yang terkait dengan instans saat ini. Anda dapat mengklik Create di sebelah kanan untuk segera membuat aturan pemantauan bagi status eksekusi tugas. Untuk informasi selengkapnya, lihat Rule management. Catatan Di sini, Anda hanya dapat melihat detail aturan yang memantau status eksekusi tugas. Anda tidak dapat melihat aturan pemantauan Kualitas Data. Pemantauan garis dasar: Anda dapat melihat garis dasar yang terkait dengan instans saat ini. Anda dapat mengklik Create di sebelah kanan untuk segera membuat garis dasar. Untuk informasi selengkapnya, lihat Baseline management.
  Operational Log	Digunakan untuk melihat proses eksekusi tugas secara rinci.
  Operation Logs	Digunakan untuk melihat catatan operasi (waktu, operator, operasi spesifik) untuk tugas atau instans tersebut.
  Code	Digunakan untuk melihat kode terbaru dari tugas saat ini di lingkungan produksi. Jika kodenya tidak sesuai harapan, pastikan apakah versi terbaru tugas telah dipublikasikan. Untuk informasi selengkapnya, lihat Publish a task.