Instans yang dipicu otomatis adalah snapshot yang dihasilkan secara otomatis berdasarkan konfigurasi penjadwalan dari node yang dipicu otomatis. Anda dapat dengan cepat melihat detail instans dan melakukan operasi terkait melalui tampilan daftar atau DAG.
Catatan penggunaan
-
Tugas normal: Tugas yang benar-benar menjalankan logika kode. Ini tidak mencakup tugas dry-run (seperti tugas dengan properti penjadwalan dry-run, instans yang dihasilkan untuk tugas di luar waktu terjadwalnya, cabang yang tidak dipilih dari node percabangan, atau instans kedaluwarsa yang dihasilkan dari konversi tugas real-time menjadi instans) dan tugas yang dibekukan.
-
Lingkungan O&M: Di ruang kerja mode standar, Anda dapat beralih antara Pusat Operasi pengembangan dan produksi di pojok kiri atas UI. Tugas tidak dijadwalkan secara otomatis di Pusat Operasi pengembangan, sehingga tidak ada instans yang dipicu otomatis yang dihasilkan di halaman Instans yang Dipicu Otomatis.
-
Eksekusi dan troubleshooting tugas:
-
Tugas terjadwal hanya berjalan jika tugas hulu-nya telah berhasil dijalankan, waktu terjadwal telah tiba, sumber daya penjadwalan yang cukup tersedia, dan tugas saat ini tidak dalam status beku. Untuk informasi lebih lanjut, lihat Kondisi eksekusi tugas.
-
Jika tugas tidak berjalan, pertama-tama gunakan fitur Upstream Analysis di halaman DAG untuk mengidentifikasi dengan cepat tugas hulu utama yang menghambat tugas saat ini. Kemudian, gunakan fitur diagnosis cerdas untuk mendiagnosis mengapa instans utama tersebut tidak berjalan atau mengidentifikasi masalah yang ada. Jika tugas memiliki dependensi yang kompleks, fitur ini membantu Anda menemukan masalah dengan cepat dan meningkatkan efisiensi O&M.
-
Batasan
-
Persyaratan edisi
DataWorks Edisi Profesional dan yang lebih tinggi menyediakan fitur-fitur lanjutan berikut untuk membantu Anda meningkatkan efisiensi pengembangan dan O&M.
-
Run Diagnostics: Menemukan masalah eksekusi tugas dengan cepat. Fitur ini saat ini tersedia untuk uji coba gratis. Untuk informasi lebih lanjut, lihat Diagnosis cerdas.
-
Analisis DAG lanjutan: Meliputi agregasi node, analisis hulu, dan analisis hilir untuk wawasan yang jelas mengenai alur tugas yang kompleks.
-
Export Query Results: Mengekspor data untuk laporan eksternal atau analisis lebih lanjut.
Untuk mencoba semua fitur ini, kami merekomendasikan Anda meningkatkan ke Edisi Profesional. Untuk informasi lebih lanjut, lihat Pilih dan beli edisi DataWorks.
-
-
Izin
Beberapa operasi hanya dapat dilakukan oleh pengguna dengan izin O&M. Jika titik masuk suatu fitur berwarna abu-abu atau tidak tersedia, buka halaman untuk memverifikasi izin O&M pengguna tersebut. Untuk informasi lebih lanjut, lihat Ikhtisar administrasi dan Kelola izin pada layanan tingkat ruang kerja.
-
Batasan fitur
-
Anda tidak dapat menghapus instans yang dipicu otomatis secara manual. Platform akan menghapus instans tersebut secara otomatis sekitar 30 hari setelah kedaluwarsa. Jika tugas tidak perlu lagi dijalankan, Anda dapat membekukan instans tersebut.
-
Untuk tugas yang dijalankan pada resource group bersama untuk penjadwalan, instans disimpan selama satu bulan (30 hari), dan log disimpan selama satu minggu (7 hari).
-
Untuk tugas yang dijalankan pada resource group arsitektur tanpa server atau resource group eksklusif untuk penjadwalan, baik instans maupun log disimpan selama satu bulan (30 hari).
-
Untuk instans yang telah selesai dijalankan, jika ukuran log melebihi 3 MB, platform akan menghapusnya secara otomatis pada waktu terjadwal setiap hari.
-
Peringatan
-
Node yang dipicu otomatis menghasilkan instans yang dipicu otomatis pada waktu terjadwal. Terlepas dari metode pembuatan instans yang Anda pilih, instans tersebut selalu menjalankan kode terbaru dari lingkungan produksi.
-
Untuk memantau tugas, pertama-tama atur aturan pemantauan untuknya. Untuk informasi lebih lanjut, lihat Ikhtisar pemantauan cerdas. Untuk tugas yang telah dikonfigurasi dengan peringatan pemantauan, jika tugas gagal tetapi Anda tidak menerima pemberitahuan peringatan, periksa apakah Anda telah mengonfigurasi nomor ponsel dan alamat email di halaman Alert Contacts. Untuk informasi lebih lanjut, lihat Informasi peringatan.
-
Waktu pertama kali instans yang dipicu otomatis dihasilkan bergantung pada metode pembuatan instans yang Anda pilih. Metode tersebut meliputi T +1 generated next day dan Instant generation after publishing. Untuk informasi lebih lanjut, lihat Metode pembuatan instans.
CatatanMenjalankan ulang tugas secara manual tidak memicu peringatan berdasarkan aturan kustom.
Mengakses halaman instans yang dipicu otomatis
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Operation Center.
-
Di panel navigasi sebelah kiri, pilih untuk membuka halaman Instans yang Dipicu Otomatis.
Halaman ini menampilkan status berjalan instans dari berbagai perspektif.
-
Perspektif instans: Digunakan untuk melihat detail eksekusi satu instans.
-
Perspektif alur kerja: Digunakan untuk melihat ikhtisar semua instans yang sedang berjalan dalam suatu alur kerja.
-
Perspektif instans
Daftar instans
Mode pencarian cerdas
Dengan pencarian cerdas, Anda cukup memasukkan kueri, dan sistem akan menguraikannya secara otomatis untuk memfilter instans yang diperlukan.
-
Lakukan pencarian cerdas.
Klik tombol Intelligent Search di kotak filter. Di kotak dialog yang muncul, masukkan kueri pencarian Anda, seperti
Sort by instance type, lalu tekan Enter. Sistem akan secara otomatis menampilkan instans yang sesuai. -
Simpan tampilan baru.
Jika Anda perlu menggunakan kembali kriteria pencarian dari pencarian cerdas Anda, klik di bilah pencarian. Di kotak dialog Save View, masukkan View Name kustom dan klik Save. Anda kemudian dapat menemukan dan menggunakan tampilan baru ini dari bilah pencarian tampilan.
CatatanJika Anda tidak ingin lagi menggunakan tampilan ini, temukan namanya di bilah pencarian tampilan. Arahkan kursor ke nama tampilan tersebut, klik ikon ... di sebelah kanan, lalu pilih Modify atau Delete.
-
Nonaktifkan pencarian cerdas.
Jika Anda perlu melakukan pencarian tepat menggunakan kondisi filter, Anda dapat menekan tombol Esc atau mengklik tombol Disable Intelligent Search di bilah aksi instans untuk keluar dari mode pencarian cerdas.
Mode kondisi filter
Gunakan kondisi filter untuk menemukan instans yang dipicu otomatis yang Anda butuhkan secara tepat.
-
Filter sederhana.
Di bilah alat, Anda dapat memilih beberapa kriteria filter, seperti Search by task name, task ID, or instance ID, Scheduling Resource Group, Alerts Reported Within Last 24 Hours, atau In Waiting for Resources State for a Long Period of Time, untuk memfilter instans.
-
Filter lanjutan.
Klik tombol Filter di kotak filter. Anda kemudian dapat menggabungkan beberapa kriteria, seperti Search by task name, task ID, or instance ID, Scheduling Resource Group, Run time, dan Computing Resource Name, untuk menemukan instans yang diperlukan secara akurat.
Mode pengurutan
Anda dapat mengurutkan daftar instans yang dipicu otomatis secara menaik atau menurun berdasarkan bidang seperti Data Timestamp, Priority, dan Timing Time. Untuk alur kerja yang telah berhasil dijalankan, Anda dapat mengurutkan tugas internal berdasarkan Start Time, End Time, dan Duration.
Mengelola instans yang dipicu otomatis
Mengelola satu instans
Untuk mengelola instans tertentu yang dipicu otomatis, temukan instans tersebut dalam daftar dan gunakan aksi di kolom Actions. Tabel berikut menjelaskan aksi yang tersedia.
|
Fitur |
Deskripsi |
|
|
DAG |
Menampilkan dependensi hulu dan hilir dari instans yang dipicu otomatis. Anda dapat melakukan operasi terkait di DAG. Untuk informasi lebih lanjut, lihat Lampiran: Fitur DAG. |
|
|
Run Diagnostics |
Menganalisis seluruh rantai dependensi tugas untuk mendiagnosis mengapa tugas tidak berjalan seperti yang diharapkan. Untuk informasi lebih lanjut, lihat Diagnosis cerdas. |
|
|
Rerun |
Menjalankan ulang instans yang berada dalam status Successful atau Failed. Ketika tugas berhasil dijalankan, tugas tersebut akan memicu tugas hilir yang belum dijalankan. Operasi ini umumnya digunakan untuk menangani node yang gagal atau terlewat. |
|
|
More |
Rerun Descendent Nodes |
Menjalankan ulang node turunan dari tugas yang berada dalam status Successful atau Failed. Anda dapat memilih tugas hilir mana yang akan dijalankan ulang. Setelah berhasil dijalankan, tugas tersebut dapat memicu tugas hilir lainnya yang belum dijalankan. Operasi ini sering digunakan untuk pemulihan data. |
|
Set to Successful |
Mengatur status tugas yang gagal menjadi berhasil. Ini berguna ketika Anda tidak ingin tugas yang gagal menghambat tugas hilirnya. Operasi ini sering digunakan untuk menangani node yang gagal. |
|
|
Refresh Instance |
Memperbarui instans saat ini dengan konfigurasi terbaru untuk properti berikut: sumber daya komputasi, kelompok sumber daya, CUs, prioritas, image, jenis penjadwalan, kebijakan jalankan ulang, definisi timeout, pemilik, tag, dan konfigurasi DQC. |
|
|
Terminate |
Menghentikan tugas yang tidak perlu lagi dijalankan. Status instans berubah menjadi gagal. Anda hanya dapat menghentikan instans yang berada dalam status Waiting time, Waiting for resources, atau Running. |
|
|
Freeze |
Gunakan fitur ini ketika instans saat ini dan instans hilirnya tidak perlu dijalankan. Membekukan instans yang dipicu otomatis hanya berlaku untuk instans tersebut. Instans yang dibekukan tidak akan dijadwalkan secara otomatis untuk dijalankan (tidak akan memproses data apa pun) dan akan menghambat node hilirnya agar tidak berjalan. Catatan
|
|
|
Unfreeze |
Membatalkan pembekuan instans yang dibekukan.
Catatan
Operasi unfreeze hanya memengaruhi instans saat ini. Jika node yang dipicu otomatis masih dibekukan, instans yang dihasilkan keesokan harinya juga akan dibekukan. |
|
|
View Lineage |
Menampilkan alur data instans tersebut. |
|
|
View cycle task details |
Menampilkan detail node yang dipicu otomatis yang sesuai dengan instans tersebut. |
|
|
View Runtime Log |
Setelah tugas dimulai, Anda dapat melihat proses eksekusi terperinci di log waktu proses. Untuk deskripsi parameter inti dalam log, lihat Lampiran: Parameter log waktu proses. |
|
|
Modify Scheduling Resource Group |
Memodifikasi kelompok sumber daya penjadwalan yang digunakan untuk menjalankan instans saat ini. Operasi ini tidak mengubah kelompok sumber daya dari node yang dipicu otomatis tempat instans tersebut berasal. Penting
Anda tidak dapat mengganti kelompok sumber daya saat instans sedang menunggu sumber daya. Setelah instans memasuki status menunggu sumber daya, Anda harus terlebih dahulu menghentikan tugas, lalu mengganti kelompok sumber daya, dan akhirnya menjalankan ulang instans tersebut. |
|
Mengelola beberapa instans
Untuk mengelola beberapa instans yang dipicu otomatis sekaligus, pilih instans-instans tersebut dalam daftar. Kemudian, gunakan tombol operasi massal di bagian bawah daftar untuk Terminate, Rerun, Set to Successful, Change Resource Group, Freeze, atau Unfreeze.
Untuk mengekspor daftar instans dari hasil pencarian Anda, pertama-tama lakukan pencarian. Kemudian, klik tombol Export Query Results di atas daftar instans. Di kotak dialog Export Query Results, konfirmasi informasi berikut:
-
Operation Object: Menampilkan jumlah instans yang sesuai dengan kriteria filter saat ini. Anda dapat mengklik View Filter Conditions untuk melihat filter spesifiknya.
-
Export Method: Pilih Export to Local File.
Ekspor merupakan operasi asinkron. Setelah mengirimkan tugas ekspor, Anda dapat membuka halaman View Operation Center action records untuk memeriksa progres dan mengunduh hasilnya.
Instance DAG
Klik DAG di kolom Actions instans yang dipicu otomatis untuk membuka halaman detail DAG instans tersebut.
Fitur halaman DAG
Di halaman detail DAG instans, Anda dapat melakukan operasi seperti agregasi node, analisis hilir, dan penyesuaian gaya tampilan DAG.
|
Fitur |
Deskripsi |
|
|
|
Anda dapat mengklik ikon di pojok kiri atas untuk mengagregasi informasi instans berdasarkan dimensi berikut:
|
|
|
|
Jika tugas memiliki banyak node atau beberapa level, Anda dapat menggunakan fitur Upstream Analysis atau Downstream Analysis untuk menghitung jumlah tugas hulu dan hilir yang dipengaruhi oleh tugas saat ini. |
|
|
|
Anda dapat mengklik ikon di pojok kanan atas untuk menyesuaikan gaya tampilan DAG. |
|
Aksi DAG
Di halaman detail DAG, klik kanan instans dalam alur kerja untuk melihat detail seperti hubungan hulu-hilir dan kode. Aksi berikut tersedia:
-
Show Ancestor Nodes: Melihat tugas hulu dari node saat ini untuk memahami node mana yang memengaruhi output datanya. Anda dapat memperluas node leluhur berdasarkan level, hingga enam level sekaligus.
-
Show Descendent Nodes: Melihat tugas hilir dari node saat ini untuk memahami node mana yang dipengaruhi oleh output datanya. Anda dapat memperluas node turunan berdasarkan level, hingga enam level sekaligus.
-
View Runtime Log: Setelah tugas dimulai, Anda dapat melihat proses eksekusi terperinci di log waktu proses. Untuk deskripsi parameter inti dalam log, lihat Lampiran: Parameter log waktu proses.
-
Run Diagnostics: Memeriksa dependensi hulu tugas, waktu penjadwalan, sumber daya penjadwalan, dan status berjalan.
-
View Code: Melihat kode node saat ini di lingkungan produksi. Jika tidak sesuai harapan, verifikasi bahwa versi terbaru node telah berhasil dideploy.
-
Edit Node: Membuka node saat ini di DataStudio.
-
View Lineage: Melihat alur data instans saat ini.
-
More: Melihat detail seperti properti dasar instans, log operasi, dan kode tugas.
-
View auto triggered node: Melihat informasi tentang node yang dipicu otomatis tempat instans saat ini berasal.
-
Go to task 360 page: Buka Pusat Tata Kelola Data untuk mendapatkan tampilan panorama detail tugas dari berbagai dimensi, seperti garis dasar terkait dan status berjalan instans, serta melakukan tata kelola tugas. Untuk informasi lebih lanjut, lihat Dapatkan tampilan panorama tugas.
-
Terminate: Menghentikan tugas yang tidak perlu lagi dijalankan. Status tugas akan diatur menjadi gagal. Anda hanya dapat menghentikan instans yang berada dalam status Waiting time, Waiting for resources, atau Running.
-
Rerun: Menjalankan ulang tugas yang berada dalam status Successful atau Failed. Setelah tugas berhasil dijalankan, tugas tersebut dapat memicu tugas hilir yang belum dijalankan. Ini sering digunakan untuk menangani node yang gagal atau terlewat.
-
Rerun Descendent Nodes: Menjalankan ulang node turunan dari tugas yang berada dalam status Successful atau Failed. Anda dapat memilih tugas hilir mana yang akan dijalankan ulang. Setelah berhasil dijalankan, tugas tersebut dapat memicu tugas hilir lainnya yang belum dijalankan. Ini sering digunakan untuk pemulihan data.
-
Set to Successful: Mengatur status tugas yang gagal menjadi berhasil. Ini berguna ketika Anda tidak ingin tugas yang gagal menghambat tugas hilirnya. Ini sering digunakan untuk menangani node yang gagal.
-
Resume: Melanjutkan tugas yang gagal dari titik kegagalannya. Jika tugas berisi beberapa pernyataan SQL, tugas tersebut dapat dilanjutkan dari pernyataan SQL spesifik yang gagal.
CatatanOperasi ini hanya didukung untuk tugas MaxCompute SQL.
-
Trigger Data Quality Check: Jika aturan kualitas data dikonfigurasi untuk tugas tersebut, Anda dapat memicu pemeriksaan validasi.
-
Emergency Operations: Operasi darurat bersifat sekali pakai dan hanya memengaruhi eksekusi saat ini dari node tersebut.
-
Delete Dependencies: Menghapus hubungan dependensi untuk node saat ini. Ini sering digunakan untuk segera menghapus dependensi hulu ketika tugas hulu gagal tetapi tidak terkait dengan data instans saat ini, sehingga tugas saat ini dapat dijalankan.
CatatanAnda harus memastikan apakah tindakan ini akan memengaruhi data Anda dengan memeriksa kode tugas dan alur datanya.
-
Change Priority: Prioritas instans diwariskan dari garis dasarnya. Anda dapat mengatur ulang prioritas di sini sesuai kebutuhan. Angka yang lebih tinggi menunjukkan prioritas yang lebih tinggi.
-
Force Rerun: Memaksa menjalankan ulang node saat ini. Ini dapat dilakukan pada instans yang dipicu otomatis yang berada dalam status berhasil, gagal, atau belum dijalankan. Ini sering digunakan untuk pemulihan data.
-
Force Heavy Run Downstream: Memaksa menjalankan ulang tugas hilir untuk memproses data dari dua tanggal bisnis sebelumnya. Operasi ini hanya didukung untuk instans yang dipicu otomatis dalam status Successful atau Failed dan sering digunakan untuk pemulihan data. Untuk informasi lebih lanjut, lihat Lampiran: Force rerun downstream.
CatatanHanya administrator ruang kerja, administrator penyewa, dan Akun Alibaba Cloud yang dapat memulai force rerun node hilir.
-
Clone Instance: Membuat instans klon baru berdasarkan instans yang sedang berjalan (instans host). Instans baru diberi nama dalam format
dw_clone_NodeName.Catatan-
Hanya instans node ODPS SQL yang dapat diklon, dan setiap instans hanya dapat diklon sekali.
-
Logika eksekusi untuk instans host dan klon:
-
Kedua instans host dan klon berada dalam status berjalan. Jika instans host berhasil terlebih dahulu, instans klon akan dihentikan. Jika instans klon berhasil terlebih dahulu, instans host akan dihentikan dan statusnya diatur menjadi berhasil.
-
Jika tugas hilir dari tugas saat ini memiliki instans klon, menjalankan ulang node hilir tidak akan memicu eksekusi instans klon tersebut.
-
-
-
-
Freeze: Anda dapat membekukan instans jika instans tersebut dan instans hilirnya tidak perlu dijalankan.
Penting-
Membekukan instans hulu akan menghambat instans hilirnya agar tidak berjalan. Lakukan dengan hati-hati.
-
Jangan melakukan operasi pada node projectname_root, karena ini adalah node akar ruang kerja. Semua instans yang dipicu otomatis bergantung pada node ini. Jika Anda membekukan node ini, tidak ada instans yang dipicu otomatis yang akan berjalan.
-
Anda tidak dapat membekukan instans yang berada dalam status Waiting for resources, Waiting time, atau Running (misalnya, jika kode node sedang berjalan atau pemeriksaan kualitas data sedang berlangsung).
-
-
Unfreeze: Membatalkan pembekuan instans yang berada dalam status beku.
-
Jika instans belum dijalankan, instans tersebut akan berjalan secara otomatis setelah tugas hulunya selesai.
-
Jika semua tugas hulu telah selesai, status instans berubah menjadi gagal. Anda harus menjalankannya ulang secara manual.
CatatanOperasi unfreeze hanya memengaruhi instans saat ini. Jika node yang dipicu otomatis masih dibekukan, instans yang dihasilkan keesokan harinya juga akan dibekukan.
-
Detail instans
Di DAG instans, klik kiri instans tertentu dan klik View Log Data di jendela pop-up, atau klik Show Details untuk melihat informasi terperinci seperti General, Runtime Log, Operation Log, dan Code.
|
Tab |
Deskripsi |
|
General |
Tab ini menampilkan properti penjadwalan tugas di lingkungan produksi. Untuk informasi lebih lanjut mengenai parameter UI, lihat: Konfigurasi penjadwalan.
|
|
Runtime Log |
Setelah tugas dimulai, Anda dapat melihat proses eksekusi terperinci di log waktu proses. Untuk deskripsi parameter inti dalam log, lihat Lampiran: Parameter log waktu proses. |
|
Operation Log |
Menampilkan catatan operasi tugas atau instans (waktu, operator, dan aksi spesifik). |
|
Code |
Menampilkan kode terbaru dari tugas saat ini di lingkungan produksi. Jika tidak sesuai harapan, verifikasi bahwa versi terbaru tugas telah berhasil dideploy. Untuk informasi lebih lanjut, lihat Deploy tasks. |
Perspektif alur kerja
Klik tab Workflow Perspective di halaman Scheduled Instance untuk membuka tampilan O&M alur kerja.
Dalam perspektif alur kerja, hanya dependensi dalam alur kerja yang ditampilkan. Jika terdapat dependensi lintas alur kerja atau ruang kerja, beralihlah ke perspektif instans untuk melihatnya.
Daftar alur kerja
|
Fitur |
Deskripsi |
|
Ikhtisar status berjalan alur kerja |
Kolom Workflow menunjukkan status berjalan alur kerja. Tampilan daftar menghitung tugas normal, yang tidak mencakup tugas dry-run dan tugas yang dibekukan. Halaman DAG menampilkan semua jenis tugas.
|
|
O&M Alur Kerja Actions |
Anda dapat melakukan operasi berikut pada alur kerja:
|
Lampiran: Parameter log waktu proses
Log waktu proses menunjukkan proses eksekusi terperinci dari tugas. Tabel berikut menjelaskan parameter log inti.
|
Parameter |
Deskripsi |
|
SKYNET_ONDUTY |
Pemilik tugas. |
|
SKYNET_PARAVALUE |
Daftar parameter penjadwalan. |
|
SKYNET_TASKID |
ID instans. |
|
SKYNET_ID |
ID node. |
|
SKYNET_NODENAME |
Nama node. |
|
SKYNET_APPNAME |
Nama ruang kerja. |
|
SKYNET_REGION |
Wilayah tempat ruang kerja berada. |
|
SKYNET_CYCTIME |
Waktu berjalan terjadwal dari node. |
FAQ
-
Penyelesaian masalah pengecualian instans
-
Node yang dipicu otomatis tidak dapat ditemukan di Pusat Operasi
-
Node yang dipicu otomatis ada, tetapi tidak ada instans yang dipicu otomatis yang dihasilkan
-
Node yang dipicu otomatis dan instans yang dipicu otomatisnya ada, tetapi instans belum dijalankan
-
Kondisi apa saja yang harus dipenuhi agar tugas dapat berjalan?
-
-
Penyelesaian masalah tugas yang tidak berjalan
-
Dry-run
Untuk pertanyaan yang lebih sering diajukan, lihat Masalah umum.



: Jumlah instans yang sedang berjalan dalam alur kerja saat ini.
: Jumlah instans yang berhasil dalam alur kerja saat ini.
: Jumlah instans yang gagal dalam alur kerja saat ini.
: Jumlah instans dalam status selain yang disebutkan di atas dalam alur kerja saat ini.