Jalankan Smoke Test dan Lacak Instans Test di DataWorks - DataWorks - Alibaba Cloud - DataWorks

Instans pengujian dihasilkan saat Anda menjalankan pengujian pada tugas terjadwal. Di halaman instans pengujian, Anda dapat melihat detail instans dalam bentuk daftar atau DAG.

Pendahuluan

Anda dapat menjalankan pengujian pada tugas terjadwal untuk memverifikasi bahwa penjadwalan dan eksekusinya sesuai ekspektasi di lingkungan produksi. Tindakan ini menghasilkan instans pengujian, sehingga Anda dapat memantau status eksekusinya di halaman instans pengujian.

Untuk informasi selengkapnya tentang pengujian tugas terjadwal, lihat Kelola tugas terjadwal.
Untuk informasi selengkapnya tentang melihat detail instans pengujian dalam tampilan daftar, lihat Lihat daftar instans pengujian.
Untuk informasi selengkapnya tentang melihat detail instans pengujian dalam DAG, lihat DAG instans pengujian.

Catatan

Menjalankan instans pengujian akan mengeksekusi logika kode aktual. Lakukan dengan hati-hati.

Batasan

Batasan fitur:
- DataWorks Edisi Profesional dan versi yang lebih tinggi menyediakan fitur-fitur lanjutan berikut untuk meningkatkan efisiensi pengembangan dan O&M Anda. Untuk informasi selengkapnya, lihat Edisi dan penagihan.
  - Run Diagnostics: Membantu Anda dengan cepat menemukan masalah eksekusi tugas. Fitur ini tersedia untuk uji coba gratis. Untuk informasi selengkapnya, lihat diagnosis cerdas.
  - Advanced DAG analysis: Meliputi agregasi node, analisis hulu, dan analisis hilir untuk membantu Anda memahami lineage tugas yang kompleks.
  - Export Query Results: Memungkinkan Anda menggunakan data untuk laporan eksternal atau analisis lebih lanjut.
- Hanya pengguna dengan izin O&M yang dapat menggunakan beberapa fitur. Jika suatu fitur berwarna abu-abu atau tidak tersedia, buka halaman ringkasan Management Center. Di panel navigasi sebelah kiri, klik Workspace Members and Roles, lalu pada tab Workspace Members, pastikan pengguna target memiliki izin O&M. Untuk informasi selengkapnya, lihat Mengelola izin untuk modul tingkat ruang kerja.
Batasan log dan instans:
- Anda tidak dapat menghapus instans pengujian secara manual. Instans akan dihapus otomatis oleh platform setelah kedaluwarsa (sekitar 30 hari). Jika suatu tugas tidak perlu dijalankan lagi, Anda dapat membekukan instans tersebut.
- Untuk grup sumber daya bersama untuk penjadwalan, instans disimpan selama satu bulan (30 hari) dan log disimpan selama satu minggu (7 hari).
- Untuk grup sumber daya eksklusif untuk penjadwalan, instans tugas dan log disimpan selama satu bulan (30 hari).
- Log instans yang telah selesai dan berukuran melebihi 3 MB akan dibersihkan setiap hari.
Setelah Anda mengonfigurasi jumlah maksimum instans konkuren untuk suatu tugas, instans pengujian juga tunduk pada batas ini dan berbagi kuota konkurensi dengan instans terjadwal serta instans backfill. Saat beberapa jenis instans mengantri secara bersamaan, hanya instans backfill yang bukan untuk hari ini yang prioritasnya diturunkan (dari 8 menjadi 3).

Jalankan pengujian dan hasilkan instans pengujian

Buka Operation Center.

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Operation Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Operation Center.
Jalankan pengujian pada tugas terjadwal.
Di halaman Operation Center, di panel navigasi sebelah kiri, klik Auto Triggered Task O&M > Auto Triggered Node. Di halaman Auto Triggered Node, Anda dapat menjalankan pengujian pada tugas terjadwal dengan salah satu metode berikut.
- Metode 1: Di tampilan daftar tugas terjadwal, klik Test di kolom Actions tugas target. Jika halaman saat ini tidak dalam tampilan daftar, klik ikon di tengah halaman untuk kembali ke tampilan daftar.
- Metode 2: Di tampilan DAG, klik kanan DAG instans target, lalu pilih Test dari menu konteks. Jika halaman saat ini tidak dalam tampilan DAG, klik DAG di kolom Actions instans target untuk membuka DAG tugas tersebut.

Konfigurasikan parameter dalam dialog Test.

Parameter	Deskripsi
Test Name	Anda dapat memasukkan nama untuk pengujian asap.
Data Timestamp	Pilih tanggal bisnis untuk pengujian. Catatan Jika Anda memilih tanggal bisnis sebelum kemarin, tugas akan dijalankan segera. Jika Anda memilih kemarin sebagai tanggal bisnis, tugas akan dijalankan pada waktu terjadwal.
Advanced configuration	Setelah Anda mengaktifkan pengaturan lanjutan, Anda dapat memberikan nilai untuk parameter penjadwalan. Nilai yang diberikan hanya berlaku untuk pengujian saat ini.

Lihat daftar instans pengujian

Daftar instans pengujian menampilkan instans pengujian yang dihasilkan setelah Anda menjalankan pengujian pada tugas terjadwal. Anda dapat melihat status eksekusi instans pengujian dan melakukan operasi terkait padanya.

Operasi	Deskripsi
Filter	Di area 1 pada gambar sebelumnya, Anda dapat menggunakan kondisi filter untuk menyaring instans yang ingin Anda kueri. Anda dapat menyaring instans berdasarkan Node Name, Node ID, Task type, Run At, Data Timestamp, Scheduling Resource Group, My Node, The node I tested today, dan Pause (freeze) a node. Catatan Tanggal bisnis default untuk penyaringan adalah satu hari sebelum tanggal saat ini.
Tasks	Di area 2 pada gambar sebelumnya, instans pengujian yang memenuhi kondisi filter ditampilkan dalam bentuk daftar.
Actions	Di area 3 pada gambar sebelumnya, Anda dapat melakukan operasi berikut pada instans pengujian: DAG: DAG menampilkan dependensi hulu dan hilir instans pengujian. Anda dapat melakukan operasi terkait di DAG. Untuk informasi selengkapnya, lihat Kelola DAG. Diagnostics (Run Diagnostics): Digunakan untuk melakukan analisis end-to-end pada suatu tugas. Saat tugas tidak berjalan sesuai ekspektasi, Anda dapat menggunakan fitur ini untuk menemukan masalahnya. Untuk informasi selengkapnya, lihat Diagnosis cerdas. Rerun: Digunakan untuk menjalankan ulang tugas yang telah berhasil atau gagal. Setelah tugas berhasil dijalankan, tugas tersebut dapat memicu penjadwalan tugas hilir yang berstatus belum dijalankan. Operasi ini umumnya digunakan untuk menangani node yang gagal atau terlewat. Catatan Anda hanya dapat menjalankan ulang tugas yang berstatus Successful atau Failed. More: Rerun Descendent Nodes: Digunakan untuk menjalankan ulang node hilir dari tugas yang telah berhasil atau gagal. Anda dapat memilih tugas hilir yang ingin dijalankan ulang. Setelah tugas berhasil dijalankan, tugas tersebut dapat memicu penjadwalan tugas hilir yang berstatus belum dijalankan. Operasi ini umumnya digunakan untuk perbaikan data. Catatan Anda hanya dapat menjalankan ulang tugas yang berstatus Successful atau Failed. Jika Anda memilih tugas dengan status lain, halaman akan menampilkan pesan The Selected Nodes Include Nodes That Do Not Meet the Run Conditions, dan pengiriman eksekusi akan diblokir. Set to Successful: Digunakan untuk mengubah status tugas yang gagal menjadi berhasil. Saat suatu tugas gagal tetapi Anda tidak ingin tugas tersebut menghambat tugas hilir, Anda dapat menggunakan fitur ini. Operasi ini umumnya digunakan untuk menangani node yang gagal. Terminate: Digunakan untuk menghentikan tugas yang tidak perlu dijalankan lagi. Setelah tugas dihentikan, tugas tersebut akan keluar dengan status gagal. Catatan Anda hanya dapat menghentikan instans yang berstatus Waiting time, Waiting for resources, atau Running. Freeze: Saat suatu tugas dan tugas hilirnya tidak perlu dijalankan untuk jangka waktu tertentu, Anda dapat menggunakan fitur ini. Untuk informasi selengkapnya, lihat Bekukan dan lepaskan instans. Catatan Jangan melakukan operasi pada node projectname_root. Node ini merupakan node akar ruang kerja. Semua instans tugas terjadwal bergantung pada node ini. Jika Anda membekukan node ini, instans tugas terjadwal tidak dapat dijalankan. Unfreeze: Digunakan untuk melepaskan instans yang berada dalam status beku. Jika instans belum dijalankan, instans tersebut akan dijalankan secara otomatis setelah tugas hulunya selesai dijalankan. Jika semua tugas hulu telah selesai dijalankan, instans tersebut langsung diatur ke status gagal. Anda perlu menjalankannya secara manual agar instans dapat berjalan normal. Catatan Operasi unfreeze hanya berlaku untuk instans tertentu. Jika tugas terjadwal masih dalam status beku, instans yang dihasilkan keesokan harinya tetap akan berada dalam status beku. View Lineage: Lihat informasi lineage instans saat ini. View cycle task details: Lihat informasi dasar instans saat ini. View Runtime Log: Setelah tugas mulai dijalankan, Anda dapat melihat proses eksekusi detailnya di log waktu proses. Untuk deskripsi parameter utama dalam log, lihat Parameter log waktu proses.
Operasi batch	Di area 4 pada gambar sebelumnya, Anda dapat memilih beberapa tugas sekaligus dan melakukan operasi seperti Terminate, Rerun, Set to Successful, Change Resource Group, Freeze, Unfreeze, dan Export Query Results.
Items per page	Di area 5 pada gambar sebelumnya, Anda dapat mengubah jumlah item yang ditampilkan per halaman. Maksimal 200 item dapat ditampilkan per halaman.

DAG instans pengujian

Di tampilan daftar, klik nama Test Instance atau klik DAG di kolom Actions untuk membuka DAG instans tersebut. Anda dapat mengklik kanan instans di DAG untuk melakukan operasi terkait.

Fitur	Deskripsi
Fitur panel DAG	Klik DAG di samping tugas untuk membuka DAG-nya. Anda dapat melakukan operasi berikut di DAG: Search: Di area 1 pada gambar sebelumnya, Anda dapat menyaring instans berdasarkan Node Name, Node ID, Instance ID, Instance Name, dan lainnya. Select DAG Display Style: Di area 2 pada gambar sebelumnya, Anda dapat mengklik ikon fitur di pojok kanan atas tampilan DAG untuk menyesuaikan gaya tampilan sesuai kebutuhan. Dari kiri ke kanan: Open Map/Close Map, Show Alert Status/Hide Alert Status, Update Node Status, Zoom In DAG canvas, Zoom Out DAG canvas, 1:1 layout ratio between nodes and canvas, Auto Fit Screen based on the current window size, dan Toggle Full Screen View toggle.
Operasi instans tunggal	Klik kanan node target untuk melakukan operasi terkait. Terminate: Digunakan untuk menghentikan tugas yang tidak perlu dijalankan lagi. Setelah tugas dihentikan, tugas tersebut akan keluar dengan status gagal. Rerun: Digunakan untuk menjalankan ulang tugas yang telah berhasil atau gagal. More: Menampilkan operasi tambahan seperti Set to Successful dan Freeze. Catatan Untuk operasi lainnya, lihat Lihat daftar instans pengujian.
Detail instans tunggal	Di area 4 pada gambar sebelumnya, Anda dapat melakukan operasi berikut: View Log Data: Setelah tugas mulai dijalankan, Anda dapat melihat proses eksekusi detailnya di log waktu proses. Untuk deskripsi parameter utama dalam log, lihat Parameter log waktu proses. Show Details: Digunakan untuk melihat informasi tugas saat ini, termasuk properti, konteks, log waktu proses, log operasi, dan kode. Untuk informasi selengkapnya, lihat Lihat detail instans.

Lihat detail instans

Di tampilan DAG, klik instans target. Di jendela yang muncul di pojok kanan bawah, klik Show Details. Halaman detail instans akan muncul, tempat Anda dapat melihat informasi lengkap tentang instans saat ini, termasuk properti, konteks, log waktu proses, log operasi, dan kode.

Fitur	Deskripsi
General	Di tab ini, Anda dapat melihat properti penjadwalan tugas di lingkungan produksi. Untuk deskripsi parameter pada halaman, lihat Konfigurasi pengaturan penjadwalan. Interpretasi status tugas: Status tugas berkaitan dengan eksekusi tugas. Jika tugas berstatus belum dijalankan, menunggu waktu, menunggu sumber daya, atau beku, lihat Troubleshoot task status issues untuk troubleshooting. Waktu tunggu sumber daya: Jika tugas telah lama menunggu sumber daya, Anda dapat menggunakan fitur diagnosis cerdas untuk mengidentifikasi tugas mana yang sedang menggunakan sumber daya saat tugas saat ini dijalankan, serta dengan cepat menemukan tugas abnormal untuk troubleshooting. Durasi berlebihan: Jika durasi tugas jauh lebih lama dibandingkan eksekusi historis, rujuk skenario berikut untuk troubleshooting. Tugas non-sinkronisasi: Hubungi penanggung jawab mesin komputasi terkait. Tugas sinkronisasi batch: Fase tertentu dari tugas mungkin berjalan lambat atau tugas mungkin terjebak dalam status menunggu sumber daya yang berkepanjangan. Untuk informasi selengkapnya, lihat Troubleshoot batch synchronization tasks. Aturan pemantauan: Anda dapat melihat aturan pemantauan yang terkait dengan instans saat ini. Klik Create di sisi kanan untuk membuat aturan pemantauan status eksekusi tugas secara cepat. Untuk informasi selengkapnya, lihat Buat aturan pemantauan. Catatan Hanya aturan pemantauan untuk status eksekusi tugas yang dapat dilihat di sini. Aturan pemantauan Kualitas Data tidak didukung. Pemantauan garis dasar: Anda dapat melihat garis dasar yang terkait dengan instans saat ini. Klik Create di sisi kanan untuk membuat garis dasar secara cepat. Untuk informasi selengkapnya, lihat Kelola garis dasar. Jumlah maksimum instans konkuren: Menampilkan jumlah maksimum instans konkuren yang dikonfigurasi untuk tugas. Nilainya adalah Tanpa Batas atau angka tertentu (1 hingga 10000). Pengaturan ini membatasi jumlah maksimum instans dari tugas yang sama yang dapat dijalankan secara bersamaan. Batasan ini berlaku untuk instans terjadwal, instans backfill, dan instans pengujian.
Runtime Log	Setelah tugas mulai dijalankan, Anda dapat melihat proses eksekusi detailnya di log waktu proses. Untuk deskripsi parameter utama dalam log, lihat Parameter log waktu proses.
Operation Log	Digunakan untuk melihat catatan operasi tugas atau instans, termasuk waktu, operator, dan operasi spesifik.
Code	Digunakan untuk melihat kode terbaru tugas saat ini di lingkungan produksi. Jika kode tidak sesuai ekspektasi, periksa apakah versi terbaru tugas telah berhasil dideploy. Untuk informasi selengkapnya, lihat Deploy nodes.

Troubleshoot task run issues

Jika tugas tidak berjalan sesuai ekspektasi, Anda dapat menggunakan fitur diagnosis cerdas untuk mendiagnosis alasan tugas tidak dijalankan atau mengidentifikasi masalah.