Jalankan Smoke Test dan Lacak Instans Test di DataWorks - DataWorks - Alibaba Cloud - DataWorks

Instans pengujian dihasilkan saat Anda menjalankan pengujian pada task terjadwal. Di halaman instans pengujian, Anda dapat melihat detail instans dalam bentuk daftar atau DAG.

Pendahuluan

Anda dapat menjalankan pengujian pada task terjadwal untuk memverifikasi apakah penjadwalan dan eksekusinya sesuai ekspektasi di lingkungan produksi. Tindakan ini menghasilkan instans pengujian, sehingga Anda dapat memantau status eksekusinya di halaman instans pengujian.

Untuk informasi selengkapnya tentang pengujian task terjadwal, lihat Kelola task terjadwal.
Untuk informasi selengkapnya tentang melihat detail instans pengujian dalam tampilan daftar, lihat Lihat daftar instans pengujian.
Untuk informasi selengkapnya tentang melihat detail instans pengujian dalam DAG, lihat DAG instans pengujian.

Catatan

Menjalankan instans pengujian akan mengeksekusi logika kode sesungguhnya. Lakukan dengan hati-hati.

Batasan

Batasan fitur:
- DataWorks Edisi Profesional dan yang lebih tinggi menyediakan fitur-fitur lanjutan berikut untuk meningkatkan efisiensi pengembangan dan O&M Anda. Untuk informasi selengkapnya, lihat Edisi dan penagihan.
  - Run Diagnostics: Membantu Anda dengan cepat menemukan masalah eksekusi task. Fitur ini tersedia untuk uji coba gratis. Untuk informasi selengkapnya, lihat diagnosis cerdas.
  - Advanced DAG analysis: Meliputi agregasi node, analisis hulu, dan analisis hilir untuk membantu Anda memahami lineage task yang kompleks.
  - Export Query Results: Memungkinkan Anda menggunakan data untuk laporan eksternal atau analisis lebih lanjut.
- Hanya pengguna dengan izin O&M yang dapat menggunakan beberapa fitur. Jika suatu fitur tampak pudar atau tidak tersedia, buka halaman Management Center overview. Di panel navigasi sebelah kiri, klik Workspace Members and Roles, lalu pada tab Workspace Members, verifikasi bahwa pengguna target memiliki izin O&M. Untuk informasi selengkapnya, lihat Manage permissions for workspace-level modules.
Batasan log dan instans:
- Anda tidak dapat menghapus instans pengujian secara manual. Instans akan dihapus otomatis oleh platform setelah masa berlakunya habis (sekitar 30 hari). Jika suatu task tidak perlu lagi dijalankan, Anda dapat membekukan instans tersebut.
- Untuk grup sumber daya bersama untuk penjadwalan, instans disimpan selama satu bulan (30 hari) dan log disimpan selama satu minggu (7 hari).
- Untuk grup sumber daya eksklusif untuk penjadwalan, instans task dan log disimpan selama satu bulan (30 hari).
- Log instans yang telah selesai dan berukuran melebihi 3 MB akan dibersihkan setiap hari.
Setelah Anda mengonfigurasi jumlah maksimum instans konkuren untuk suatu task, instans pengujian juga tunduk pada batas ini dan berbagi kuota konkurensi dengan instans terjadwal serta instans backfill. Saat berbagai jenis instans mengantri secara bersamaan, hanya instans backfill yang bukan untuk hari ini yang prioritasnya diturunkan (dari 8 menjadi 3).

Jalankan pengujian dan hasilkan instans pengujian

Buka Operation Center.

Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Operation Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Operation Center.
Jalankan pengujian pada task terjadwal.
Di halaman Operation Center, di panel navigasi sebelah kiri, klik Auto Triggered Task O&M > Auto Triggered Node. Di halaman Auto Triggered Node, Anda dapat menjalankan pengujian pada task terjadwal dengan salah satu metode berikut.
- Metode 1: Di tampilan daftar task terjadwal, klik Test di kolom Actions task target. Jika halaman saat ini tidak dalam tampilan daftar, klik ikon di tengah halaman untuk kembali ke tampilan daftar.
- Metode 2: Di tampilan DAG, klik kanan DAG instans target, lalu pilih Test dari menu konteks. Jika halaman saat ini tidak dalam tampilan DAG, klik DAG di kolom Actions instans target untuk membuka DAG task tersebut.

Konfigurasikan parameter dalam dialog Test.

Parameter	Deskripsi
Test Name	Anda dapat memasukkan nama untuk pengujian asap.
Data Timestamp	Pilih tanggal bisnis untuk pengujian. Catatan Jika Anda memilih tanggal bisnis yang lebih awal dari kemarin, task akan langsung dijalankan. Jika Anda memilih kemarin sebagai tanggal bisnis, task akan dijalankan sesuai jadwal.
Advanced configuration	Setelah Anda mengaktifkan pengaturan lanjutan, Anda dapat memberikan nilai untuk parameter penjadwalan. Nilai yang diberikan hanya berlaku untuk pengujian saat ini.

Lihat daftar instans pengujian

Daftar instans pengujian menampilkan instans pengujian yang dihasilkan setelah Anda menjalankan pengujian pada task terjadwal. Anda dapat melihat status eksekusi instans pengujian dan melakukan operasi terkait padanya.

List icon

Operasi	Deskripsi
Filter	Di area 1 pada gambar di atas, Anda dapat menggunakan kondisi filter untuk menyaring instans yang ingin Anda kueri. Anda dapat menyaring instans berdasarkan Node Name, Node ID, Task type, Run At, Data Timestamp, Scheduling Resource Group, My Node, The node I tested today, dan Pause (freeze) a node. Catatan Tanggal bisnis default untuk penyaringan adalah satu hari sebelum tanggal saat ini.
Tasks	Di area 2 pada gambar di atas, instans pengujian yang memenuhi kondisi filter ditampilkan dalam bentuk daftar.
Actions	Di area 3 pada gambar di atas, Anda dapat melakukan operasi berikut pada instans pengujian: DAG: DAG menampilkan dependensi hulu dan hilir instans pengujian. Anda dapat melakukan operasi terkait di DAG. Untuk informasi selengkapnya, lihat Kelola DAG. Diagnostics (Run Diagnostics): Digunakan untuk melakukan analisis end-to-end pada suatu task. Saat task tidak berjalan sesuai ekspektasi, Anda dapat menggunakan fitur ini untuk menemukan masalahnya. Untuk informasi selengkapnya, lihat Diagnosis cerdas. Rerun: Digunakan untuk menjalankan ulang task yang telah berhasil atau gagal. Setelah task berhasil dijalankan, task tersebut dapat memicu penjadwalan task hilir yang berstatus belum dijalankan. Ini umumnya digunakan untuk menangani node yang gagal atau terlewat. Catatan Anda hanya dapat menjalankan ulang task yang berada dalam status Successful atau Failed. More: Rerun Descendent Nodes: Digunakan untuk menjalankan ulang node hilir dari task yang telah berhasil atau gagal. Anda dapat memilih task hilir yang ingin dijalankan ulang. Setelah task berhasil dijalankan, task tersebut dapat memicu penjadwalan task hilir yang berstatus belum dijalankan. Ini umumnya digunakan untuk perbaikan data. Catatan Anda hanya dapat menjalankan ulang task yang berada dalam status Successful atau Failed. Jika Anda memilih task dalam status lain, halaman akan menampilkan pesan The Selected Nodes Include Nodes That Do Not Meet the Run Conditions, dan pengiriman eksekusi akan diblokir. Set to Successful: Digunakan untuk mengubah status task yang gagal menjadi berhasil. Saat task gagal tetapi Anda tidak ingin task tersebut menghambat task hilir, Anda dapat menggunakan fitur ini. Ini umumnya digunakan untuk menangani node yang gagal. Terminate: Digunakan untuk menghentikan task yang tidak perlu dijalankan lagi. Setelah task dihentikan, statusnya akan berubah menjadi gagal. Catatan Anda hanya dapat menghentikan instans yang berada dalam status Waiting time, Waiting for resources, atau Running. Freeze: Saat task dan task hilirnya tidak perlu dijalankan untuk periode tertentu, Anda dapat menggunakan fitur ini. Untuk informasi selengkapnya, lihat Bekukan dan lepaskan instans. Catatan Jangan melakukan operasi pada node projectname_root. Node ini merupakan node akar ruang kerja. Semua instans task terjadwal bergantung pada node ini. Jika Anda membekukan node ini, instans task terjadwal tidak dapat dijalankan. Unfreeze: Digunakan untuk melepaskan instans yang berada dalam status beku. Jika instans belum dijalankan, instans tersebut akan dijalankan secara otomatis setelah task hulunya selesai dijalankan. Jika semua task hulu telah selesai dijalankan, instans akan langsung diatur ke status gagal. Anda perlu menjalankannya secara manual agar instans dapat berjalan normal. Catatan Operasi unfreeze hanya berlaku untuk instans tertentu. Jika task terjadwal masih dalam status beku, instans yang dihasilkan keesokan harinya tetap akan berada dalam status beku. View Lineage: Lihat informasi lineage instans saat ini. View cycle task details: Lihat informasi dasar instans saat ini. View Runtime Log: Setelah task mulai dijalankan, Anda dapat melihat proses eksekusi detailnya di log waktu proses. Untuk deskripsi parameter kunci dalam log, lihat Parameter log waktu proses.
Operasi batch	Di area 4 pada gambar di atas, Anda dapat memilih beberapa task secara batch dan melakukan operasi seperti Terminate, Rerun, Set to Successful, Change Resource Group, Freeze, Unfreeze, dan Export Query Results.
Items per page	Di area 5 pada gambar di atas, Anda dapat mengubah jumlah item yang ditampilkan per halaman. Maksimal 200 item dapat ditampilkan per halaman.

DAG instans pengujian

Di tampilan daftar, klik nama Test Instance atau klik DAG di kolom Actions untuk membuka DAG instans tersebut. Anda dapat mengklik kanan instans di DAG untuk melakukan operasi terkait. DAG diagram

Fitur	Deskripsi
Fitur panel DAG	Klik DAG di samping task untuk membuka DAG-nya. Anda dapat melakukan operasi berikut di DAG: Search: Di area 1 pada gambar di atas, Anda dapat menyaring instans berdasarkan Node Name, Node ID, Instance ID, Instance Name, dan lainnya. Select DAG Display Style: Di area 2 pada gambar di atas, Anda dapat mengklik ikon fitur di pojok kanan atas tampilan DAG untuk menyesuaikan gaya tampilan sesuai kebutuhan. Dari kiri ke kanan: Open Map/Close Map, Show Alert Status/Hide Alert Status, Update Node Status, Zoom In DAG canvas, Zoom Out DAG canvas, 1:1 layout ratio between nodes and canvas, Auto Fit Screen berdasarkan ukuran jendela saat ini, dan Toggle Full Screen View toggle.
Operasi instans tunggal	Klik kanan node target untuk melakukan operasi terkait. View Code: Digunakan untuk memverifikasi kode node saat ini di lingkungan produksi. Jika kode tidak sesuai ekspektasi, periksa apakah versi terbaru node telah berhasil dideploy. Edit Node: Klik untuk membuka halaman Data Studio dan membuka node saat ini. Catatan Untuk operasi lainnya, lihat Lihat daftar instans pengujian.
Detail instans tunggal	Di area 4 pada gambar di atas, Anda dapat melakukan operasi berikut: View Log Data: Setelah task mulai dijalankan, Anda dapat melihat proses eksekusi detailnya di log waktu proses. Untuk deskripsi parameter kunci dalam log, lihat Parameter log waktu proses. Show Details: Digunakan untuk melihat informasi tentang task saat ini, termasuk properti, konteks, log waktu proses, log operasi, dan kode. Untuk informasi selengkapnya, lihat Lihat detail instans.

Lihat detail instans

Di tampilan DAG, klik instans target. Di jendela yang muncul di pojok kanan bawah, klik Show Details. Halaman detail instans akan muncul, tempat Anda dapat melihat informasi detail instans saat ini, termasuk properti, konteks, log waktu proses, log operasi, dan kode.

View instance details

Fitur	Deskripsi
General	Di tab ini, Anda dapat melihat properti penjadwalan task di lingkungan produksi. Untuk deskripsi parameter pada halaman, lihat Konfigurasi pengaturan penjadwalan. Interpretasi status task: Status task berkaitan dengan eksekusi task. Jika task berada dalam status belum dijalankan, menunggu waktu, menunggu sumber daya, atau beku, lihat Troubleshoot masalah status task untuk troubleshooting. Waktu tunggu sumber daya: Jika task telah lama menunggu sumber daya, Anda dapat menggunakan fitur diagnosis cerdas untuk mengidentifikasi task mana yang sedang menggunakan sumber daya saat task saat ini dijalankan, dan dengan cepat menemukan task abnormal untuk troubleshooting. Durasi berlebihan: Jika durasi task jauh lebih lama dibandingkan eksekusi historis, rujuk skenario berikut untuk troubleshooting. Task non-sinkronisasi: Hubungi penanggung jawab mesin komputasi terkait. Task sinkronisasi batch: Fase tertentu dari task mungkin berjalan lambat atau task terjebak dalam status menunggu sumber daya yang berkepanjangan. Untuk informasi selengkapnya, lihat Troubleshoot task sinkronisasi batch. Aturan pemantauan: Anda dapat melihat aturan pemantauan yang terkait dengan instans saat ini. Klik Create di sisi kanan untuk membuat aturan pemantauan status eksekusi task secara cepat. Untuk informasi selengkapnya, lihat Buat aturan pemantauan. Catatan Hanya aturan pemantauan untuk status eksekusi task yang dapat dilihat di sini. Aturan pemantauan Kualitas Data tidak didukung. Pemantauan garis dasar: Anda dapat melihat garis dasar yang terkait dengan instans saat ini. Klik Create di sisi kanan untuk membuat garis dasar secara cepat. Untuk informasi selengkapnya, lihat Kelola garis dasar. Jumlah maksimum instans konkuren: Menampilkan jumlah maksimum instans konkuren yang dikonfigurasi untuk task. Nilainya adalah Tanpa Batas atau angka tertentu (1 hingga 10000). Pengaturan ini membatasi jumlah maksimum instans dari task yang sama yang dapat dijalankan secara bersamaan. Batasan ini berlaku untuk instans terjadwal, instans backfill, dan instans pengujian.
Runtime Log	Setelah task mulai dijalankan, Anda dapat melihat proses eksekusi detailnya di log waktu proses. Untuk deskripsi parameter kunci dalam log, lihat Parameter log waktu proses.
Operation Log	Digunakan untuk melihat catatan operasi task atau instans, termasuk waktu, operator, dan operasi spesifik.
Code	Digunakan untuk melihat kode terbaru task saat ini di lingkungan produksi. Jika kode tidak sesuai ekspektasi, periksa apakah versi terbaru task telah berhasil dideploy. Untuk informasi selengkapnya, lihat Deploy node.

Troubleshoot masalah eksekusi task

Jika task tidak berjalan sesuai ekspektasi, Anda dapat menggunakan fitur diagnosis cerdas untuk mendiagnosis alasan task tidak dijalankan atau mengidentifikasi masalah.