Setelah Anda meng-commit dan menerapkan tugas sinkronisasi batch ke lingkungan produksi, gunakan Operation Center untuk menjadwalkan, memantau, dan memecahkan masalahnya. Topik ini mencakup operasi O&M yang tersedia untuk node sinkronisasi batch: menjalankan, menangguhkan, dan melanjutkan penjadwalan; pengisian ulang data historis; menyiapkan alert; mengelola kelompok sumber daya; memantau kualitas data; serta membaca log eksekusi.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Membuat, menerapkan, dan menjalankan tugas sinkronisasi batch sesuai harapan. Untuk informasi selengkapnya, lihat Konfigurasikan tugas sinkronisasi batch menggunakan Antarmuka tanpa kode dan Konfigurasikan tugas sinkronisasi batch menggunakan editor kode.
Sebelum Anda mulai
Tinjau batasan berikut sebelum melakukan operasi O&M pada tugas sinkronisasi batch.
Persyaratan kelompok sumber daya
Tugas sinkronisasi batch dikeluarkan ke kelompok sumber daya untuk Data Integration melalui kelompok sumber daya untuk penjadwalan. Kedua kelompok sumber daya tersebut diperlukan untuk eksekusi. Jika Anda menggunakan Grup sumber daya eksklusif untuk penjadwalan, biaya instans penjadwalan akan dikenakan. Untuk informasi selengkapnya, lihat Ikhtisar.
Setelah men-deploy Node sinkronisasi Batch, buka halaman Auto Triggered Nodes di Operation Center (lingkungan produksi) untuk memverifikasi bahwa kode node dan kelompok sumber daya untuk penjadwalan serta Data Integration telah dikonfigurasi dengan benar.
Isolasi sumber data (ruang kerja mode standar)
Ruang kerja dalam mode standar mengisolasi sumber data antar lingkungan:
Sebelum penerapan: tugas mengakses database lingkungan pengembangan secara default.
Setelah penerapan: tugas mengakses database lingkungan produksi secara default.
Untuk informasi selengkapnya, lihat Isolasi sumber data di lingkungan pengembangan dan produksi.
Lingkup topik ini
Operasi O&M untuk tugas sinkronisasi batch sama dengan tugas auto triggered lainnya. Topik ini mencakup operasi umum. Untuk referensi lengkap, lihat Lakukan operasi O&M dasar pada tugas auto triggered.
Jadwalkan dan kelola tugas
DataWorks menghasilkan instans auto triggered untuk tugas sinkronisasi batch yang telah diterapkan berdasarkan parameter Instance Generation Mode yang dikonfigurasi pada tab Properties di DataStudio. Sistem penjadwalan menjalankan instans tersebut secara otomatis. Anda juga dapat menjalankan tugas secara manual untuk pengujian atau pengisian ulang data.
| Operasi | Deskripsi |
|---|---|
| Jalankan tugas | Setelah penerapan, sistem penjadwalan menjalankan instans secara otomatis. Lihat status instans pada halaman Auto Triggered Instances di Operation Center. Untuk eksekusi manual, hasilkan instans uji atau instans pengisian ulang data. |
| Bekukan tugas | Di halaman Auto Triggered Nodes, bekukan tugas yang dipicu otomatis untuk menangguhkan penjadwalan. Tugas yang dibekukan beserta seluruh tugas turunannya tidak dapat dijalankan. Untuk menangguhkan instans tertentu dan instans turunannya tanpa memengaruhi jadwal tingkat tugas, bekukan instans yang dipicu otomatis tersebut. |
| Batalkan pembekuan tugas | Pada halaman Auto Triggered Instances, batalkan pembekuan tugas auto triggered untuk melanjutkan penjadwalan. Instans yang sebelumnya dibekukan bersama tugas tersebut akan dilanjutkan eksekusinya. Untuk menjalankan instans auto triggered tertentu yang dibekukan beserta instans downstream-nya, batalkan pembekuan instans auto triggered tersebut. |
Apakah tugas dijalankan pada hari ini setelah penerapan tergantung pada konfigurasi Instance Generation Mode. Untuk informasi selengkapnya, lihat Mode penerapan instans.
Pengisian ulang data historis
Gunakan pengisian ulang data untuk menyinkronkan data dari rentang waktu historis ke tabel atau partisi tujuan tertentu. Hal ini diperlukan ketika Anda perlu menulis data inkremental dan data historis ke partisi yang sama.
Saat pengisian ulang dijalankan, sistem memberikan nilai yang Anda tentukan untuk parameter Data Timestamp ke variabel parameter penjadwalan yang sesuai, sehingga setiap instans pengisian ulang memproses irisan waktu historis yang tepat.
Untuk petunjuk menjalankan pengisian ulang dan melihat instans pengisian ulang, lihat Pengisian ulang data dan lihat instans pengisian ulang data (versi baru).
Siapkan alert
Buat aturan alert pada halaman Rule Management untuk menerima notifikasi saat tugas memasuki status tertentu. Untuk membuka Rule Management, buka Operation Center, lalu pilih Alarm > Rule Management di panel navigasi kiri.
Alert dipicu ketika tugas mencapai salah satu status berikut:
| Alert state | Description |
|---|---|
| Completed | Instans task selesai dengan sukses. |
| Uncompleted | Instans task tidak selesai dalam jendela waktu yang dijadwalkan. |
| Error | Instans task gagal. |
| Overtime | Instans task melebihi durasi maksimum eksekusi yang dikonfigurasi. |
Untuk informasi selengkapnya, lihat Ikhtisar.
Kelola kelompok sumber daya
Pantau penggunaan kelompok sumber daya
Di halaman Resource di Operation Center, lihat penggunaan kelompok sumber daya yang menjalankan node Anda. Jika log eksekusi menunjukkan waktu tunggu antrian yang lama, pertimbangkan untuk beralih ke kelompok sumber daya dengan kapasitas lebih besar. Untuk informasi selengkapnya, lihat Resource O&M.
Ubah kelompok sumber daya
Sebelum mengubah kelompok sumber daya, verifikasi bahwa koneksi jaringan telah dibuat antara kelompok sumber daya baru dan semua sumber data yang diperlukan. Node akan gagal dijalankan jika koneksi jaringan tidak tersedia.
Anda dapat mengubah kelompok sumber daya untuk satu atau beberapa tugas baik dari lingkungan produksi maupun pengembangan.
| Lingkungan | Lingkup | Titik Masuk |
|---|---|---|
| Produksi | Beberapa tugas sekaligus | Buka Operation Center > Auto Triggered Node O&M > Auto Triggered Nodes. Pilih tugas yang diinginkan, lalu klik Modify Data Integration Resource Group di bagian bawah halaman. |
| Pengembangan | Satu tugas | Di DataStudio, buka tab konfigurasi tugas dan klik Resource Group configuration di panel navigasi kanan. |
| Pengembangan | Beberapa tugas sekaligus | Di DataStudio, klik ikon di bilah alat. Pada tab Node, pilih tugas-tugas tersebut, klik More, lalu pilih Change Resource Group for Data Integration. |
Setelah mengubah kelompok sumber daya di lingkungan pengembangan, commit dan terapkan ulang tugas ke lingkungan produksi.
Pantau kualitas data
Di halaman Data Quality, konfigurasikan aturan pemantauan untuk tabel tujuan. Aturan dipicu setelah node penjadwalan terkait berhasil dijalankan. Jika terdeteksi anomali kualitas data, Data Quality dapat menggagalkan tugas dan memblokir tugas downstream berdasarkan jenis aturan, sehingga mencegah propagasi data kotor ke downstream.
Pastikan koneksi jaringan telah dibuat antara kelompok sumber daya untuk penjadwalan dan tujuan sebelum mengonfigurasi aturan pemantauan kualitas data.
Untuk tujuan yang mendukung aturan pemantauan dan petunjuk penggunaan Data Quality, lihat Ikhtisar.
Lihat log eksekusi
Setelah instans auto triggered, instans pengisian ulang data, atau instans uji selesai, lihat log eksekusinya di halaman DAG di Operation Center. Untuk informasi selengkapnya, lihat Lampiran: Gunakan fitur-fitur yang tersedia dalam DAG.
Untuk referensi parameter log, lihat Analisis log eksekusi yang dihasilkan untuk tugas sinkronisasi batch.
Lihat statistik sinkronisasi
Di halaman O&M Dashboard di Operation Center, buka tab Data Integration dan klik subtab Batch Synchronization. Subtab ini menampilkan:
Distribusi status eksekusi node
Progres sinkronisasi data
Volume data yang disinkronkan
Detail tugas sinkronisasi individual
Filter tugas berdasarkan Source Name, Destination Name, atau Whether Internet Traffic Exists.
Untuk informasi selengkapnya, lihat Lihat statistik pada halaman O&M Dashboard.
Gunakan LogView
LogView sedang dalam pratinjau undangan. Untuk menggunakan fitur ini, hubungi dukungan teknis.
LogView mengumpulkan data berbasis event tentang tugas sinkronisasi, menganalisis kinerja, dan menampilkan hasilnya secara visual. Gunakan fitur ini untuk memeriksa laju transmisi data dan log dengan granularitas lebih detail dibandingkan log eksekusi standar.
Untuk mengakses LogView:
Di Operation Center, pilih Auto Triggered Node O&M > Auto Triggered Instances.
Di tab Instance Perspective, temukan instans tersebut dan klik Perform Diagnostics di kolom Actions.
Di halaman yang muncul, klik tab Data Integration. Untuk informasi selengkapnya tentang diagnosis cerdas, lihat Intelligent diagnosis.
Tab Data Integration berisi tiga subtab:
| Subtab | Deskripsi |
|---|---|
| Logs | Lihat output log detail untuk tugas sinkronisasi. |
| Progress | Lihat metrik sinkronisasi: catatan yang disinkronkan, byte yang disinkronkan, laju sinkronisasi catatan, dan laju sinkronisasi byte. Filter berdasarkan rentang waktu untuk meninjau data dari 15 hari terakhir. Klik nilai metrik untuk melihat trennya dalam grafik. |
| Instance Overview | Tersedia hanya untuk instans auto triggered. Bandingkan laju sinkronisasi, catatan yang disinkronkan, waktu tunggu, dan durasi sinkronisasi di berbagai instans dalam siklus yang sama. |