Setelah membuat node sinkronisasi real-time di DataStudio dan men-deploy-nya ke lingkungan produksi, jalankan serta pantau node tersebut di Operation Center. Topik ini menjelaskan operasi Operations and Maintenance (O&M) umum untuk node sinkronisasi real-time, termasuk cara memulai dan menghentikan node, mengonfigurasi alerting, melihat metrik yang sedang berjalan, serta memodifikasi konfigurasi node.
Prasyarat
Sebelum memulai, pastikan Anda telah:
-
Membuat dan men-deploy node sinkronisasi real-time. Untuk informasi lebih lanjut, lihat Buat tugas sinkronisasi real-time di DataStudio dan Konfigurasikan node sinkronisasi real-time untuk menyinkronkan semua data inkremental dari database.
Jalankan dan kelola node
Pada halaman Real Time DI di Operation Center, mulai, hentikan, atau undeploy node sinkronisasi real-time.
Untuk membuka halaman Real Time DI: login ke Konsol DataWorks, buka Operation Center, lalu pilih Real-Time Node O&M > Real-time Synchronization Nodes di panel navigasi sebelah kiri.
Untuk langkah-langkah detail, lihat Kelola tugas sinkronisasi real-time.
Opsi mulai
Saat Anda mengklik Start di kolom Operation, konfigurasikan opsi berikut:
|
Option |
Description |
|
Offset |
Lanjutkan sinkronisasi data dari posisi tertentu. Mendukung sinkronisasi data yang dapat dilanjutkan dan unggah dari offset tertentu. |
|
Failovers |
Tetapkan jumlah maksimum failover yang diizinkan dalam periode tertentu. Jika ambang batas terlampaui, node akan berhenti secara otomatis untuk mencegah habisnya sumber daya akibat restart berulang. Jika tidak ada ambang batas yang dikonfigurasi, node akan berhenti secara otomatis ketika jumlah failover melebihi 100 dalam waktu 5 menit. |
Konfigurasikan alerting
Siapkan alerting untuk mendeteksi error sebelum menyebabkan keterlambatan output data.
Untuk membuka pengaturan peringatan: di Operation Center, pilih Real-Time Node O&M > Real-time Synchronization Nodes, temukan node tersebut, lalu klik Alarm settings di kolom Operation.
Untuk langkah-langkah detail, lihat Kelola tugas sinkronisasi real-time.
Kondisi peringatan
Konfigurasikan peringatan berdasarkan salah satu kondisi berikut:
|
Condition |
Description |
|
Node status |
Memicu peringatan ketika status node berubah secara tidak terduga. |
|
Business delay |
Memicu peringatan ketika latensi sinkronisasi data melebihi ambang batas. |
|
Failover |
Memicu peringatan ketika node mengalami failover. |
|
DDL synchronization |
Memicu peringatan ketika perubahan operasi DDL terdeteksi pada sumber. |
Dukungan sinkronisasi DDL bervariasi tergantung jenis tujuan. Jika tujuan Anda tidak mendukung sinkronisasi perubahan DDL dan Anda mengonfigurasi aturan peringatan berbasis DDL, error terkait mungkin dilaporkan selama eksekusi node. Untuk operasi DDL yang didukung, lihat Operasi DML dan DDL yang Didukung.
Metode notifikasi
Peringatan dapat dikirim melalui Email, text message, atau DingTalk.
Kontrol frekuensi peringatan
Untuk menghindari badai peringatan, konfigurasikan aturan kontrol frekuensi sehingga DataWorks hanya mengirim satu pemberitahuan peringatan dalam periode tertentu.
Lihat metrik node dengan LogView
LogView sedang dalam pratinjau undangan. Untuk menggunakan fitur ini, hubungi personel teknis.
LogView di Data Integration mengumpulkan data berbasis event dari node sinkronisasi, menganalisisnya, dan menampilkan hasilnya secara visual. Gunakan LogView untuk melihat laju transmisi data dan log dengan granularitas detail halus.
Untuk membuka LogView: di Operation Center, pilih RealTime Task > Real Time DI di panel navigasi sebelah kiri, temukan node tersebut, lalu klik nama node-nya.
Tab-tab berikut tersedia di halaman detail node:
|
Tab |
Description |
|
Log |
Lihat detail log dan cari log berdasarkan waktu. |
|
Progress |
Lihat progres sinkronisasi berdasarkan metrik: latensi bisnis, jumlah catatan yang disinkronkan, jumlah byte yang disinkronkan, laju transmisi data untuk catatan, laju transmisi data untuk byte, dan waktu tunggu jendela. |
|
Database DDL event |
Lihat catatan operasi DDL yang terdeteksi pada sumber. |
|
Database DML statistics |
Lihat hasil analisis statistik untuk tabel sumber dan tujuan. |
|
Failover |
Lihat status failover dan grafik kurva jumlah failover. Klik View di kolom Log Details untuk melihat log dari failover tertentu. |
Operasi tambahan pada tab Progress
Pada tab Progress:
-
Gunakan pemilih waktu untuk melihat detail sinkronisasi dalam rentang waktu tertentu. Data tersedia untuk 15 hari terakhir.
-
Klik ikon di sisi kanan node list untuk memilih kolom mana yang akan ditampilkan.
-
Beralih antara list of workers dan list of tasks di bagian daftar node:
-
List of workers: menampilkan thread yang menjalankan node. Dalam mode standar, satu worker berjalan. Dalam mode eksekusi terdistribusi, beberapa worker berjalan — jumlah tepatnya bergantung pada paralelisme yang dikonfigurasi.
-
List of tasks: menampilkan tugas reader dan tugas writer dalam setiap worker. Jumlah tugas per worker bergantung pada paralelisme yang dikonfigurasi.
-
-
Klik nilai metrik di daftar node untuk melihat perubahannya dari waktu ke waktu dalam grafik kurva.
Modifikasi konfigurasi node
Untuk memodifikasi konfigurasi node sinkronisasi real-time:
-
Hentikan node di halaman Real Time DI di Operation Center.
-
Buka DataStudio dan lakukan perubahan.
-
Commit dan redeploy node tersebut.
-
Mulai node di halaman Real Time DI.
Modifikasi aturan pemrosesan DDL
Sebelum memulai node sinkronisasi real-time, Anda dapat memodifikasi aturan pemrosesan pesan DDL. Untuk melakukannya:
-
Hentikan node di halaman Real Time DI di Operation Center.
-
Buka DataStudio dan perbarui aturan pemrosesan DDL. Untuk informasi lebih lanjut, lihat Konfigurasikan node sinkronisasi real-time untuk menyinkronkan semua data inkremental dari database.
-
Commit dan redeploy node tersebut.
-
Mulai node di halaman Real Time DI.
FAQ
Mengapa tugas sinkronisasi real-time saya memiliki latensi tinggi?