Setelah Anda mengembangkan tugas di DataStudio dan menerbitkannya ke lingkungan produksi, buka Operation Center untuk mengelola tugas sinkronisasi batch, memantau statusnya, mengubah kelompok sumber daya, serta melihat log eksekusi. Topik ini menjelaskan operasi O&M umum untuk tugas sinkronisasi batch.
Ikhtisar
-
O&M untuk tugas sinkronisasi batch sama dengan tugas yang dipicu otomatis lainnya. Topik ini menggunakan tugas sinkronisasi batch sebagai contoh. Untuk informasi selengkapnya tentang O&M tugas yang dipicu otomatis, lihat Lakukan operasi O&M dasar pada tugas yang dipicu otomatis.
-
Ruang kerja dalam mode standar mendukung isolasi lingkungan sumber data. Sumber data dengan nama yang sama dapat memiliki dua konfigurasi terpisah untuk lingkungan pengembangan dan produksi. Anda dapat menyiapkan dua database atau instans yang berbeda. Hal ini mengisolasi operasi data selama penjadwalan pengujian dan produksi, sehingga menjamin keamanan data produksi Anda.
Akses Operation Center
Masuk ke Konsol DataWorks, alihkan ke Wilayah target, lalu di panel navigasi kiri, pilih . Pilih ruang kerja Anda dari daftar drop-down dan klik Operation Center.
Jadwalkan dan kelola tugas
Sinkronisasi batch mengandalkan kemampuan penjadwalan kuat dari DataWorks untuk menjalankan tugas secara otomatis dalam periode tertentu. Anda dapat menggunakan parameter penjadwalan DataWorks untuk menulis data inkremental maupun penuh ke partisi tertentu dari tabel tujuan. O&M untuk tugas sinkronisasi batch sama dengan tugas yang dipicu otomatis lainnya. Tugas tersebut dapat dijalankan secara manual atau dipicu otomatis sesuai jadwal.
|
Tindakan |
Deskripsi |
|
Jalankan tugas sinkronisasi batch |
Setelah men-deploy tugas, buka halaman Auto Triggered Task di untuk melihatnya. Sistem penjadwalan akan menjalankan tugas secara otomatis berdasarkan konfigurasi jadwalnya. Anda juga dapat memicu tugas tersebut secara manual.
|
|
Tangguhkan tugas sinkronisasi batch |
Di halaman Auto Triggered Task, Anda dapat menangguhkan tugas. Hal ini menghentikan tugas yang dipicu otomatis agar tidak berjalan untuk sementara waktu dan memblokir node downstream-nya agar tidak dieksekusi. Catatan
Menjalankan tugas yang dipicu otomatis akan menghasilkan sebuah instance. Jika instance tersebut dan instance downstream-nya tidak perlu dijalankan, Anda dapat menangguhkan instance tersebut. |
|
Lanjutkan tugas sinkronisasi batch |
Di halaman Auto Triggered Task, Anda dapat melanjutkan tugas yang ditangguhkan. Setelah dilanjutkan, tugas tersebut akan berjalan sesuai jadwal normalnya. Catatan
Instance yang dihasilkan dari tugas yang dipicu otomatis yang ditangguhkan juga akan berada dalam status ditangguhkan. Jika Anda perlu menjalankan instance yang ditangguhkan beserta instance downstream-nya, Anda dapat melanjutkan instance tersebut. |
Isi ulang data historis
Dengan menggabungkan parameter penjadwalan dan fitur pengisian ulang data, Anda dapat menggunakan satu konfigurasi tugas DataWorks untuk melakukan sinkronisasi massal data historis ke tabel atau partisi tertentu di database atau gudang data tujuan. Jika tugas Anda dikonfigurasi untuk sinkronisasi inkremental dan Anda perlu mengisi ulang data historis ke partisi target, Anda dapat menggunakan fitur pengisian ulang data. Parameter penjadwalan akan secara otomatis diganti dengan nilai spesifik berdasarkan tanggal bisnis yang dikonfigurasi untuk pengisian ulang data. Untuk informasi selengkapnya tentang penggunaan fitur pengisian ulang data, lihat Kelola instance pengisian ulang data.
Pantau status tugas
Anda dapat membuka untuk mengonfigurasi aturan pemantauan status tugas. Status tersebut mencakup Completed, Not Completed, Error, dan Timeout. Untuk informasi selengkapnya, lihat Ikhtisar pemantauan cerdas.
O&M kelompok sumber daya
-
Pantau kelompok sumber daya: Di Operation Center, Anda dapat memantau penggunaan kelompok sumber daya yang digunakan untuk menjalankan tugas. Untuk informasi selengkapnya, lihat O&M sumber daya.
-
Ganti kelompok sumber daya: Anda dapat mengganti kelompok sumber daya tugas dengan cara berikut.
CatatanSebelum mengganti kelompok sumber daya, pastikan kelompok sumber daya baru dapat terhubung ke sumber data. Hal ini mencegah kegagalan tugas akibat masalah jaringan.
Lingkungan
Operasi yang didukung
Titik masuk UI
Ganti kelompok sumber daya di lingkungan produksi
Pengalihan Massal
Buka halaman .
Pilih tugas yang ingin Anda ubah kelompok sumber dayanya, lalu klik Change Resource Group for Data Integration di bilah alat bawah untuk melakukan modifikasi batch.
Ganti kelompok sumber daya di lingkungan pengembangan
CatatanSetelah mengganti kelompok sumber daya di lingkungan pengembangan, Anda harus melakukan commit dan menerbitkan ulang tugas ke lingkungan produksi.
-
Beralih ke tugas tunggal
-
Alihkan Massal
Buka halaman DataStudio.
-
Ganti untuk satu tugas
Buka halaman editor node target untuk mengubah kelompok sumber daya. Di bagian Resource Group configuration, atur Resource group menjadi dwGroup (10 CU, subscription) dan atur Resource usage (CU) menjadi
1 CU. Klik Connectivity test dan pastikan MaxCompute menampilkan status Connected baik untuk Source maupun Destination. -
Penggantian batch
Klik ikon
, pilih tugas yang ingin Anda ubah kelompok sumber dayanya, lalu klik Change Resource Group for Data Integration di bilah alat bawah untuk melakukan modifikasi batch.
-
Pantau kualitas data tabel
Untuk beberapa sumber data tujuan, Data Integration mendukung konfigurasi pemantauan Kualitas Data untuk tabel output. Anda dapat membuka halaman aturan kualitas data untuk mengonfigurasi aturan pemeriksaan Kualitas Data untuk tabel target tempat data ditulis. Untuk tabel yang memiliki aturan pemantauan, pemeriksaan Kualitas Data akan dipicu setelah node penjadwalan terkait selesai berjalan. Berdasarkan tingkat keparahan aturan dan hasil pemeriksaan, platform DataWorks menentukan apakah tugas gagal dan memblokir node downstream. Hal ini mencegah data kotor memengaruhi proses downstream. Untuk memeriksa apakah sumber data tujuan mendukung pemantauan Kualitas Data dan informasi selengkapnya tentang penggunaannya, lihat Ikhtisar Kualitas Data.
Saat mengonfigurasi aturan Kualitas Data untuk tabel yang dihasilkan oleh tugas sinkronisasi batch, pastikan kelompok sumber daya penjadwalan yang digunakan oleh tugas dapat terhubung ke sumber data target.
Lihat log eksekusi
Buka Operation Center. Setelah instance yang dipicu otomatis, instance pengisian ulang data, atau instance pengujian selesai, Anda dapat melihat Operational Logs tugas tersebut di panel DAG instance. Untuk informasi selengkapnya, lihat Lampiran: Fitur DAG.
Untuk informasi selengkapnya tentang parameter dalam log, lihat Analisis log tugas sinkronisasi batch.
Lihat Dasbor Sinkronisasi Batch
Anda juga dapat membuka halaman untuk melihat metrik seperti distribusi status eksekusi, progres sinkronisasi data, statistik volume data yang disinkronkan, dan detail tugas sinkronisasi. Anda dapat menyaring tugas berdasarkan sumber, tujuan, dan apakah lalu lintas jaringan publik dihasilkan. Untuk informasi selengkapnya, lihat Lihat Dasbor O&M.
Gunakan LogView
LogView untuk Data Integration mengumpulkan, menganalisis, dan memvisualisasikan informasi detail halus tentang tugas sinkronisasi, seperti laju sinkronisasi dan log, untuk menganalisis proses sinkronisasi secara lebih mendalam.
-
Di Operation Center, temukan instance tugas offline yang sedang berjalan, lalu klik Perform Diagnosis. Di halaman Instance View, pada daftar instance, temukan tugas target, lalu klik Run Diagnosis di kolom Actions.
-
Di halaman Intelligent Diagnosis, klik tab untuk melihat analisis log error dari model bahasa besar guna membantu troubleshooting.
Area hasil Intelligent Diagnosis menyediakan analisis dari tiga model besar: Qwen, DeepSeek, dan DataWorks Knowledge Base. Area ini menampilkan Key Error Logs, Error Analysis, Recommended Solution, dan Quick Actions (termasuk Edit Code, Rerun, dan Go to Data Map). Indikator alur status di bagian atas halaman menunjukkan status setiap tahap: Upstream Dependency, Scheduled Time, Scheduling Resource, dan Task Execution.
Parameter
Deskripsi
Logs
Di halaman Logs, Anda dapat melihat log detail untuk tugas sinkronisasi Data Integration.
Progress
Di halaman Progress, Anda dapat melihat informasi progres detail untuk tugas sinkronisasi Data Integration. Informasi ini mencakup Synchronized Data Records, Synchronized Bytes, Synchronization Rate for Synchronized Data Records, dan Synchronization Rate for Synchronized Bytes.
Anda juga dapat melakukan operasi berikut di halaman ini:
-
Gunakan filter waktu untuk melihat informasi sinkronisasi dalam periode tertentu.
CatatanAnda dapat melihat detail hingga 15 hari terakhir.
-
Di sebelah kanan daftar proses, klik ikon
untuk menampilkan lebih banyak kolom. Di dialog pengaturan kolom, Anda dapat memilih metrik pemantauan yang akan ditampilkan, termasuk Subtask ID, Start Time, Synchronized Records, Average Record Sync Rate, Average Byte Sync Rate, Execution Machine, Average GC Duration, GC Count, Status, End Time, Duration, Reader Wait Time, Writer Wait Time, dan Dirty Record Count. -
Di daftar proses, klik metrik tertentu untuk melihat grafik tren-nya.
Instance Overview
Jika instance tersebut merupakan instance yang dipicu otomatis, Anda dapat melihat perbandingan detailnya di berbagai siklus dan dimensi di halaman Instance Overview.
-
Di daftar Task List, Anda dapat melihat status tugas dan Instance ID-nya yang sesuai. Klik Instance ID untuk melihat detail tugas.
-
Anda juga dapat menggunakan grafik batang untuk membandingkan perbedaan antar instance dalam hal Sync Rate, Synchronized Data Records, Waiting time, dan Synchronization Duration.
-
Langkah berikutnya: Kualitas data dan tuning performa
Penanganan tugas yang macet di 0%
Jika progres tugas sinkronisasi database penuh tetap di 0%, selidiki penyebab potensial berikut satu per satu.
-
Periksa apakah tugas berada dalam status WAIT
Periksa status instance di Operation Center. Status WAIT berarti tugas sedang menunggu dependensi upstream selesai atau sumber daya penjadwalan tersedia. Progres tidak akan bertambah dalam status ini. Tugas akan mulai secara otomatis setelah dependensinya terpenuhi dan sumber daya tersedia.
-
Periksa apakah kelompok sumber daya memiliki CU yang cukup
Unit Komputasi (CU) yang tidak mencukupi dalam kelompok sumber daya dapat menyebabkan tugas masuk antrian. Periksa utilisasi CU di halaman pemantauan kelompok sumber daya. Jika utilisasi tersebut konsisten mendekati 100%, Anda perlu meningkatkan kapasitas kelompok sumber daya atau mengurangi jumlah tugas konkuren.
-
Periksa konektivitas jaringan
Masalah jaringan antara kelompok sumber daya dan sumber data dapat mencegah tugas sinkronisasi membaca atau menulis data. Jalankan uji konektivitas di halaman konfigurasi sumber data untuk memastikan bahwa sumber dan tujuan terhubung.
-
Periksa apakah subtugas telah dihasilkan dan sedang berjalan
Tugas sinkronisasi database penuh terdiri dari beberapa subtask. Di halaman Progress di LogView, periksa daftar subtask untuk memastikan subtask telah dibuat dan berada dalam status berjalan. Jika tidak ada subtask yang dibuat, verifikasi bahwa aturan pemilihan tabel dalam konfigurasi tugas sesuai dengan tabel sumber.