Setelah mengonfigurasi sebuah task, Anda dapat mengelolanya serta melihat metrik eksekusinya. Topik ini menjelaskan operasi manajemen umum untuk task sinkronisasi penuh dan inkremental.
Kelola task sinkronisasi penuh dan inkremental
Setelah mengonfigurasi task sinkronisasi, Anda dapat melihat daftar task tersebut di halaman . Anda dapat memfilter task berdasarkan kriteria tertentu dan melakukan operasi berikut:
Operasi | Deskripsi |
Start | Pada kolom Operation, klik Commit and Run untuk memulai task sinkronisasi. |
Edit | Saat kebutuhan bisnis berubah, Anda dapat menambahkan atau menghapus tabel dari task sinkronisasi penuh dan inkremental. Pada kolom Operation, klik untuk membuka halaman konfigurasi tempat Anda dapat menambah atau menghapus tabel. Setelah selesai, klik Commit and Run. Saat Anda melakukan commit task, sistem akan membandingkan daftar tabel saat ini dengan daftar dari eksekusi terakhir yang berhasil. Jika sistem mendeteksi adanya tabel baru, tabel tersebut akan ditambahkan ke proses sinkronisasi. Untuk informasi lebih lanjut, lihat Tambah atau hapus tabel sumber dari solusi sinkronisasi yang sedang berjalan. Jika Anda menggunakan sinkronisasi real-time satu klik, tabel baru terlebih dahulu memerlukan Full Initialization. Setelah inisialisasi selesai, sistem akan menambahkan tabel tersebut ke task Real-time Data Synchronization dan memulainya.
Catatan Saat task Real-time Data Synchronization mengatur ulang posisi awalnya dan dijalankan kembali, task tersebut akan menambahkan change data untuk tabel baru tersebut. Waktu mulai task diatur ulang ke waktu ketika Full Initialization tabel baru dimulai. Misalnya, sebuah task sinkronisasi dimulai pukul 08.00 dan masih berjalan pada pukul 09.00. Pada pukul 09.00, sebuah tabel baru ditambahkan. Full Initialization untuk tabel baru ini dimulai pukul 09.00 dan memakan waktu satu jam, sehingga selesai pada pukul 10.00. Task Real-time Data Synchronization yang sedang berjalan kemudian berhenti, mengatur ulang posisi awalnya ke pukul 09.00, lalu mulai menambahkan data inkremental. Proses ini menyinkronisasi ulang semua perubahan data inkremental untuk seluruh tabel antara pukul 09.00 hingga 10.00 ke tabel Hologres target. Proses ini menjamin konsistensi data akhir (eventual data consistency). Jika Anda perlu menginisialisasi ulang semua tabel, gunakan fitur Rerun.
|
Rerun | Dalam kasus khusus, seperti data sumber yang rusak atau gangguan pada tautan data, Anda dapat memaksa inisialisasi penuh dan inkremental untuk semua tabel sumber. Pada kolom Operation, klik . Operasi ini memigrasikan ulang data sumber ke tabel target untuk memulihkan integritas data secara cepat. Skenario umum yang memerlukan rerun untuk memulihkan data seluruh database meliputi: Task real-time gagal dalam periode yang lama, sehingga Binary Log telah dipurge dan pemulihan data inkremental tidak memungkinkan. Kolom baru tidak ada di tabel target karena berbagai alasan. Data di tabel target hilang atau salah karena berbagai alasan.
Penting Rerun paksa menyinkronkan kolom dari tabel sumber ke tabel target. Jika tabel target kehilangan kolom dari sumber, proses ini akan menambahkannya. Sebelum menjalankan rerun, periksa potensi konflik dengan instans Incremental Merge task yang sedang berjalan atau dijadwalkan. Jika kedua task tersebut berjalan bersamaan dengan Business Date yang sama, data di partisi atau tabel bisa saling menimpa. Anda dapat memeriksa status instans Incremental Merge task di halaman View auto triggered instances di Operation Center DataWorks. Jika terjadi konflik, Anda dapat melakukan salah satu langkah berikut: Jeda operasi rerun dan tunggu hingga task Incremental Merge selesai sebelum mencoba lagi. Freeze instans Incremental Merge yang akan datang. Setelah rerun berhasil, lanjutkan kembali instans tersebut.
Setelah rerun selesai, jika sistem tidak menghasilkan data hari berikutnya atau task Incremental Merge tidak dilanjutkan secara otomatis, Anda harus memeriksa dan melanjutkan instans Incremental Merge secara manual:
|
Full Data Backfill | Gunakan fitur ini ketika data di tabel target MaxCompute hilang atau salah, dan Anda perlu melakukan resinkronisasi penuh untuk mengisi ulang data tersebut.
Catatan Full Data Backfill hanya tersedia untuk task penuh dan inkremental yang menyinkronkan seluruh database. Full Data Backfill tidak tersedia untuk task sinkronisasi yang menggunakan sharding database dan tabel.
Pada kolom Operation, klik Backfill all data dan konfigurasikan parameter berikut: Pilih Business Date untuk pengisian ulang data. Untuk tabel partisi, proses ini akan menyinkronkan data penuh ke partisi tanggal yang sesuai dengan Business Date yang ditentukan. Pilih tabel target untuk pengisian ulang. Pada kotak pilihan di sebelah kiri, pilih tabel yang akan disinkronkan secara penuh, lalu klik ikon  untuk memindahkannya ke kanan. Klik OK untuk memulai operasi Full Data Backfill.
Penting Anda hanya dapat memilih satu Business Date dalam satu waktu. Untuk mengisi ulang data beberapa hari, Anda harus menjalankan operasi Full Data Backfill beberapa kali. Proses ini menyalin kolom umum antara tabel sumber dan target, serta kolom tambahan apa pun yang didefinisikan dalam task sinkronisasi penuh dan inkremental. Sebelum memulai Full Data Backfill, periksa apakah Business Date yang ditentukan berpotensi bentrok dengan instans Incremental Merge task yang sedang berjalan atau dijadwalkan. Jika keduanya berjalan bersamaan dengan Business Date yang sama, data di partisi atau tabel bisa saling menimpa. Anda dapat memeriksa status instans Incremental Merge task di halaman View auto triggered instances di Operation Center DataWorks. Jika terjadi konflik, Anda dapat melakukan salah satu langkah berikut: Jeda operasi Full Data Backfill dan tunggu hingga task Incremental Merge selesai sebelum mencoba lagi. Freeze instans Incremental Merge yang akan datang. Setelah Full Data Backfill selesai, lanjutkan kembali instans tersebut.
|
Stop | Untuk task yang sedang berjalan, Anda dapat mengklik Stop di kolom Operation untuk menghentikannya. |
Lihat detail eksekusi task
Klik nama task untuk melihat detail eksekusinya.
Di halaman daftar task, Anda dapat melihat informasi dasar dan status eksekusi terkini setiap task.
Status eksekusi task mencakup empat tahap: Schema Migration, Full Initialization, Real-time Data Synchronization, dan Incremental Merge. Anda dapat menggunakan bilah progres untuk melihat tahap saat ini serta detail eksekusi subtask yang dihasilkan pada setiap tahap.
Task Incremental Merge merupakan Scheduled Task. Anda dapat mengklik namanya untuk menuju ke Operation Center dan melihat Periodic Instance yang sesuai.