All Products
Search

This Product

    DataWorks:Sinkronisasi real-time satu tabel dari Hologres ke Hologres

    Document Center

    DataWorks:Sinkronisasi real-time satu tabel dari Hologres ke Hologres

    Last Updated:Aug 26, 2026

    Data Integration mendukung sinkronisasi real-time satu tabel ke Hologres dari sumber seperti DataHub, Hologres, Kafka, dan LogHub. Tugas sinkronisasi membaca data dari tabel Hologres sumber dan menuliskannya ke tabel tujuan dalam sumber data Hologres lainnya. Tabel tujuan dapat dibuat secara otomatis berdasarkan skema tabel sumber atau menggunakan tabel yang sudah ada yang Anda pilih.

    Batasan

    Batasan berikut berlaku untuk sinkronisasi real-time satu tabel dari Hologres ke Hologres:

    • Versi Hologres harus V2.1 atau lebih baru.

    • Sinkronisasi inkremental untuk tabel partisi Hologres tidak didukung.

    • Sinkronisasi pesan perubahan DDL pada tabel Hologres tidak didukung.

    • Sinkronisasi inkremental dari Hologres mendukung tipe data berikut:

      • INTEGER

      • BIGINT

      • TEXT

      • CHAR(n)

      • VARCHAR(n)

      • REAL

      • JSON

      • SERIAL

      • OID

      • INT4[]

      • INT8[]

      • FLOAT8[]

      • BOOLEAN[]

      • TEXT[]

    Prasyarat

    Prosedur

    Langkah 1: Pilih jenis tugas sinkronisasi

  • Masuk ke DataWorks console. Di wilayah target, klik Data Integration > Data Integration di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Integration.

    1. Di panel navigasi sebelah kiri, klik Synchronization Task. Di bagian atas halaman, klik Create Synchronization Task untuk membuka halaman pembuatan tugas sinkronisasi.

    2. Konfigurasikan informasi dasar berikut:

      • Data source and destination: Hologres → Hologres.

      • New Node Name: Masukkan nama kustom untuk tugas sinkronisasi.

      • Synchronization Method: Pilih Single-Table Real-Time.

      • Synchronization Mode: Pilih Full Sync.

    Langkah 2: Konfigurasi jaringan dan sumber daya

    1. Pada bagian Network and Resource Configuration, pilih Resource Group yang digunakan oleh tugas sinkronisasi. Anda dapat mengalokasikan CUs Task Resource Usage ke tugas tersebut.

    2. Untuk Source Information, pilih sumber data Hologres yang sudah ada. Untuk Destination, pilih sumber data Hologres yang sudah ada, lalu klik Test Connectivity.

    3. Setelah kedua sumber data (sumber dan tujuan) lolos uji konektivitas, klik Next.

    Langkah 3: Konfigurasi saluran sinkronisasi

    Konfigurasi sumber data Hologres

    Di bagian atas halaman, klik sumber data Hologres dan edit Holo source information.

    Hologres source configuration

    • Pada bagian Holo source information, pilih skema yang berisi tabel Hologres yang ingin Anda baca, lalu pilih tabel sumber.

    • Di pojok kanan atas, klik Data Sampling. Pada kotak dialog Output Preview, tentukan Number of Sample Records dan klik Start Sampling untuk mengambil sampel data dari sumber Hologres dan melihat pratinjau data tersebut.

      Data sampel ini menjadi masukan untuk konfigurasi pratinjau dan visualisasi data pada node pemrosesan data selanjutnya.

    Pratinjau output node pemrosesan data

    Klik ikon image untuk menambahkan metode pemrosesan data. Tersedia lima metode pemrosesan data: data masking, string replacement, data filtering, JSON parsing, dan field editing and assignment. Anda dapat mengatur urutan metode ini sesuai kebutuhan. Saat tugas dijalankan, data akan diproses secara berurutan sesuai konfigurasi.

    Setelah mengonfigurasi node pemrosesan data, klik tombol Output Preview di pojok kanan atas. Pada kotak dialog yang muncul, klik Retrieve Upstream Output untuk mensimulasikan hasil setelah node pemrosesan data saat ini memproses data sampel Hologres.

    Penting

    Pratinjau output data bergantung pada Data Sampling dari sumber Hologres. Selesaikan pengambilan sampel data pada formulir sumber Hologres sebelum menjalankan pratinjau output data.

    Konfigurasi sumber data Hologres tujuan

    Di bagian atas halaman, klik tujuan data Hologres dan edit Destination Information.

    Hologres destination configuration

    • Pada bagian Destination Information, pilih skema yang berisi tabel Hologres yang ingin Anda tulis, lalu tentukan apakah akan membuat tabel tujuan secara otomatis (Create tables automatically) atau menggunakan tabel yang sudah ada (Use Existing Table).

      • Jika tabel dibuat secara otomatis, tabel tujuan secara default menggunakan nama yang sama dengan tabel sumber. Anda dapat mengubah nama tabel tujuan secara manual.

      • Jika menggunakan tabel yang sudah ada, pilih tabel tujuan yang ingin Anda sinkronkan dari daftar drop-down.

  • (Opsional) Edit struktur tabel.

    Saat Anda memilih Create tables automatically, klik tombol Edit Table Schema untuk mengedit struktur tabel target pada kotak dialog. Anda juga dapat mengklik Regenerate Schema from Upstream Node untuk menghasilkan struktur tabel secara otomatis berdasarkan kolom output dari node hulu. Pada struktur yang dihasilkan, Anda dapat memilih kolom untuk ditetapkan sebagai primary key.

    Catatan

    Tabel target harus memiliki primary key. Jika tidak, Anda tidak dapat menyimpan konfigurasi.

    • Tentukan Job Type dan Write Conflict Policy.

      • Job Type:

        • Replay: Menyediakan pencermatan. Ketika sebuah record dimasukkan di sumber, record tersebut juga dimasukkan di Hologres. Ketika sebuah record diperbarui atau dihapus di sumber, record yang sesuai diperbarui atau dihapus di Hologres.

        • Insert: Memperlakukan Hologres sebagai penyimpanan streaming. Semua data dari sumber disimpan menggunakan operasi INSERT.

      • Write Conflict Policy: Kebijakan yang digunakan ketika terjadi konflik penulisan data. Nilai yang valid: Overwrite dan Ignore.

  • Konfigurasi pemetaan bidang.

    Sistem secara otomatis menghasilkan pemetaan antara kolom hulu dan kolom target berdasarkan prinsip The same name mapping. Anda dapat menyesuaikan pemetaan ini sesuai kebutuhan. Satu kolom hulu dapat dipetakan ke beberapa kolom target, tetapi beberapa kolom hulu tidak dapat dipetakan ke satu kolom target. Jika kolom hulu tidak dipetakan ke kolom target, datanya tidak akan ditulis ke tabel target.

    • 4. Peringatan

    Untuk mencegah kesalahan tugas menyebabkan keterlambatan sinkronisasi data bisnis, Anda dapat menetapkan kebijakan peringatan untuk tugas sinkronisasi.

    1. Klik Alert Settings di pojok kanan atas halaman untuk membuka halaman pengaturan Alert Rule Configurations for Real-time Synchronization Subnode.

    2. Klik Add Alert Rule untuk mengonfigurasi aturan peringatan.

      Catatan

      Aturan peringatan yang Anda definisikan di sini berlaku untuk subtugas sinkronisasi real-time yang dihasilkan oleh tugas ini. Setelah mengonfigurasi tugas, Anda dapat melihat dan mengubah aturan peringatan untuk subtugas tersebut di halaman Run and manage real-time synchronization tasks.

    3. Kelola aturan peringatan.

      Untuk aturan peringatan yang sudah ada, Anda dapat menggunakan sakelar toggle untuk mengaktifkan atau menonaktifkannya. Anda juga dapat mengirim peringatan ke penerima berbeda berdasarkan tingkat peringatan.

    5. Pengaturan lanjutan

    Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda ubah sesuai kebutuhan.

    Catatan

    Sebelum melakukan perubahan, pastikan Anda memahami sepenuhnya fungsi setiap parameter untuk mencegah kesalahan tak terduga atau masalah kualitas data.

    1. Klik advanced settings di pojok kanan atas halaman untuk membuka halaman pengaturan lanjutan.

    2. Pada halaman advanced settings, ubah nilai parameter sesuai kebutuhan.

    6. Kelompok sumber daya

    Anda dapat mengklik Configure Resource Group di pojok kanan atas untuk melihat dan mengganti kelompok sumber daya yang sedang digunakan oleh tugas.

    7. Uji coba

    Setelah mengonfigurasi tugas, klik Dry Run di pojok kanan atas. Fitur ini mensimulasikan seluruh tugas pada sampel data kecil dan memungkinkan Anda melihat pratinjau hasilnya di tabel target. Jika terdapat kesalahan konfigurasi, pengecualian waktu proses, atau data kotor, Anda akan menerima pesan kesalahan secara real-time. Hal ini membantu Anda memverifikasi dengan cepat bahwa tugas telah dikonfigurasi dengan benar dan menghasilkan output yang diharapkan.

    1. Pada kotak dialog, atur parameter pengambilan sampel: Start Time dan Number of Sample Records.

    2. Klik Start Sampling untuk mengumpulkan data sampel.

    3. Klik Preview untuk mensimulasikan seluruh proses tugas menggunakan data sampel.

    8. Jalankan tugas sinkronisasi

    1. Setelah menyelesaikan semua pengaturan, klik Complete di bagian bawah halaman.

    2. Di halaman Data Integration > Synchronization Task, temukan tugas yang Anda buat dan klik Start pada kolom Operations.

    3. Klik Name/ID tugas yang sesuai dalam Task List untuk melihat proses eksekusi lengkapnya.

    Jalankan tugas sinkronisasi

    Di halaman tugas sinkronisasi, klik Start pada kolom Actions untuk menjalankan tugas sinkronisasi. Untuk mengelola tugas dan melihat statusnya yang sedang berjalan, lihat Manage and monitor synchronization tasks.

    O&M Tugas

    Kelola dan pantau tugas sinkronisasi

    Di halaman tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi dan informasi dasar masing-masing tugas.

    • Pada kolom Actions, klik Start atau Stop untuk menjalankan atau menghentikan tugas sinkronisasi. Di bawah More, tersedia operasi seperti Edit dan View.

    • Untuk tugas yang sedang berjalan, Anda dapat melihat status dasar eksekusi di Execution Overview dan mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.

      Tugas sinkronisasi real-time satu tabel dari Hologres ke Hologres terdiri dari tiga langkah:

    • Schema Migration: Menampilkan cara tabel tujuan dibuat, baik sebagai tabel yang sudah ada maupun melalui pembuatan tabel otomatis. Jika tabel dibuat secara otomatis, DDL pembuatan tabel akan ditampilkan.

    • Full Data Initialization: Jika Anda menetapkan Synchronization Mode ke Full Sync, kemajuan inisialisasi penuh akan ditampilkan.

    • Real-time Data Synchronization: Menampilkan statistik kinerja sinkronisasi real-time, termasuk trafik baca/tulis real-time, data kotor, failover, dan log eksekusi.

    Jalankan ulang tugas

    Dalam kasus khusus, seperti saat Anda perlu mengubah bidang yang disinkronkan atau menyesuaikan informasi tabel target, Anda dapat mengklik Rerun pada kolom Operations tugas sinkronisasi. Tindakan ini menyinkronkan bidang yang telah disesuaikan dan perubahan lainnya ke target. Proses ini melewati tabel yang tidak berubah dan sebelumnya telah disinkronkan.

    • Untuk menjalankan ulang tugas tanpa perubahan apa pun, klik Rerun.

    • Jika Anda mengedit tugas, klik Complete setelah melakukan perubahan. Aksi tugas berubah menjadi Apply Updates. Mengklik Apply Updates akan menjalankan ulang tugas dengan konfigurasi baru.