Data Integration memungkinkan Anda menyinkronkan data dari topik DataHub, tabel Hologres, topik Kafka, atau Logstore LogHub ke Hologres secara real-time. Saat menjalankan tugas sinkronisasi real-time untuk menyinkronkan data dari satu tabel Hologres ke sumber data Hologres lain, sistem akan membuat tabel tujuan di sumber data Hologres berdasarkan skema tabel sumber dan menyinkronkan data dari tabel sumber ke tabel tujuan. Topik ini menjelaskan cara membuat tugas sinkronisasi ETL real-time untuk menyinkronkan data antar tabel Hologres.
Batasan
Versi instance Hologres Anda harus lebih baru dari V2.1.
Sinkronisasi inkremental data dari tabel partisi Hologres tidak didukung.
Pesan perubahan DDL pada tabel Hologres tidak dapat disinkronkan.
Data inkremental dari tipe data berikut dapat disinkronkan dari Hologres:
INTEGER, BIGINT, TEXT, CHAR(n), VARCHAR(n), REAL, JSON, SERIAL, OID, INT4[], INT8[], FLOAT8[], BOOLEAN[], dan TEXT[].
Prasyarat
Sebuah kelompok sumber daya serverless telah dibeli.
Dua sumber data Hologres telah ditambahkan ke DataWorks. Satu digunakan sebagai sumber, dan yang lainnya sebagai tujuan. Untuk informasi lebih lanjut, lihat Tambah dan Kelola Sumber Data di Data Integration.
Koneksi jaringan antara kelompok sumber daya serverless dan sumber data telah dibuat. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan.
Untuk menyinkronkan data dalam satu tabel Hologres ke tabel Hologres lain secara real-time, Anda harus mengaktifkan fitur pencatatan biner untuk tabel Hologres di database Hologres sumber. Untuk informasi lebih lanjut, lihat Berlangganan Log Biner Hologres.
Prosedur
1. Pilih jenis sinkronisasi
Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri halaman Data Integration, klik Synchronization Task. Di bagian atas halaman Tugas Sinkronisasi, pilih jenis sumber dari daftar drop-down Sumber dan jenis tujuan dari daftar drop-down Tujuan, lalu klik Create Synchronization Task. Pada halaman yang muncul, konfigurasikan informasi dasar untuk tugas sinkronisasi.
Source And Destination: Pilih
Hologresuntuk kedua jenis sumber dan tujuan.New Node Name: Tentukan nama untuk tugas sinkronisasi sesuai dengan kebutuhan bisnis Anda.
Synchronization Method: Pilih
Sinkronisasi real-time tabel tunggal.Synchronization Mode: Pilih
Inisialisasi penuh.
2. Konfigurasikan pengaturan jaringan dan kelompok sumber daya
Di bagian Network and Resource Configuration, pilih resource group yang ingin Anda gunakan untuk menjalankan tugas sinkronisasi, dan konfigurasikan parameter Task Resource Usage.
Pilih secara terpisah sumber data
Hologresyang telah ditambahkan sebagai sumber di bagian Source dan sebagai tujuan di bagian Destination, lalu klik Test Connectivity.
Jika uji konektivitas jaringan berhasil, klik Next.
3. Konfigurasikan tautan sinkronisasi data
1. Konfigurasikan sumber
Di wizard bagian atas halaman konfigurasi, klik Hologres untuk mengonfigurasi sumber.
Di bagian Holo source information, konfigurasikan parameter Skema dan Tabel.
Klik Data Sampling di pojok kanan atas bagian Informasi Sumber Holo.
Di kotak dialog Preview Data Output, konfigurasikan parameter Sampled Data Records dan klik Start Collection. Sistem akan mengambil sampel data dari tabel Hologres yang Anda tentukan. Anda dapat melihat pratinjau data di tabel Hologres. Data di tabel Hologres digunakan sebagai data masukan untuk konfigurasi pratinjau dan visualisasi node pemrosesan data.
2. Konfigurasikan node pemrosesan data
Anda dapat mengklik ikon 
untuk menambahkan metode pemrosesan data. Metode pemrosesan data berikut didukung: Data Masking, Replace String, Data filtering, JSON Parsing, dan Edit Field and Assign Value. Anda dapat mengatur metode pemrosesan data berdasarkan kebutuhan bisnis Anda. Saat tugas sinkronisasi dijalankan, data diproses berdasarkan urutan pemrosesan yang Anda tentukan.
Setelah Anda mengonfigurasi node pemrosesan data, Anda dapat mengklik Preview Data Output di pojok kanan atas bagian tersebut. Di kotak dialog Pratinjau Output Data, Anda dapat mengklik Re-obtain Output of Ancestor Node untuk memungkinkan node pemrosesan data memproses data yang diambil sampel dari tabel Hologres yang ditentukan dan melihat hasil pemrosesan.
Sebelum Anda melihat hasil yang dihasilkan setelah data masukan diproses oleh node pemrosesan data, Anda harus mengonfigurasi pengaturan data sampling untuk sumber data Kafka.
3. Konfigurasikan tujuan
Di wizard bagian atas halaman konfigurasi, klik Hologres untuk mengonfigurasi tujuan.
Di bagian Destination Information, konfigurasikan parameter Skema dan Tabel Tujuan. Nilai valid untuk parameter Tabel Tujuan adalah Create tables automatically dan Use Existing Table.
Jika Anda mengatur parameter Tabel Tujuan ke Buat tabel secara otomatis, sistem secara otomatis membuat tabel dengan nama yang sama seperti tabel sumber di tujuan. Anda dapat mengubah nama tabel yang dibuat secara manual.
Jika Anda mengatur parameter Tabel Tujuan ke Gunakan Tabel yang Ada, Anda dapat memilih tabel dari daftar drop-down Nama Tabel.
(Opsional) Ubah skema tabel tujuan.
Jika Anda memilih Create tables automatically untuk parameter Tabel Tujuan, klik Edit Table Schema. Di kotak dialog yang muncul, edit skema tabel tujuan yang akan dibuat secara otomatis. Anda juga dapat mengklik Re-generate Table Schema Based on Output Column of Ancestor Node untuk meregenerasi skema berdasarkan kolom output node ancestor. Anda dapat memilih kolom dari skema yang dihasilkan dan mengonfigurasi kolom sebagai kunci utama.
CatatanTabel tujuan harus memiliki kunci utama. Jika tidak, konfigurasi tidak dapat disimpan.
Konfigurasikan parameter Job Type dan Write Conflict Policy.
Nilai valid untuk parameter Job Type:
Replay (Replay Operation Log to Restore Data): Menunjukkan bahwa operasi yang sama dilakukan pada tujuan seperti yang dilakukan pada sumber. Misalnya, jika operasi INSERT, UPDATE, atau DELETE dilakukan pada sumber, operasi yang sama juga dilakukan pada tujuan.
Insert (Archived Storage): Menunjukkan bahwa tujuan digunakan sebagai penyimpanan data streaming, dan semua data yang disinkronkan dari sumber dimasukkan ke tujuan.
Write Conflict Policy: Kebijakan pemrosesan yang digunakan saat terjadi konflik penulisan data. Nilai valid: Cover (Overwrite) dan Ignore (Ignore).
Konfigurasikan pemetaan antara bidang di sumber dan bidang di tujuan.
Setelah Anda menyelesaikan konfigurasi sebelumnya, sistem secara otomatis membuat pemetaan antara bidang di sumber dan bidang di tujuan berdasarkan prinsip same-name mapping. Anda dapat mengubah pemetaan berdasarkan kebutuhan bisnis Anda. Satu bidang di sumber dapat dipetakan ke beberapa bidang di tujuan. Beberapa bidang di sumber tidak dapat dipetakan ke bidang yang sama di tujuan. Jika bidang di sumber tidak memiliki bidang yang dipetakan di tujuan, data di bidang di sumber tidak disinkronkan ke tujuan.
4. Konfigurasikan aturan peringatan
Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.
Di pojok kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.
CatatanAturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola Tugas Sinkronisasi Real-Time untuk pergi ke halaman Tugas Sinkronisasi Real-Time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.
5. Konfigurasikan parameter lanjutan
DataWorks memungkinkan Anda untuk memodifikasi konfigurasi parameter tertentu. Anda dapat mengubah nilai parameter ini berdasarkan kebutuhan bisnis Anda.
Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti parameter sebelum mengubah nilai parameter.
Di pojok kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.
Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.
6. Konfigurasikan kelompok sumber daya
Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.
7. Lakukan uji coba pada tugas sinkronisasi
Setelah konfigurasi sebelumnya selesai, Anda dapat mengklik Perform Simulated Running di pojok kanan atas halaman konfigurasi untuk memungkinkan tugas sinkronisasi menyinkronkan data sampel ke tabel tujuan. Anda dapat melihat hasil sinkronisasi di tabel tujuan. Jika konfigurasi tertentu dari tugas sinkronisasi tidak valid, terjadi pengecualian selama uji coba, atau data kotor dihasilkan, sistem melaporkan kesalahan secara real-time. Ini dapat membantu Anda memeriksa konfigurasi tugas sinkronisasi dan menentukan apakah hasil yang diharapkan dapat diperoleh sesegera mungkin.
Di kotak dialog yang muncul, konfigurasikan parameter untuk pengambilan sampel data dari tabel yang ditentukan, termasuk parameter Start At dan Sampled Data Records.
Klik Start Collection untuk memungkinkan tugas sinkronisasi mengambil sampel data dari sumber.
Klik Preview untuk memungkinkan tugas sinkronisasi menyinkronkan data sampel ke tujuan.
8. Jalankan tugas sinkronisasi
Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Tasks halaman Synchronization Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Operation.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses jalannya tugas sinkronisasi secara detail.
Lakukan operasi O&M pada tugas sinkronisasi
Lihat status jalannya tugas sinkronisasi
Setelah tugas sinkronisasi dibuat, Anda dapat pergi ke halaman Tugas Sinkronisasi untuk melihat semua tugas sinkronisasi yang dibuat di ruang kerja dan informasi dasar setiap tugas sinkronisasi.
Anda dapat mengklik Start atau Stop di kolom Operasi untuk memulai atau menghentikan tugas sinkronisasi. Anda juga dapat mengklik Lainnya di kolom Tindakan dan memilih Edit atau View untuk memodifikasi tugas sinkronisasi atau melihat informasi tentang tugas sinkronisasi.
Anda dapat melihat informasi dasar jalannya tugas sinkronisasi di kolom Execution Overview. Anda juga dapat mengklik bagian berbeda di halaman detail eksekusi tugas sinkronisasi untuk melihat informasi terkait.
Tugas sinkronisasi dibagi menjadi tiga tahap:
Schema Migration: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel yang dibuat secara otomatis atau tabel yang sudah ada. Untuk tabel yang dibuat secara otomatis, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.
Full Data Initialization: Jika Anda mengatur parameter Synchronization Mode ke Full initialization saat Anda mengonfigurasi tugas sinkronisasi, kemajuan sinkronisasi penuh ditampilkan di bagian ini.
Real-time Data Synchronization: Tab ini menampilkan statistik tentang sinkronisasi real-time, termasuk lalu lintas baca dan tulis real-time, informasi data kotor, failover, dan log operasi.
Jalankan ulang tugas sinkronisasi
Dalam beberapa kasus khusus, jika Anda ingin memodifikasi bidang untuk disinkronkan, bidang di tabel tujuan, atau informasi nama tabel, Anda juga dapat mengklik Rerun di kolom Operation tugas sinkronisasi yang diinginkan. Dengan cara ini, sistem menyinkronkan perubahan yang dibuat ke tujuan. Data di tabel yang sudah disinkronkan dan tidak dimodifikasi tidak akan disinkronkan lagi.
Langsung klik Rerun tanpa memodifikasi konfigurasi tugas sinkronisasi untuk memungkinkan sistem menjalankan ulang tugas sinkronisasi.
Modifikasi konfigurasi tugas sinkronisasi lalu klik Complete. Klik Apply Updates yang ditampilkan di kolom Operasi tugas sinkronisasi untuk menjalankan ulang tugas sinkronisasi agar konfigurasi terbaru berlaku.