Sinkronisasi real-time dari Kafka ke Hologres - DataWorks

Data Integration mendukung sinkronisasi data secara real-time dari satu tabel tunggal di sumber data seperti DataHub, Hologres, Kafka, dan LogHub ke Hologres. Tugas sinkronisasi real-time menginisialisasi skema tabel Hologres tujuan berdasarkan struktur topik Kafka yang ditentukan, melakukan sinkronisasi data penuh dari topik Kafka tersebut ke tabel Hologres tujuan sekaligus, lalu melanjutkan dengan sinkronisasi data inkremental secara real-time. Topik ini menjelaskan cara melakukan sinkronisasi data dari topik Kafka ke Hologres secara real-time.

Prasyarat

Anda telah membeli grup sumber daya arsitektur tanpa server atau grup sumber daya eksklusif untuk Integrasi Data.
Anda telah membuat sumber data Kafka dan Hologres. Untuk informasi selengkapnya, lihat Buat sumber data untuk Integrasi Data.
Anda telah menyiapkan koneksi jaringan antara grup sumber daya dan sumber data. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

Prosedur

1. Pilih jenis tugas sinkronisasi

Buka halaman Integrasi Data.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Tasks, lalu klik Create Synchronization Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
- Data Source And Destination: Kafka→Hologres
- New Task Name: Sesuaikan nama tugas sinkronisasi.
- Synchronization Type: Real-time synchronization of single table.

2. Konfigurasi jaringan dan sumber daya

Pada bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah unit komputasi (CUs) untuk Task Resource Usage.
Pilih sumber data yang telah ditambahkan untuk Source Data Source kafka dan sumber data Hologres yang telah ditambahkan untuk Destination Data Source, lalu klik Test Connectivity.
Setelah memastikan bahwa koneksi ke sumber data asal dan tujuan berhasil, klik Next.

3. Konfigurasi tautan sinkronisasi

1. Konfigurasi sumber Kafka

Klik sumber data Kafka di bagian atas halaman untuk mengedit Kafka Source Information.

Pada bagian Kafka Source Information, pilih topik dari mana Anda ingin menyinkronkan data di kluster Kafka.
Biarkan nilai parameter lainnya tetap default, atau ubah konfigurasinya sesuai kebutuhan bisnis Anda.
Klik Data Sampling di pojok kanan atas.
Pada kotak dialog yang muncul, konfigurasikan parameter Start Time dan Sampled Data Records, lalu klik Start Collection. Sistem akan mengambil sampel data dari topik Kafka yang Anda tentukan. Anda dapat melihat pratinjau data dalam topik Kafka tersebut. Data dalam topik Kafka digunakan sebagai data masukan untuk konfigurasi pratinjau dan visualisasi pada node pemrosesan data.
Pada bagian Output Field Configuration, pilih bidang-bidang yang ingin Anda sinkronkan sesuai kebutuhan.

2. Edit node pemrosesan data

Anda dapat mengklik ikon untuk menambahkan metode pemrosesan data. Metode pemrosesan data berikut didukung: Data Masking, Replace String, Data filtering, JSON Parsing, dan Edit Field and Assign Value. Anda dapat mengatur urutan metode pemrosesan data sesuai kebutuhan bisnis Anda. Saat tugas sinkronisasi dijalankan, data akan diproses sesuai urutan pemrosesan yang Anda tentukan.

Setelah mengonfigurasi node pemrosesan data, Anda dapat mengklik Preview Data Output di pojok kanan atas. Pada kotak dialog yang muncul, klik Re-obtain Output Of Ancestor Node agar node pemrosesan data dapat memproses data yang diambil sampelnya dari topik Kafka yang ditentukan dan melihat pratinjau hasil pemrosesan.

Catatan

Sebelum melihat pratinjau hasil setelah data masukan diproses oleh node pemrosesan data, Anda harus mengonfigurasi pengaturan Data Sampling untuk sumber data Kafka.

3. Konfigurasi tujuan Hologres

Klik tujuan data Hologres di bagian atas halaman untuk mengedit Hologres Destination Information.

Pada bagian Hologres Destination Information, pilih skema yang berisi tabel Hologres tempat Anda ingin menulis data, lalu pilih Create Table atau Use Existing Table untuk tabel tujuan.
- Jika Anda memilih Create Table, tabel dengan nama yang sama dengan tabel sumber akan dibuat secara default. Anda dapat mengubah nama tabel tujuan secara manual.
- Jika Anda memilih Use Existing Table, pilih tabel tujuan tempat Anda ingin menyinkronkan data dari daftar drop-down.
(Opsional) Ubah skema tabel tujuan.
Jika Anda memilih Create tables automatically untuk parameter Destination Table, klik Edit Table Schema. Pada kotak dialog yang muncul, edit skema tabel tujuan yang akan dibuat secara otomatis. Anda juga dapat mengklik Re-generate Table Schema Based on Output Column of Ancestor Node untuk membuat ulang skema berdasarkan kolom keluaran dari node leluhur. Anda dapat memilih kolom dari skema yang dihasilkan dan mengonfigurasi kolom tersebut sebagai kunci utama.
Catatan
Tabel tujuan harus memiliki kunci utama. Jika tidak, konfigurasi tidak dapat disimpan.
Atur Job Type dan Write Conflict Policy.
- Job Type:
  - Replay: Opsi ini menunjukkan fitur mirror. Jika sebuah catatan dimasukkan di sumber, catatan tersebut juga dimasukkan ke Hologres. Jika sebuah catatan diperbarui atau dihapus di sumber, catatan tersebut juga diperbarui atau dihapus di Hologres.
  - Insert: Opsi ini menunjukkan bahwa Hologres diperlakukan sebagai penyimpanan streaming. Semua data dari sumber dimasukkan ke Hologres menggunakan pernyataan INSERT.
- Write Conflict Policy: Kebijakan untuk menangani konflik penulisan. Nilai yang valid: Overwrite dan Ignore.
Konfigurasi pemetaan antara bidang di sumber dan bidang di tujuan.
Setelah menyelesaikan konfigurasi di atas, sistem secara otomatis membuat pemetaan antara bidang di sumber dan bidang di tujuan berdasarkan prinsip same-name mapping. Anda dapat memodifikasi pemetaan tersebut sesuai kebutuhan bisnis Anda. Satu bidang di sumber dapat dipetakan ke beberapa bidang di tujuan. Beberapa bidang di sumber tidak dapat dipetakan ke bidang yang sama di tujuan. Jika suatu bidang di sumber tidak memiliki bidang yang dipetakan di tujuan, data dalam bidang tersebut tidak akan disinkronkan ke tujuan.

4. Konfigurasi aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan peringatan untuk tugas sinkronisasi tersebut.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.
Pada panel Configure Alert Rule, klik Add Alert Rule. Pada kotak dialog Add Alert Rule, konfigurasikan parameter untuk menetapkan aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasi pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk membuka halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasi untuk sub-tugas sinkronisasi real-time tersebut.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang telah dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

5. Konfigurasi parameter lanjutan

DataWorks memungkinkan Anda memodifikasi konfigurasi parameter tertentu. Anda dapat mengubah nilai parameter tersebut sesuai kebutuhan bisnis Anda.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami menyarankan agar Anda memahami makna parameter sebelum mengubah nilainya.

Di pojok kanan atas halaman konfigurasi, klik Configure Advanced Parameters.
Pada panel Configure Advanced Parameters, ubah nilai parameter yang diinginkan.

6. Konfigurasi grup sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

7. Lakukan pengujian pada tugas sinkronisasi

Setelah konfigurasi di atas selesai, Anda dapat mengklik Perform Simulated Running di pojok kanan atas halaman konfigurasi agar tugas sinkronisasi menyinkronkan data sampel ke tabel tujuan. Anda dapat melihat hasil sinkronisasi di tabel tujuan. Jika ada konfigurasi tugas sinkronisasi yang tidak valid, terjadi pengecualian selama pengujian, atau data kotor dihasilkan, sistem akan melaporkan kesalahan secara real-time. Hal ini membantu Anda memeriksa konfigurasi tugas sinkronisasi dan menentukan apakah hasil yang diharapkan dapat diperoleh sesegera mungkin.

Pada kotak dialog yang muncul, konfigurasikan parameter untuk pengambilan sampel data dari tabel yang ditentukan, termasuk parameter Start At dan Sampled Data Records.
Klik Start Collection agar tugas sinkronisasi mengambil sampel data dari sumber.
Klik Preview agar tugas sinkronisasi menyinkronkan data sampel ke tujuan.

8. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Pada bagian Tasks di halaman Synchronization Task, temukan tugas sinkronisasi yang telah dibuat dan klik Start di kolom Operation.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan detail dari tugas sinkronisasi tersebut.

Lakukan operasi O&M pada tugas sinkronisasi

Lihat status berjalan tugas sinkronisasi

Setelah menyelesaikan konfigurasi tugas sinkronisasi, Anda dapat melihat semua tugas sinkronisasi yang telah dibuat beserta informasi dasar masing-masing tugas di halaman Tugas Sinkronisasi.

Anda dapat mengklik Start atau Stop di kolom Actions untuk memulai atau menghentikan tugas sinkronisasi. Anda juga dapat mengklik More untuk melakukan operasi seperti Edit dan View pada tugas sinkronisasi tersebut.
Untuk tugas yang sedang berjalan, Anda dapat melihat status berjalan dasar di Running Details, atau klik area yang sesuai untuk melihat detail eksekusi.

Tugas sinkronisasi real-time dari Kafka ke Hologres terdiri dari dua langkah:

Schema Migration: Tab ini menampilkan informasi seperti metode pembuatan tabel tujuan. Metode pembuatan tabel tujuan mencakup Use Existing Table dan Create Table. Jika metode pembuatan tabel tujuan adalah Create Table, pernyataan DDL yang digunakan untuk membuat tabel tersebut akan ditampilkan.
Real-time Data Synchronization: Tab ini menampilkan statistik tentang sinkronisasi real-time, termasuk lalu lintas baca/tulis real-time, informasi data kotor, failover, dan log operasi.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda ingin memodifikasi bidang yang akan disinkronkan, bidang dalam tabel tujuan, atau informasi nama tabel, Anda juga dapat mengklik Rerun di kolom Operation tugas sinkronisasi yang diinginkan. Dengan demikian, sistem akan menyinkronkan perubahan yang dilakukan pada tujuan. Data dalam tabel yang sudah disinkronkan dan tidak dimodifikasi tidak akan disinkronkan ulang.

Klik langsung Rerun tanpa memodifikasi konfigurasi tugas sinkronisasi agar sistem menjalankan ulang tugas sinkronisasi tersebut.
Modifikasi konfigurasi tugas sinkronisasi, lalu klik Complete. Klik Apply Updates yang ditampilkan di kolom Operation tugas sinkronisasi untuk menjalankan ulang tugas sinkronisasi agar konfigurasi terbaru berlaku.