Sinkronkan tabel Hologres ke Doris secara real-time - DataWorks

Tugas sinkronisasi real-time tabel tunggal membuat tabel tujuan di sumber data Doris berdasarkan skema tabel Hologres sumber dan menulis data dari tabel sumber ke tabel tujuan. Topik ini menjelaskan cara menyinkronkan data dari tabel Hologres ke Doris secara real-time.

Batasan

Versi instans Hologres Anda harus V2.1 atau yang lebih baru.
Sinkronisasi inkremental data dari tabel partisi Hologres tidak didukung.
Pesan untuk perubahan DDL pada tabel Hologres tidak dapat disinkronkan.
Data inkremental dari tipe data berikut dapat disinkronkan dari Hologres:
INTEGER, BIGINT, TEXT, CHAR(n), VARCHAR(n), REAL, JSON, SERIAL, OID, INT4[], INT8[], FLOAT8[], BOOLEAN[], dan TEXT[].

Prasyarat

Anda telah membeli kelompok sumber daya tanpa server.
Anda telah membuat sumber data Hologres dan Doris. Untuk informasi lebih lanjut, lihat Buat sumber data untuk Data Integration.
Anda telah menetapkan konektivitas jaringan antara kelompok sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
Untuk menyinkronkan tabel Hologres secara real-time, Anda harus mengaktifkan Hologres Binlog untuk tabel database Hologres sumber. Untuk informasi lebih lanjut, lihat Berlangganan Hologres Binlog.

Prosedur

1. Pilih jenis tugas sinkronisasi

Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri, klik Sync Tasks. Kemudian, klik Create Sync Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
- Data Source And Destination: Hologres→Doris
- New Task Name: Sesuaikan nama untuk tugas sinkronisasi.
- Sync Type: Real-time Tabel Tunggal.
- Sync Steps: Pilih Sinkronisasi Penuh.

2. Konfigurasikan jaringan dan sumber daya

Di bagian Network And Resources, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah unit komputasi (CU) untuk Task Resource Usage.
Source Data Source: Pilih sumber data Hologres yang telah ditambahkan, dan untuk Destination Data Source pilih sumber data Doris yang telah ditambahkan, lalu klik Test Connectivity.
Setelah Anda mengonfirmasi bahwa kedua sumber data terhubung, klik Next.

3. Konfigurasikan tautan sinkronisasi

1. Konfigurasikan sumber Hologres

Klik sumber data Hologres di bagian atas halaman dan edit Holo Source Information.

Di bagian Holo Source Information, pilih skema yang berisi tabel Hologres yang akan dibaca dan tabel sumber.
Klik Data Sampling di pojok kanan atas.
Di kotak dialog Data Output Preview, tentukan Number Of Samples dan klik tombol Start Collection untuk mengambil sampel data dari tabel Hologres yang ditentukan dan melihat pratinjau data di Hologres. Ini memberikan masukan untuk konfigurasi visual selanjutnya.

3. Konfigurasikan tujuan Doris

Klik tujuan data Doris di bagian atas halaman dan edit Doris Destination Information.

Di bagian Doris Destination Information, pilih Database yang berisi tabel Doris yang akan ditulis dan tentukan apakah tabel tujuan adalah Auto Table Creation atau Use Existing Table.
- Jika Anda memilih Pembuatan Tabel Otomatis, tabel dengan nama yang sama dengan tabel sumber dibuat secara default. Anda dapat secara manual memodifikasi nama tabel tujuan.
- Jika Anda memilih Gunakan Tabel yang Ada, pilih tabel tujuan untuk sinkronisasi dari daftar drop-down.
(Opsional) Modifikasi skema tabel tujuan.
Jika Anda memilih Auto Table Creation, Anda perlu mengklik tombol Edit Table Structure dan mengedit struktur tabel tujuan di kotak dialog. Anda juga dapat mengklik tombol Regenerate Table Structure Based On Upstream Node Output Columns untuk secara otomatis menghasilkan struktur tabel berdasarkan kolom output node hulu. Anda dapat memilih kolom dalam struktur tabel yang dihasilkan secara otomatis sebagai kunci utama dan kolom bucketing.
Catatan
Tabel tujuan harus memiliki kunci utama dan kolom bucketing. Jika tidak, konfigurasi tidak dapat disimpan.
Atur Processing Strategy For Dynamic Fields From Upstream.
Ketika bidang hulu tidak memiliki bidang yang sesuai di Doris, Anda dapat memilih Ignore, Report Error, atau Replay.
Konfigurasikan pemetaan antara bidang di sumber dan bidang di tujuan.
Setelah Anda menyelesaikan konfigurasi sebelumnya, sistem secara otomatis menetapkan pemetaan antara bidang di sumber dan bidang di tujuan berdasarkan prinsip same-name mapping. Anda dapat memodifikasi pemetaan berdasarkan kebutuhan bisnis Anda. Satu bidang di sumber dapat dipetakan ke beberapa bidang di tujuan. Beberapa bidang di sumber tidak dapat dipetakan ke bidang yang sama di tujuan. Jika bidang di sumber tidak memiliki bidang yang dipetakan di tujuan, data di bidang di sumber tidak disinkronkan ke tujuan.

4. Konfigurasikan aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.
Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasikan di langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

5. Konfigurasikan parameter lanjutan

DataWorks memungkinkan Anda memodifikasi konfigurasi parameter tertentu. Anda dapat mengubah nilai parameter ini berdasarkan kebutuhan bisnis Anda.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti parameter sebelum mengubah nilai parameter.

Di pojok kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.
Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.

6. Konfigurasikan kelompok sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

7. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Tasks halaman Synchronization Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Operation.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses jalannya tugas sinkronisasi secara rinci.

Lakukan operasi O&M pada tugas sinkronisasi

Lihat status tugas sinkronisasi

Setelah tugas sinkronisasi dibuat, Anda dapat pergi ke halaman Tugas Sinkronisasi untuk melihat semua tugas sinkronisasi yang dibuat di ruang kerja dan informasi dasar setiap tugas sinkronisasi.

Anda dapat Start atau Stop tugas sinkronisasi di kolom Tindakan. Anda juga dapat Edit atau View tugas sinkronisasi dengan mengklik Lainnya.
Untuk tugas yang telah dimulai, Anda dapat melihat status jalannya dasar di Execution Overview. Anda juga dapat mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.

Tugas sinkronisasi real-time tabel tunggal dari Hologres ke Doris terdiri dari tiga langkah:

Structure Migration: mencakup metode pembuatan tabel tujuan (tabel yang ada atau pembuatan tabel otomatis). Jika Anda memilih pembuatan tabel otomatis, pernyataan DDL untuk membuat tabel akan ditampilkan.
Full Initialization: Jika Anda memilih Full Sync untuk Sync Steps, kemajuan inisialisasi penuh akan ditampilkan di sini.
Real-time Data Synchronization: mencakup informasi statistik untuk sinkronisasi real-time, seperti lalu lintas baca dan tulis real-time, data kotor, failover, dan log operasi.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda ingin memodifikasi bidang untuk disinkronkan, bidang dalam tabel tujuan, atau informasi nama tabel, Anda juga dapat mengklik Rerun di kolom Operation tugas sinkronisasi yang diinginkan. Dengan cara ini, sistem menyinkronkan perubahan yang dibuat ke tujuan. Data di tabel yang sudah disinkronkan dan tidak dimodifikasi tidak akan disinkronkan lagi.

Langsung klik Rerun tanpa memodifikasi konfigurasi tugas sinkronisasi untuk mengaktifkan sistem menjalankan ulang tugas sinkronisasi.
Modifikasi konfigurasi tugas sinkronisasi dan kemudian klik Complete. Klik Apply Updates yang ditampilkan di kolom Operasi tugas sinkronisasi untuk menjalankan ulang tugas sinkronisasi agar konfigurasi terbaru berlaku.