Sinkronisasi offline seluruh database ClickHouse ke Hologres - DataWorks

Data Integration memungkinkan Anda melakukan sinkronisasi offline seluruh database dari sumber seperti AnalyticDB for MySQL 3.0, ClickHouse, Hologres, dan PolarDB ke Hologres. Topik ini menjelaskan cara menyinkronkan seluruh database ClickHouse ke Hologres.

Prasyarat

Anda telah membeli grup sumber daya serverless atau grup sumber daya eksklusif untuk Data Integration.
Anda telah membuat sumber data ClickHouse dan sumber data Hologres. Untuk informasi lebih lanjut, lihat Konfigurasi sumber data.
Anda telah menetapkan koneksi jaringan antara grup sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.

Prosedur

1. Pilih jenis tugas sinkronisasi

Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Sync Task. Di bagian atas halaman, klik Create Sync Task untuk membuka halaman pembuatan tugas. Konfigurasikan informasi dasar berikut:
- Source and Destination: ClickHouse ke Hologres.
- New Task Name: Masukkan nama kustom untuk tugas sinkronisasi.
- Synchronization Type: Offline Whole-DB.
- Synchronization Steps: Pilih Full Synchronization dan Incremental Synchronization.

2. Konfigurasikan jaringan dan sumber daya

Di bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan CU untuk Task Resource Usage.
Untuk Source Data Source, pilih sumber data ClickHouse Anda. Untuk Destination Data Source, pilih sumber data Hologres Anda. Lalu, klik Test Connectivity.
Setelah tes konektivitas berhasil untuk kedua sumber data, klik Next.

3. Pilih database dan tabel untuk disinkronkan

Di area Database dan Tabel Sumber, pilih tabel untuk disinkronkan dari sumber data sumber. Klik ikon untuk memindahkan tabel ke daftar Database dan Tabel Terpilih.

4. Atur kontrol penuh dan inkremental

Konfigurasikan jenis sinkronisasi penuh dan inkremental untuk tugas.
- Jika Anda memilih Full Sync dan Incremental Sync di Sync Step, tugas secara default menjadi satu kali sinkronisasi penuh dan sinkronisasi inkremental berulang. Pengaturan ini tidak dapat diubah.
- Jika Anda memilih Full Sync di Sync Step, Anda dapat mengonfigurasi tugas untuk satu kali sinkronisasi penuh atau sinkronisasi penuh berulang.
- Jika Anda memilih Incremental Sync di Sync Step, Anda dapat mengonfigurasi tugas sebagai sinkronisasi inkremental satu kali atau berulang.
  Catatan
  Langkah-langkah berikut menggunakan tugas sinkronisasi penuh satu kali dan sinkronisasi inkremental berulang sebagai contoh.
Konfigurasikan parameter penjadwalan berulang.
Jika Anda ingin tugas berjalan pada jadwal berulang, klik Recurring Schedule Parameters.

5. Pemetaan ke tabel tujuan

Setelah Anda memilih tabel untuk disinkronkan di langkah sebelumnya, mereka akan otomatis ditampilkan di halaman ini. Tabel tujuan memiliki status 'pemetaan harus diperbarui'. Anda harus mendefinisikan pemetaan antara tabel sumber dan tabel tujuan, yang menentukan bagaimana data dibaca dari tabel sumber dan ditulis ke tabel tujuan. Lalu, klik Refresh Mapping untuk melanjutkan. Anda dapat langsung memperbarui pemetaan atau menyesuaikan aturan tabel tujuan terlebih dahulu.

Catatan

Anda dapat memilih tabel yang akan disinkronkan dan klik Batch Refresh Mapping. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan nama tabel default adalah ${Nama Tabel Sumber}. Jika tabel dengan nama yang sama tidak ada di tujuan, tabel tersebut akan dibuat secara otomatis.
Karena penjadwalan berulang diperlukan, Anda harus mendefinisikan properti untuk tugas penjadwalan berulang. Properti ini mencakup Scheduling Cycle, Scheduling Time, dan Scheduling Resource Group. Konfigurasi penjadwalan untuk sinkronisasi ini sama dengan konfigurasi penjadwalan node di Data Studio. Untuk informasi lebih lanjut tentang parameter, lihat Penjadwalan Node.
Anda harus mengatur Incremental Condition untuk memfilter data sumber dengan klausa WHERE. Masukkan hanya isi klausa WHERE, tanpa kata kunci WHERE. Jika Anda mengaktifkan konfigurasi berulang, Anda dapat menggunakan variabel parameter sistem.
Di kolom Custom Destination Schema Name Mapping, klik Configure untuk menyesuaikan aturan penamaan skema tujuan.
Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membuat nama skema tujuan. Anda juga dapat mengedit variabel bawaan. Misalnya, Anda dapat membuat aturan penamaan skema baru yang menambahkan akhiran ke nama database sumber untuk membentuk nama skema tujuan.
Di kolom Custom Destination Table Name Mapping, klik Edit untuk menyesuaikan aturan penamaan tabel tujuan.
Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membuat nama tabel tujuan. Anda juga dapat mengedit variabel bawaan. Misalnya, Anda dapat membuat aturan penamaan tabel baru yang menambahkan akhiran ke nama tabel sumber untuk membentuk nama tabel tujuan.

1. Edit pemetaan tipe bidang

Tugas sinkronisasi memetakan tipe bidang sumber ke tipe bidang tujuan secara default. Untuk menyesuaikan pemetaan ini, klik Edit Field Type Mapping di pojok kanan atas tabel. Setelah Anda mengonfigurasi pemetaan, klik Apply And Refresh Mapping.

2. Edit skema tabel tujuan dan tetapkan nilai bidang

Jika tabel tujuan memiliki status To Be Created, Anda dapat menambahkan bidang ke skemanya. Ikuti langkah-langkah berikut:

Tambahkan bidang ke tabel tujuan.
- Untuk menambahkan bidang ke tabel tunggal, klik tombol di kolom Target Table Name.
- Untuk menambahkan bidang secara batch, pilih semua tabel untuk disinkronkan. Di bagian bawah tabel, pilih Batch Modify > Destination Table Schema - Batch Modify And Add Fields.
Tetapkan nilai ke bidang. Anda dapat menggunakan operasi berikut untuk menetapkan nilai ke bidang yang baru saja ditambahkan.
- Untuk menetapkan nilai ke tabel tunggal: Di kolom Destination Table Field Assignment, klik Configure.
- Untuk menetapkan nilai secara batch, di bagian bawah daftar, pilih Batch Modify > Destination Table Field Assignment untuk menetapkan nilai ke bidang identik di beberapa tabel tujuan.
Catatan
Anda dapat menetapkan konstanta atau variabel. Klik ikon untuk beralih antara mode penugasan.

3. Sesuaikan parameter lanjutan

Untuk kontrol detail halus atas tugas, klik Configure di kolom Customize Advanced Parameters.

Penting

Ubah parameter ini hanya jika Anda sepenuhnya memahami apa yang mereka lakukan. Pengaturan yang salah dapat menyebabkan kesalahan tak terduga atau masalah kualitas data.

6. Konfigurasikan parameter lanjutan

Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda ubah sesuai kebutuhan. Misalnya, Anda dapat membatasi jumlah maksimum koneksi untuk mencegah tugas sinkronisasi memberikan tekanan terlalu besar pada database produksi Anda.

Catatan

Ubah parameter ini hanya jika Anda sepenuhnya memahami apa yang mereka lakukan. Pengaturan yang salah dapat menyebabkan kesalahan tak terduga atau masalah kualitas data.

Di pojok kanan atas halaman, klik Konfigurasi Parameter Lanjutan untuk pergi ke halaman konfigurasi parameter lanjutan.
Di halaman Konfigurasi Parameter Lanjutan, ubah nilai parameter.

7. Konfigurasikan grup sumber daya

Di pojok kanan atas halaman, klik Resource Group Configuration untuk melihat atau beralih grup sumber daya untuk tugas saat ini.

8. Jalankan tugas sinkronisasi

Setelah Anda menyelesaikan konfigurasi, klik Complete Configuration di bagian bawah halaman.
Di halaman Data Integration > Sync Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.
Di Task List, klik Name/ID tugas untuk melihat detail eksekusi.

9. Konfigurasikan alarm

Setelah tugas berjalan, pekerjaan terjadwal dihasilkan di Pusat Operasi. Untuk mencegah kesalahan tugas menyebabkan latensi sinkronisasi data, Anda dapat mengatur kebijakan alarm untuk tugas sinkronisasi.

Di Task List, temukan tugas sinkronisasi yang sedang berjalan. Di kolom Aksi, pilih More > Edit untuk membuka halaman pengeditan tugas.
Klik Next. Lalu, klik Alarm Configuration di pojok kanan atas halaman untuk membuka halaman pengaturan alarm.
Di kolom Scheduling Information, klik pekerjaan terjadwal untuk membuka halaman detail tugas di Pusat Operasi dan mengambil Task ID.
Di panel navigasi di sebelah kiri Pusat Operasi, pilih Task Monitoring > Monitoring Alarms > Rule Management untuk pergi ke halaman Manajemen Aturan.
Klik Create Custom Rule dan atur Rule Object, Trigger Method, dan Alarm Behavior. Untuk informasi lebih lanjut, lihat Manajemen aturan.
Di bidang Rule Object, cari tugas target menggunakan ID Tugas yang diperoleh dan atur alarm.

O&M Tugas Sinkronisasi

Lihat status tugas yang sedang berjalan

Setelah Anda membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang dibuat dan informasi dasarnya di halaman Tugas Sinkronisasi.

Di kolom Aksi, Anda dapat Start atau Stop tugas sinkronisasi. Anda juga dapat mengklik Lainnya untuk melakukan operasi lainnya, seperti Edit dan View.
Untuk tugas yang sedang berjalan, Anda dapat melihat status dasarnya di bagian Execution Overview. Anda juga dapat mengklik bagian ikhtisar untuk melihat detail eksekusi.
Untuk tugas sinkronisasi offline seluruh database dari ClickHouse ke Hologres:
- Jika langkah sinkronisasi tugas Anda adalah Full Synchronization, rincian migrasi skema dan sinkronisasi penuh ditampilkan.
- Jika langkah sinkronisasi tugas Anda adalah Incremental Synchronization, rincian migrasi skema dan sinkronisasi inkremental ditampilkan.
- Jika langkah sinkronisasi tugas Anda adalah Full Synchronization dan Incremental Synchronization, rincian migrasi skema, sinkronisasi penuh, dan sinkronisasi inkremental ditampilkan.

Jalankan ulang tugas

Klik Rerun untuk menjalankan ulang tugas tanpa mengubah konfigurasi tugas.
Efek: Operasi ini menjalankan ulang tugas satu kali atau memperbarui properti tugas berulang.
Untuk menjalankan ulang tugas setelah mengeditnya dengan menambahkan atau menghapus tabel, edit tugas dan klik Complete. Status tugas kemudian berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang telah diedit.
Efek: Hanya tabel baru yang disinkronkan. Tabel yang sebelumnya disinkronkan tidak disinkronkan lagi.
Setelah Anda mengedit tugas (misalnya, dengan mengubah nama tabel tujuan atau beralih ke tabel tujuan yang berbeda) dan klik Selesai, operasi yang tersedia untuk tugas berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang telah diedit.
Efek: Tabel yang dimodifikasi disinkronkan. Tabel yang tidak dimodifikasi tidak disinkronkan lagi.