ApsaraDB for ClickHouse:Sinkronisasi\ data\ dari\ RDS\ for\ MySQL\ ke\ ApsaraDB\ for\ ClickHouse\ menggunakan\ zero\-ETL

Database sumber (RDS for MySQL)

Jika Anda menyinkronkan data dari beberapa instans ke satu kluster ApsaraDB for ClickHouse, pastikan bahwa objek sinkronisasi dalam tugas yang berbeda tidak tumpang tindih.

Batasan umum

Jumlah maksimum tugas zero-ETL per kluster

Jumlah maksimum tugas zero-ETL yang dapat Anda buat untuk suatu kluster bergantung pada edisi:

• Edisi Perusahaan: ceil(batas CCU bawah / 8). Untuk kluster dengan batas ClickHouse Compute Unit (CCU) bawah sebesar 22, perhitungannya adalah ceil(22 / 8) = 3.

• Edisi Komunitas: ceil(total core CPU / 8). Untuk kluster dua node dengan masing-masing node memiliki 8 core, perhitungannya adalah ceil(16 / 8) = 2.

Jika kluster mencapai batasnya, hapus tugas yang tidak digunakan atau buat tugas sinkronisasi tambahan langsung di konsol DTS.

Struktur tabel di tujuan

Selama sinkronisasi skema, fitur zero-ETL menambahkan field _sign, _is_deleted, dan _version ke setiap tabel tujuan.

Untuk kluster Edisi Kompatibel Komunitas, tugas membuat tabel lokal dan tabel terdistribusi untuk setiap tabel sumber:

• Tabel terdistribusi: Nama sama dengan tabel sumber. Gunakan tabel ini untuk kueri.

• Tabel lokal: Dinamai <distributed_table_name>_local. Digunakan secara internal oleh ClickHouse untuk penyimpanan tingkat shard.

Penjadwalan dan kinerja

Jalankan tugas selama jam sepi. Selama sinkronisasi data penuh, DTS menggunakan resource baca dan tulis baik di sumber maupun tujuan, yang dapat meningkatkan beban server.

Langkah 1: Buat peran terkait layanan

Buat peran terkait layanan AliyunServiceRoleForClickHouseZeroETL.

Saat Anda memilih ID instans database selama konfigurasi tugas, konsol akan meminta Anda untuk membuat peran ini secara otomatis. Pembuatan manual tidak diperlukan dalam kasus tersebut.

Langkah 2: Berikan izin Pengguna RAM

Untuk mengizinkan Pengguna RAM membuat tugas zero-ETL, berikan izin berikut. Lihat Kelola izin Pengguna RAM.

• Source RDS for MySQL: AliyunRDSFullAccess

• Kluster ClickHouse tujuan: AliyunClickHouseFullAccess

• DTS: Buat kebijakan kustom menggunakan skrip berikut. Lihat Buat kebijakan izin kustom.

{
    "Version": "1",
    "Statement": [
        {
            "Action": "dts:*",
            "Resource": "*",
            "Effect": "Allow"
        },
        {
            "Action": "ram:PassRole",
            "Resource": "*",
            "Effect": "Allow",
            "Condition": {
                "StringEquals": {
                    "acs:Service": "dts.aliyuncs.com"
                }
            }
        }
    ]
}

Langkah 1: Buka halaman zero-ETL

1. Login ke Konsol ApsaraDB for ClickHouse.

2. Di pojok kiri atas, pilih wilayah kluster Anda.

3. Pada halaman Cluster List, klik tab List of Community Edition Instances, lalu klik ID kluster target.

4. Di panel navigasi kiri, klik Zero-ETL (Seamless Integration).

Langkah 2: Konfigurasi database sumber dan tujuan

1. Klik Create Zero-ETL Task.

2. Masukkan Task Name.

3. Konfigurasi database sumber dan tujuan.

   Konfigurasikan database sumber dan tujuan berdasarkan parameter berikut. Setelah menyelesaikan konfigurasi, klik Next.

   Database sumber

   Parameter	Deskripsi
   Database type	RDS for MySQL (satu-satunya opsi yang didukung)
   Access method	Instans Alibaba Cloud (satu-satunya opsi yang didukung)
   Instance region	Wilayah instans RDS for MySQL sumber
   RDS instance ID	ID instans RDS for MySQL sumber
   Database account	Akun database untuk instans RDS for MySQL
   Database password	Password untuk akun database instans RDS for MySQL
   Encryption	Pilih Non-encrypted atau SSL-encrypted. Jika Anda memilih SSL-encrypted, aktifkan enkripsi SSL untuk instans RDS for MySQL terlebih dahulu. Lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi tautan SSL dengan cepat.

   Database tujuan

   Parameter	Deskripsi
   Database type	ClickHouse
   Connection type	Instans Alibaba Cloud (satu-satunya opsi yang didukung)
   Instance region	Wilayah kluster tujuan
   Cluster ID	ID kluster tujuan
   Cluster type	Edisi Komunitas atau Edisi Perusahaan
   Database account	Akun database untuk kluster tujuan
   Database password	Password untuk akun database kluster tujuan

4. Klik Test Connectivity and Proceed.

Langkah 3: Pilih objek untuk disinkronkan

Pada bagian Source Objects, pilih database atau tabel yang akan disinkronkan. Klik untuk memindahkannya ke bagian Selected Objects.

Klik Next: Configure Database and Table Fields.

Langkah 4: Konfigurasi field tabel

Pada halaman Configurations for Databases, Tables, and Columns, atur hal berikut untuk setiap tabel:

Secara default, hanya tabel dengan konfigurasi yang belum ditentukan yang ditampilkan. Untuk melihat semua tabel, atur Definition Status ke All. Kunci partisi harus dipilih dari kolom kunci primer. Untuk detail tentang field-field ini, lihat CREATE TABLE.

Klik Next: Save Task Settings and Precheck. Tugas akan disimpan terlepas dari apakah pemeriksaan awal berhasil atau tidak.

Langkah 5: Jalankan pemeriksaan awal dan mulai tugas

Saat Success Rate mencapai 100%, klik Start.

Jika pemeriksaan awal gagal, perbaiki masalah yang dilaporkan di sumber atau tujuan, lalu modifikasi dan jalankan ulang pemeriksaan awal dari halaman zero-ETL.

Setelah tugas dimulai, halaman zero-ETL menampilkan ID/nama tugas, sumber/tujuan, dan status.