ApsaraDB for ClickHouse:Migrasi dari ClickHouse yang dikelola sendiri ke Edisi Community-Compatible ClickHouse

Langkah 1: Aktifkan tabel sistem di kluster yang dikelola sendiri

Migrasi melalui konsol memerlukan system.part_log dan system.query_log diaktifkan dan dikonfigurasi dengan benar di config.xml kluster yang dikelola sendiri.

<part_log>
    <database>system</database>
    <table>part_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</part_log>

<query_log>
    <database>system</database>
    <table>query_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

DROP TABLE system.part_log;
DROP TABLE system.query_log;

Langkah 2: Atur kompatibilitas pada kluster tujuan

Konfigurasikan kluster tujuan agar menggunakan tingkat kompatibilitas yang sama dengan kluster yang dikelola sendiri. Hal ini meminimalkan perubahan yang diperlukan setelah migrasi.

1. Periksa versi kedua kluster:

   SELECT version();

2. Jika versinya berbeda, atur parameter kompatibilitas pada kluster tujuan agar sesuai dengan versi kluster yang dikelola sendiri. Contohnya:

   SET GLOBAL compatibility = '22.8';

Langkah 3 (Opsional): Aktifkan mesin MaterializedMySQL

Jika kluster yang dikelola sendiri memiliki tabel yang menggunakan mesin MaterializedMySQL, jalankan perintah berikut pada kluster tujuan:

SET GLOBAL allow_experimental_database_materialized_mysql = 1;

Komunitas ClickHouse tidak lagi memelihara mesin MaterializedMySQL. Setelah migrasi, gunakan Data Transmission Service (DTS) untuk menyinkronkan data MySQL ke tabel ReplacingMergeTree sebagai gantinya. Lihat Gunakan integrasi tanpa hambatan untuk menyinkronkan data dari ApsaraDB RDS for MySQL ke kluster ApsaraDB for ClickHouse dan Sinkronkan data dari ApsaraDB RDS for MySQL ke kluster ApsaraDB for ClickHouse.

Langkah 4: Buat tugas migrasi

1. Login ke konsol ApsaraDB for ClickHouse.

2. Pada halaman Clusters, pilih Clusters of Community-compatible Edition dan klik ID kluster tujuan.

3. Di panel navigasi kiri, klik Data Migration and Synchronization > Migrate from ClickHouse.

4. Klik Create Migration Task.

5. Konfigurasikan pengaturan koneksi kluster sumber: Untuk mendapatkan alamat IP dan port kluster sumber: replica_num = 1 memilih set replika pertama. Anda dapat memilih set replika lain sesuai kebutuhan.

   Migrasi lintas akun atau lintas wilayah

   Instans ClickHouse Alibaba Cloud lintas akun atau lintas wilayah: ``sql SELECT shard_num, replica_num, host_address AS ip, port FROM system.clusters WHERE cluster = 'default' AND replica_num = 1; ``

   Migrasi instans non-Alibaba Cloud

   Instans ClickHouse non-Alibaba Cloud: ``sql SELECT shard_num, replica_num, host_address AS ip, port FROM system.clusters WHERE cluster = '<cluster_name>' AND replica_num = 1; ``

   Parameter kluster sumber

   Pengaturan kluster sumber:

   Field	Deskripsi	Contoh
   Source Access Method	Pilih Express Connect, VPN Gateway, Smart Access Gateway, or Self-managed ClickHouse Clusters on an ECS Instance.	—
   Cluster Name	Nama untuk kluster sumber. Hanya angka dan huruf kecil.	source
   Source Cluster Name	Nama kluster internal dari SELECT * FROM system.clusters;.	default
   VPC IP Address	Pasangan TCP IP:PORT untuk setiap shard, dipisahkan koma. Jangan gunakan nama domain VPC atau alamat SLB. Format: IP:PORT,IP:PORT,...	192.168.0.5:9000,192.168.0.6:9000
   Database Account	Akun untuk kluster sumber.	test
   Database Password	Kata sandi untuk akun kluster sumber.	—

   Parameter kluster tujuan

   Pengaturan kluster tujuan:

   Field	Deskripsi
   Database Account	Akun untuk kluster tujuan.
   Database Password	Kata sandi untuk akun kluster tujuan.

   

6. Klik Test Connection and Proceed. Jika pengujian gagal, perbaiki pengaturan koneksi dan coba lagi.

7. Tinjau konten migrasi dan klik Next: Pre-detect and Start Synchronization.

8. Sistem menjalankan tiga pemeriksaan awal. Jika semua pemeriksaan lolos: Jika pemeriksaan gagal, ikuti panduan penanganan error di Pesan error pra-periksa dan solusinya.

   1. Baca prompt dampak dengan cermat.

   2. Klik Completed untuk membuat dan memulai tugas.

   Item Pemeriksaan	Persyaratan
   Instance Status Detection	Tidak ada tugas manajemen yang sedang berjalan (scale-out, upgrade, atau downgrade) pada kedua kluster.
   Storage Space Detection	Ruang penyimpanan kluster tujuan ≥ 1,2× ruang yang digunakan oleh kluster self-managed.
   Local Table and Distributed Table Detection	Setiap tabel lokal di kluster self-managed harus memiliki tepat satu tabel terdistribusi yang sesuai.

   

Langkah 5: Evaluasi apakah migrasi dapat diselesaikan

Lewati langkah ini jika kecepatan penulisan kluster sumber kurang dari 20 MB/detik.

Jika kecepatan penulisan kluster sumber melebihi 20 MB/detik, periksa apakah kluster tujuan mampu mengimbangi:

1. Lihat metrik Disk throughput pada kluster tujuan. Lihat Lihat informasi pemantauan kluster.

2. Bandingkan kecepatan penulisan:

   • Kecepatan penulisan tujuan > kecepatan penulisan sumber: migrasi kemungkinan besar succeed. Lanjutkan ke Langkah 6.

   • Kecepatan penulisan tujuan < kecepatan penulisan sumber: migrasi kemungkinan besar gagal. Batalkan tugas dan gunakan Migrasi manual sebagai gantinya.

Langkah 6: Pantau tugas migrasi

1. Login ke konsol ApsaraDB for ClickHouse.

2. Pada halaman Clusters, pilih Clusters of Community-compatible Edition dan klik ID kluster tujuan.

3. Di panel navigasi kiri, klik Data Migration and Synchronization > Migrate from ClickHouse.

4. Pantau status tugas dan kolom Running Information.

Untuk melihat detail tugas, klik View Details di kolom Actions. Halaman detail menampilkan skema tabel yang dimigrasikan, struktur database, dan pesan error apa pun.

Setelah tugas berakhir (status: Completed atau Canceled), halaman View Details akan dikosongkan. Untuk melihat skema tabel yang dimigrasikan setelah itu, jalankan:

SELECT `database`, `name`, `engine_full`
FROM `system`.`tables`
WHERE `database` NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema');

Status tugas:

Langkah 7: Hentikan penulisan dan tangani tabel Kafka dan RabbitMQ

Sebelum mengalihkan traffic bisnis ke kluster tujuan, hentikan semua penulisan ke kluster yang dikelola sendiri dan buat secara manual tabel Kafka dan RabbitMQ di tujuan.

1. Di kluster yang dikelola sendiri, identifikasi tabel yang perlu diproses:

   SELECT * FROM system.tables WHERE engine IN ('RabbitMQ', 'Kafka');

2. Dapatkan DDL untuk setiap tabel:

   SHOW CREATE TABLE <target_table_name>;

3. Di kluster tujuan, jalankan pernyataan DDL untuk membuat tabel tersebut. Lihat Hubungkan ke kluster ClickHouse menggunakan DMS untuk instruksi koneksi.

4. Di kluster yang dikelola sendiri, hapus tabel Kafka dan RabbitMQ.

Langkah 8: Selesaikan migrasi

Setelah penulisan ke kluster yang dikelola sendiri dihentikan, finalisasi migrasi. Ini akan memigrasikan data yang tersisa, menjalankan pemeriksaan volume data, dan memigrasikan skema database dan tabel yang belum selesai.

1. Login ke konsol ApsaraDB for ClickHouse.

2. Pada halaman Clusters, pilih Clusters of Community-compatible Edition dan klik ID kluster tujuan.

3. Di panel navigasi kiri, klik Data Migration and Synchronization > Migrate from ClickHouse.

4. Di kolom Actions untuk tugas tersebut, klik Complete Migration.

5. Di kotak dialog, klik OK.

Langkah 9: Migrasi data untuk tabel non-MergeTree

Tugas migrasi hanya menyalin skema tabel untuk tabel non-MergeTree (tabel eksternal, tabel Log), tetapi tidak menyalin datanya. Migrasikan data tersebut secara manual.

1. Di kluster yang dikelola sendiri, identifikasi tabel yang perlu migrasi data secara manual:

   SELECT
       `database` AS database_name,
       `name` AS table_name,
       `engine`
   FROM `system`.`tables`
   WHERE (`engine` NOT LIKE '%MergeTree%')
     AND (`engine` != 'Distributed')
     AND (`engine` != 'MaterializedView')
     AND (`engine` NOT IN ('Kafka', 'RabbitMQ'))
     AND (`database` NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema'))
     AND (`database` NOT IN (
         SELECT `name`
         FROM `system`.`databases`
         WHERE `engine` IN ('MySQL', 'MaterializedMySQL', 'MaterializeMySQL', 'Lazy', 'PostgreSQL', 'MaterializedPostgreSQL', 'SQLite')
     ))

2. Di kluster tujuan, migrasikan data menggunakan fungsi remote. Lihat Migrasi data menggunakan fungsi remote di bagian Migrasi manual.

Langkah 1: Migrasi skema tabel (DDL)

Instal clickhouse-client dengan versi yang sama dengan kluster ApsaraDB for ClickHouse tujuan. Lihat clickhouse-client untuk instruksi unduhan.

1. Daftar database di kluster yang dikelola sendiri:

   clickhouse-client \
     --host="<old_host>" --port="<old_port>" \
     --user="<old_username>" --password="<old_password>" \
     --query="SHOW databases" > database.list

   Database system tidak perlu dimigrasikan.

2. Daftar tabel di kluster yang dikelola sendiri. Gunakan salah satu pendekatan berikut:

   Tabel dengan nama yang diawali .inner. adalah representasi internal dari materialized view dan tidak perlu dimigrasikan.

   clickhouse-client \
     --host="<old_host>" --port="<old_port>" \
     --user="<old_username>" --password="<old_password>" \
     --query="SHOW tables from <database_name>" > table.list

   Atau kueri semua database dan tabel sekaligus:

   SELECT DISTINCT database, name FROM system.tables WHERE database != 'system';

3. Ekspor DDL untuk semua tabel dalam sebuah database:

   clickhouse-client \
     --host="<old_host>" --port="<old_port>" \
     --user="<old_username>" --password="<old_password>" \
     --query="SELECT concat(create_table_query, ';') FROM system.tables WHERE database='<database_name>' FORMAT TabSeparatedRaw" > tables.sql

4. Buat database target di kluster tujuan, lalu impor DDL-nya:

   Parameter	Deskripsi
   <old_host id="49bc4df282xmg"></old_host>	Alamat kluster yang dikelola sendiri.
   <old_port></old_port>	Port kluster yang dikelola sendiri.
   <old_username></old_username>	Akun dengan izin DML baca/tulis, pengaturan, dan DDL.
   <old_password id="349ed6d40fai6"></old_password>	Kata sandi untuk akun tersebut.
   <new_host>	Alamat kluster ApsaraDB for ClickHouse tujuan.
   <new_port>	Port kluster ApsaraDB for ClickHouse tujuan.
   <new_username>	Akun dengan izin DML baca/tulis, pengaturan, dan DDL.
   <new_password>	Kata sandi untuk akun tersebut.

   clickhouse-client \
     --host="<new_host>" --port="<new_port>" \
     --user="<new_username>" --password="<new_password>" \
     -d '<database_name>' --multiquery < tables.sql

Langkah 2: Migrasi data

Tersedia tiga opsi. Gunakan fungsi remote (Opsi A) jika memungkinkan, karena mendukung migrasi tingkat partisi dan mengurangi penggunaan resource.

clickhouse-client \
  --host="<old_host>" --port="<old_port>" \
  --user="<old_username>" --password="<old_password>" \
  --query="SELECT * FROM <database_name>.<table_name> FORMAT CSV" > table.csv

clickhouse-client \
  --host="<new_host>" --port="<new_port>" \
  --user="<new_username>" --password="<new_password>" \
  --query="INSERT INTO <database_name>.<table_name> FORMAT CSV" < table.csv

clickhouse-client \
  --host="<old_host>" --port="<old_port>" \
  --user="<username>" --password="<password>" \
  --query="SELECT * FROM <database_name>.<table_name> FORMAT CSV" | \
clickhouse-client \
  --host="<new_host>" --port="<new_port>" \
  --user="<username>" --password="<password>" \
  --query="INSERT INTO <database_name>.<table_name> FORMAT CSV"