ApsaraDB for ClickHouse:Skalabilitas vertikal dan horizontal untuk kluster Edisi Kompatibel Komunitas

Langkah 1: Catat dan hapus tabel Kafka/RabbitMQ

Fitur penskalaan di konsol tidak dapat langsung memigrasikan tabel engine Kafka dan RabbitMQ. Sebelum menskala kluster, Anda harus mencatat statement DDL untuk tabel-tabel tersebut dan menghapusnya dari kluster agar tidak mengganggu tugas penskalaan.

1. Login ke kluster dan jalankan statement berikut untuk mengkueri semua tabel engine Kafka dan RabbitMQ beserta dependensi downstream-nya.

   /*
   create_table_query: Statement definisi tabel.
   dependencies_database: Database yang bergantung pada tabel tersebut.
   dependencies_table: Nama tabel yang bergantung pada tabel tersebut.
   Anda dapat menggunakan dependencies_database dan dependencies_table untuk mengidentifikasi materialized view yang bergantung pada tabel Kafka/RabbitMQ.
   */
   SELECT * FROM system.tables WHERE engine IN ('RabbitMQ', 'Kafka');

2. Lihat definisi materialized view untuk memeriksa apakah tabel target-nya merupakan tabel implisit.

   /*
   Lihat definisi materialized view.
   Jika tabel target materialized view adalah tabel implisit, perhatikan hal berikut:
   Saat Anda menghapus materialized view, tabel implisit juga dihapus, sehingga menyebabkan kehilangan data.
   Contoh: Jika klausa TO tidak ditentukan dalam CREATE MATERIALIZED VIEW [db.]table_name [TO[db.]name],
   sistem secara otomatis membuat tabel implisit dengan format '.inner_id.<TABLE_UUID>' atau '.inner.<TABLE>'.
   */
   SELECT * FROM system.tables WHERE database='<DATABASE>' AND name = '<MATERIALIZED_VIEW_NAME>';

3. Jika materialized view dibuat tanpa klausa TO, sistem secara otomatis menghasilkan tabel target implisit dengan awalan .inner atau .inner_id. Tabel implisit ini dimigrasikan ke node baru selama penskalaan, tetapi karena mekanisme penamaan internal, membuat ulang materialized view asli secara langsung dapat menyebabkan konflik penamaan. Oleh karena itu, Anda harus terlebih dahulu mengganti nama tabel target implisit tersebut menjadi nama tabel biasa.

   -- Ganti nama tabel target implisit menjadi nama tabel biasa (jalankan di semua node).
   RENAME TABLE <database>.`.inner_id.<uuid>` TO <database>.<new_target_table_name> ON CLUSTER default;

4. Hapus materialized view dan tabel engine Kafka/RabbitMQ.

   Penting

   Anda harus menghapus materialized view yang mereferensi tabel Kafka/RabbitMQ sebelum menghapus tabel engine Kafka/RabbitMQ. Jika tidak, operasi penskalaan akan gagal.

   -- Hapus materialized view terlebih dahulu.
   DROP TABLE <database>.<materialized_view_name> ON CLUSTER default;
   
   -- Lalu, hapus tabel engine Kafka/RabbitMQ.
   DROP TABLE <database>.<kafka_or_rabbitmq_table_name> ON CLUSTER default;

Langkah 2: Backup data tabel non-MergeTree

1. Login ke kluster dan jalankan statement berikut untuk mengidentifikasi tabel non-MergeTree yang perlu dimigrasikan datanya.

   SELECT
       `database` AS database_name,
       `name` AS table_name,
       `engine`
   FROM `system`.`tables`
   WHERE (`engine` NOT LIKE '%MergeTree%') AND (`engine` != 'Distributed') AND (`engine` != 'MaterializedView') AND (`engine` NOT IN ('Kafka', 'RabbitMQ')) AND (`database` NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema')) AND (`database` NOT IN (
       SELECT `name`
       FROM `system`.`databases`
       WHERE `engine` IN ('MySQL', 'MaterializedMySQL', 'MaterializeMySQL', 'Lazy', 'PostgreSQL', 'MaterializedPostgreSQL', 'SQLite')
   ))

2. Backup data tersebut.

   Backup data bisnis dalam tabel non-MergeTree. Untuk informasi lebih lanjut, lihat Backup data ke OSS.

Langkah 4: Buat ulang tabel Kafka/RabbitMQ

Saat tugas penskalaan memasuki tahap Data Migration (setelah migrasi skema tabel selesai), gunakan statement DDL yang telah Anda simpan untuk membuat ulang tabel engine Kafka/RabbitMQ dan materialized view downstream-nya. Setelah dibuat ulang, data inkremental kembali mengalir dan secara otomatis disinkronkan ke node kluster baru.

-- Buat ulang tabel engine Kafka/RabbitMQ.
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- Buat ulang materialized view (gunakan klausa TO untuk mengarah ke tabel target yang telah diganti namanya).
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<new_target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

Langkah 5: Hapus tabel Kafka/RabbitMQ sebelum penangguhan write

Sebelum jendela penangguhan write yang dikonfigurasi dimulai, hapus tabel engine Kafka/RabbitMQ dan materialized view downstream-nya untuk menghentikan penulisan data inkremental dan memastikan konsistensi sinkronisasi data akhir.

-- Hapus materialized view terlebih dahulu.
DROP TABLE <database>.<materialized_view_name> ON CLUSTER default;

-- Lalu, hapus tabel engine Kafka/RabbitMQ.
DROP TABLE <database>.<kafka_or_rabbitmq_table_name> ON CLUSTER default;

Langkah 6: Buat ulang tabel Kafka/RabbitMQ setelah penskalaan

Setelah tugas penskalaan selesai, gunakan statement DDL yang telah Anda simpan untuk membuat ulang tabel engine Kafka/RabbitMQ dan materialized view downstream-nya di kluster yang telah diskala guna memulihkan pipeline konsumsi data inkremental.

-- Buat ulang tabel engine Kafka/RabbitMQ.
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- Buat ulang materialized view (gunakan klausa TO untuk mengarah ke tabel target yang telah diganti namanya).
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<new_target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

Langkah 7: Migrasikan data tabel non-MergeTree

Login ke kluster dan gunakan OSS untuk memigrasikan data yang telah Anda backup di Langkah 2. Untuk informasi lebih lanjut, lihat Impor data dari OSS.