社區相容版叢集垂直變更配置和水平擴縮容

步驟一：記錄並清理 Kafka/RabbitMQ 引擎表

Kafka/RabbitMQ 引擎表無法通過控制台變更配置功能隨即轉移。變更配置前，您必須記錄這些表的 DDL 語句並將其從叢集中刪除，以避免幹擾變更配置任務。

1. 登入叢集並執行以下語句查詢所有 Kafka 和 RabbitMQ 引擎表及其下遊依賴。

   /*
   create_table_query：表定義語句
   dependencies_database：依賴該表的資料庫
   dependencies_table：依賴該表的表名
   通過 dependencies_database 和 dependencies_table 可以確定依賴 Kafka/RabbitMQ 表的物化視圖
   */
   SELECT * FROM system.tables WHERE engine IN ('RabbitMQ', 'Kafka');

2. 查看物化視圖定義，檢查其目標表是否為隱式表。

   /*
   查看物化視圖定義。
   如果物化視圖的目標表為隱式表，需特別注意：
   刪除物化視圖時會同時刪除隱式表，導致資料丟失。
   樣本：如果 CREATE MATERIALIZED VIEW [db.]table_name [TO[db.]name] 未指定 TO 子句，
   系統會自動建立隱式表，格式可能為 '.inner_id.<TABLE_UUID>' 或 '.inner.<TABLE>'
   */
   SELECT * FROM system.tables WHERE database='<DATABASE>' AND name = '<MATERIALIZED_VIEW_NAME>';

3. 如果物化視圖建立時未使用 TO 子句，系統會自動產生以 .inner 或 .inner_id 為首碼的隱含顯示目標表。變更配置時這些隱式表會遷移到新叢集節點，但由於內部命名機制，直接重建原物化視圖可能導致命名衝突。因此，您必須先將隱含顯示目標表重新命名為常規表名。

   -- 將隱含顯示目標表重新命名為常規表名（在所有節點上執行）
   RENAME TABLE <database>.`.inner_id.<uuid>` TO <database>.<new_target_table_name> ON CLUSTER default;

4. 刪除物化視圖和 Kafka/RabbitMQ 引擎表。

   重要

   必須先刪除引用 Kafka/RabbitMQ 表的物化視圖，然後再刪除 Kafka/RabbitMQ 引擎表。否則變更配置操作會失敗。

   -- 先刪除物化視圖
   DROP TABLE <database>.<materialized_view_name> ON CLUSTER default;
   
   -- 再刪除 Kafka/RabbitMQ 引擎表
   DROP TABLE <database>.<kafka_or_rabbitmq_table_name> ON CLUSTER default;

步驟二：備份非MergeTree類型表的業務資料

1. 登入叢集，通過以下語句，查看需要遷移資料的非MergeTree類型的表。

   SELECT
       `database` AS database_name,
       `name` AS table_name,
       `engine`
   FROM `system`.`tables`
   WHERE (`engine` NOT LIKE '%MergeTree%') AND (`engine` != 'Distributed') AND (`engine` != 'MaterializedView') AND (`engine` NOT IN ('Kafka', 'RabbitMQ')) AND (`database` NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema')) AND (`database` NOT IN (
       SELECT `name`
       FROM `system`.`databases`
       WHERE `engine` IN ('MySQL', 'MaterializedMySQL', 'MaterializeMySQL', 'Lazy', 'PostgreSQL', 'MaterializedPostgreSQL', 'SQLite')
   ))

2. 備份資料。

   您需將以上非MergeTree類型的業務資料進行備份。具體操作，請參見備份資料至OSS。

步驟四：資料移轉階段重建 Kafka/RabbitMQ 引擎表

當變更配置任務進入資料移轉階段（表結構遷移完成後），使用之前儲存的 DDL 語句重建 Kafka/RabbitMQ 引擎表及其下遊物化視圖。重建後，增量資料恢複流動並自動同步到新叢集節點。

-- Rebuild Kafka/RabbitMQ engine tables
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- Rebuild materialized view (using TO clause pointing to the renamed target table)
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<new_target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

步驟五：停寫前刪除 Kafka/RabbitMQ 引擎表

在配置的停寫視窗到來之前，刪除叢集上的 Kafka/RabbitMQ 引擎表及其下遊物化視圖，以停止增量資料寫入並確保最終資料同步的一致性。

-- Delete materialized views first
DROP TABLE <database>.<materialized_view_name> ON CLUSTER default;

-- Then delete Kafka/RabbitMQ engine tables
DROP TABLE <database>.<kafka_or_rabbitmq_table_name> ON CLUSTER default;

步驟六：變更配置完成後重建 Kafka/RabbitMQ 引擎表

變更配置任務完成後，使用之前儲存的 DDL 語句在已完成變更配置的叢集上重建 Kafka/RabbitMQ 引擎表及其下遊物化視圖，以恢複增量資料消費管道。

-- Rebuild Kafka/RabbitMQ engine tables
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- Rebuild materialized view (using TO clause pointing to the renamed target table)
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<new_target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

步驟七：遷移非MergeTree類型表的業務資料

登入叢集，通過OSS遷移步驟二：備份非MergeTree類型表的業務資料備份的資料。具體操作，請參見從OSS匯入資料。