ApsaraDB for ClickHouse：通過遷移升級核心大版本

步驟一：記錄並清理 Kafka/RabbitMQ 引擎表

遷移前，您需要記錄源叢集中所有 Kafka/RabbitMQ 引擎表及其下遊物化視圖的定義，處理隱含顯示目標表，然後刪除這些表，避免影響遷移任務的正常執行。

1. 登入源叢集，查詢所有 Kafka 和 RabbitMQ 引擎表及其下遊依賴關係。

   /*
   create_table_query：表定義
   dependencies_database：依賴該表的資料庫
   dependencies_table：依賴該表的表名
   通過 dependencies_database 和 dependencies_table 可以查看依賴 Kafka/RabbitMQ 表的物化視圖
   */
   SELECT * FROM system.tables WHERE engine IN ('RabbitMQ', 'Kafka');

2. 查看物化視圖定義，確認其目標表是否為隱式表。

   /*
   查看物化視圖定義。
   如果物化視圖的目標表為隱式表，需特別注意：
   刪除物化視圖會同時刪除隱式表，導致資料丟失。
   樣本：如果 CREATE MATERIALIZED VIEW [db.]table_name [TO[db.]name] 未指定 TO，
   系統會自動建立隱式表，格式可能為 '.inner_id.<TABLE_UUID>' 或 '.inner.<TABLE>'
   */
   SELECT * FROM system.tables WHERE database='<DATABASE>' AND name = '<MATERIALIZED_VIEW_NAME>';

3. 如果物化視圖的目標表為隱式表，將隱含顯示目標表 RENAME 為新名稱，防止後續刪除物化視圖時資料丟失。

   -- 將隱含顯示目標表重新命名為新名稱以保護資料
   RENAME TABLE <DATABASE>.`.inner_id.<TABLE_UUID>` TO <DATABASE>.<new_target_table_name>;

4. 刪除 Kafka/RabbitMQ 引擎表及其下遊物化視圖。

   -- 先刪除物化視圖
   DROP TABLE <DATABASE>.<MATERIALIZED_VIEW_NAME>;
   -- 再刪除 Kafka/RabbitMQ 引擎表
   DROP TABLE <DATABASE>.<KAFKA_OR_RABBITMQ_TABLE_NAME>;

步驟二：建立遷移任務

1. 登入雲資料庫ClickHouse控制台。

2. 在集群清單頁面，選擇默認實例列表，單擊目的地組群ID。

3. 在左側導覽列，單擊数据迁移及同步 > 實例遷移。

4. 單擊創建遷移任務。

   1. 配置源執行個體與目標執行個體。

      配置以下資訊，單擊測試連接以進行下一步。

      說明

      測試連接成功後，進入下一個步驟。如果測試連接失敗，請根據提示，重新設定源執行個體和目標執行個體。

      

   2. 確認遷移內容。

      仔細閱讀頁面中資料移轉的包含內容提示資訊，單擊下一步:預檢測並啟動同步。

   3. 後台遷移鏈路預檢測並啟動任務。

      後台會對目標執行個體和源執行個體進行實例狀態檢測、存儲空間檢測和本地表和分布式錶檢測。

      • 檢測成功：

        1. 仔細閱讀頁面遷移過程中對執行個體的影響提示內容。

        2. 設定停写时间。

           說明

           • 遷移的最後10分鐘需要源叢集停止寫入，以確保資料的一致性。

           • 為了保證遷移的成功率，建議您停寫時間至少設定30分鐘。

           • 遷移任務必須在任務啟動（即任務建立完成）後的5天內結束，因此，源叢集停写时间的結束日期必須小於或等於當前日期+5。

           • 為了降低遷移對您業務的影響，建議您設定的停寫時間範圍處於您的業務低峰時段。

        3. 單擊完成。

           說明

           單擊完成後，任務建立完成且啟動任務。

      • 檢測失敗：您需要按照提示資訊進行操作，重新進行資料移轉。檢測內容及要求如下。

        檢測專案	檢測要求
        實例狀態檢測	遷移發起時，源叢集和目的地組群不能有正在啟動並執行管控任務（包含擴容，升降配等）。如果當前源叢集和目的地組群有管控任務正在運行，則不能發起遷移任務。
        存儲空間檢測	遷移進行前，進行儲存空間校正。保證目的地組群的儲存空間大於等於源叢集的儲存空間的1.2倍。
        本地表和分布式錶檢測	如果源叢集存在本地表沒有建立分布式表或者分布式表不唯一，則校正失敗。請刪除多餘的分布式表或建立唯一分布式表。

步驟三：評估遷移是否可以完成

如果源群的寫入速度小於 20MB/s，您可跳過此步驟。

如果源叢集的寫入速度大於 20MB/s，由於目的地組群理論上單節點寫入速度也大於 20MB/s。為了確保目的地組群的寫入速度能夠趕上源叢集的寫入速度，從而順利完成遷移，您需要檢查目的地組群的真實寫入速度，以評估遷移的可行性。具體操作如下：

1. 查看目的地組群的磁碟吞吐，以判斷目的地組群的真實寫入速度，如何查看磁碟吞吐，請參見查看叢集監控資訊。

2. 判斷目的地組群與源叢集的寫入速度的關係。

   1. 目的地組群寫入速度大於源叢集的寫入速度：遷移成功率較高，繼續步驟四操作。

   2. 目的地組群寫入速度小於源叢集的寫入速度：遷移失敗率較高，建議您取消遷移任務，使用手動遷移進行資料移轉。

步驟四：查看遷移任務

1. 在集群清單頁面，選擇默認實例列表，單擊目的地組群ID。

2. 在左側導覽列，單擊数据迁移及同步>實例遷移。

   在執行個體遷移列表頁面，查看遷移任務的遷移狀態、运行阶段信息、停写窗口。

   說明

   當运行阶段信息列中資料移轉的預計剩餘時間小於等於 10 分鐘時，且遷移狀態為遷移進行中時，為了確保資料的一致性，將觸發源叢集停寫。停寫規則如下：

   • 觸發時間在源叢集預設的停寫時間範圍內，源叢集停寫。

   • 觸發時間不在源叢集預設的停寫時間範圍內，且小於或等於任務啟動（即任務建立）日期+5，您可通過修改停寫視窗時間，繼續遷移任務。

   • 觸發時間不在源叢集預設的停寫時間範圍內，且大於任務啟動（即任務建立）日期+5，遷移失敗。您需取消遷移任務，並清理目的地組群中已遷移的資料，重新建立遷移任務，發起遷移。

   重要

   • 如果源叢集存在 Kafka/RabbitMQ 引擎表：當遷移任務進入資料移轉階段（即表結構遷移完成）時，請執行步驟五在源叢集重建 Kafka/RabbitMQ 引擎表，使增量資料恢複寫入並同步到目的地組群。

   • 快到預設的停寫時間視窗時，請執行步驟六刪除源叢集的 Kafka/RabbitMQ 引擎表及其下遊物化視圖，避免停寫期間因訊息積壓導致資料不一致。

步驟五：在源叢集重建 Kafka/RabbitMQ 引擎表

當遷移任務進入資料移轉階段（即表結構遷移完成）後，使用之前儲存的 DDL 語句在源叢集重建 Kafka/RabbitMQ 引擎表及其下遊物化視圖。重建後，增量資料將恢複寫入並自動同步到目的地組群。

-- 在源叢集重建 Kafka/RabbitMQ 引擎表
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- 重建物化視圖（指向重新命名後的目標表）
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<new_target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

步驟六：在源叢集刪除 Kafka/RabbitMQ 引擎表

快到預設的停寫時間視窗時，刪除源叢集的 Kafka/RabbitMQ 引擎表及其下遊的物化視圖，以停止增量資料寫入，確保最終資料同步的一致性。

-- 先刪除物化視圖
DROP TABLE <database>.<materialized_view_name> ON CLUSTER default;

-- 再刪除 Kafka/RabbitMQ 引擎表
DROP TABLE <database>.<kafka_or_rabbitmq_table_name> ON CLUSTER default;

步驟七：遷移完成後在目的地組群重建 Kafka/RabbitMQ 引擎表

遷移任務完成後，使用之前儲存的 DDL 語句在目的地組群重建 Kafka/RabbitMQ 引擎表及其下遊物化視圖，恢複增量資料的消費鏈路。

-- 在目的地組群重建 Kafka/RabbitMQ 引擎表
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- 重建物化視圖
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

步驟八：（可選）取消遷移任務

1. 在集群清單頁面，選擇默認實例列表，單擊目的地組群ID。

2. 在左側導覽列，單擊数据迁移及同步>實例遷移。

3. 在目標遷移任務的操作列，單擊取消迁移。

4. 在取消迁移對話方塊，單擊確定。

   說明

   • 取消遷移後，工作清單不會立即更新，建議您，通過間隔重新整理查看任務狀態。

   • 任務取消後，任務的遷移狀態會變成已完成。

   • 在您重新發起遷移之前，必須先清理目的地組群中已遷移的資料，避免出現資料重複的情況。

步驟九：（可選）修改停寫視窗時間

1. 在集群清單頁面，選擇默認實例列表，單擊目的地組群ID。

2. 在左側導覽列，單擊数据迁移及同步>實例遷移。

3. 在目標遷移任務的操作列，單擊修改停写窗口。

4. 在修改停写窗口對話方塊，選擇停写时间。

   說明

   停写时间設定規則，與建立遷移任務中停写时间的設定一致。

5. 單擊確定。