ApsaraDB for ClickHouse：將自建ClickHouse遷移至雲資料庫 ClickHouse 企業版

注意事項

步驟一：檢查自建叢集並開啟使用系統資料表system

在資料移轉之前，需要根據自建叢集是否已啟用system.part_log和system.query_log，對config.xml檔案進行修改配置，以實現增量遷移。

<part_log>
    <database>system</database>
    <table>part_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</part_log>

<query_log>
    <database>system</database>
    <table>query_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

步驟二：配置目的地組群相容自建叢集版本

為確保目的地組群與自建叢集的行為儘可能相容，需串連目的地組群，修改compatibility參數，使目的地組群與自建叢集的版本號碼一致。

樣本如下：

SELECT currentProfiles(); //擷取使用者使用的profile
SELECT
    profile_name,
    setting_name,
    value
FROM system.settings_profile_elements
WHERE (setting_name = 'compatibility') AND (profile_name = 'xxxx'); // 查詢compatibility配置值
ALTER PROFILE XXXX SETTINGS compatibility = '23.8'; // 修改profile

步驟三：建立遷移任務

1. 登入雲資料庫ClickHouse控制台，在集群清單頁面，選擇企业版实例列表，並單擊目的地組群ID。

2. 在左側導覽列，單擊数据迁移及同步 > 實例遷移。

3. 單擊創建遷移任務。

4. 選擇源及目標執行個體。

   配置項	說明	樣本
   任務名稱	遷移任務名稱，只能由大小寫英文字母和數字組成，且不允許重複，大小寫不敏感。	MigrationTask1229
   源实例cluster名称	通過SELECT * FROM system.clusters; 擷取自建執行個體cluster名稱。	default
   VPC IP地址	叢集每個shard的IP和PORT地址，使用英文逗號隔開。格式：IP:PORT,IP:PORT,.... 您可以使用以下SQL擷取自建叢集的IP和PORT： SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = '<cluster_name>' and replica_num = 1; 參數說明： cluster_name：目的地組群的名字。 replica_num=1表示選擇第一個複本集，也可以選擇其他複本集或者自行挑選每個shard的一個副本組成。 重要 不能使用ClickHouse的VPC網域名稱地址或者SLB地址。 如果IP和連接埠發生轉換後映射到阿里雲，則需要根據網路打通情況配置對應的IP和PORT。	192.168.0.5:9000,192.168.0.6:9000
   數據庫賬號	自建叢集資料庫帳號。	test
   數據庫密碼	自建叢集資料庫帳號密碼。	test******
   源实例内核版本	單擊获取版本。	22.8.5.29

5. 根據擷取到的源執行個體版本資訊，執行對應操作：

   • 源執行個體版本大於等於22.10：單擊下一步。

   • 源執行個體版本小於22.10：根據提示填寫目標實例信息，單擊下一步。

   • 擷取版本失敗：源執行個體資訊填寫錯誤、網路未打通等情況會導致擷取版本失敗，請根據提示資訊處理後，重新單擊获取版本。

   說明

   由於低版本社區版與企業版之間存在參數不相容的問題，當源執行個體版本低於22.10時，需要通過源端向目的端推送資料的方式進行同步。在這種情況下，需要將目的端的IP映射至自建網路。如果自建網路與企業版執行個體處於同一 VPC，或雙方網路已通過VPC對等串連連通，則可直接使用原有IP地址進行串連。

6. 檢查連通性和配置。

   1. 單擊開始檢查。

      點擊查看檢查項。

      • 連通性驗證：自建執行個體和目標執行個體之間的網路完全打通，兩端各個節點之間能夠互相訪問。

      • 賬戶許可權驗證：源端賬戶、密碼輸入正確，能夠串連到源端執行個體。

      • 檢查源執行個體系統資料表：自建執行個體必須有system.query_log、system.parts、system.part_log三個系統資料表。

      • 檢查配置：自建執行個體和目標執行個體時區相同、目標執行個體的compatibility配置項與源端版本相同。

   2. 檢查過程中可以單擊右上方的即時查看檢查進度。

   3. 檢查完成後，請根據檢查結果，完成後續操作。

      您可以選擇結果層級與檢查項，然後單擊按鈕，查看對應的檢查結果，檢查結果說明如下。

      • 成功：若所有檢查項均通過，單擊下一步繼續操作。

      • 警告：非強制卡點項，需自行確認該警告項是否會對業務和遷移任務造成影響。您可選擇忽略警示，或根據警示內容處理對應的警示項後，再次單擊開始檢查，重新檢查連通性與配置。

      • 錯誤：強制卡點項，需根據錯誤內容處理對應的錯誤項後，再次單擊開始檢查，重新檢查連通性與配置。

        檢測報錯資訊以及解決方案，請參見常見問題。

7. 檢查庫表結構。

   1. 單擊開始檢查。

   2. 檢查過程中可以單擊右上方的即時查看檢查進度。

   3. 檢查完成後，請根據檢查結果，完成後續操作。

      檢查結果說明請參見步驟5。

8. 庫表結構遷移。

   1. 單擊開始遷移。

   2. 遷移過程中可以單擊右上方的即時查看遷移進度。

   3. 檢查完成後，請根據檢查結果，完成後續操作。

      檢查結果說明請參見步驟5。

9. （可選）檢查SQL相容性。

   SQL相容性檢查通過在目標執行個體上對自建執行個體的SQL語句進行回放，來驗證不同核心版本的文法相容性，請您根據自身需求，決定是否需要執行此步驟。

   • 無需執行，則單擊跳過。

   • 若需要執行，需選擇請求重放時間後，再單擊開始檢查。檢查通過後單擊下一步，檢查不通過時的處理方法請參見步驟5。

     重要

     • 執行個體庫表無資料，僅提供驗證文法相容性的能力。如果需要有資料，可先執行下一步驟遷移部分資料。

     • 由於回放SQL的用戶端版本和目標執行個體不匹配，可能存在誤判。針對異常情況，您可以自行執行SQL驗證。

10. 啟動同步。

    1. 單擊開始同步。

    2. 同步過程中可以單擊右上方的即時查看同步進度。

       同步過程中，支援執行停止、重啟與取消遷移操作控制遷移流程，點擊查看操作含義及影響等資訊。

       操作	功能含義	影響	使用情境
       停止	立刻停止遷移資料，遷移剩餘的庫表結構。	資料可能未完全遷移。 在您重新發起遷移之前，必須先清理目的地組群中已遷移的資料，避免出現資料重複的情況。	全部資料移轉完成後，主動停止遷移任務。 期望遷移一部分資料後測試，但是不想停寫自建叢集。
       重啟	在檢查並清理其他庫表、遷移資料、遷移剩餘庫表結構過程中出現異常，客戶根據錯誤資訊處理之後，將重試當前步驟，並正常執行後續步驟。	無	遷移過程出現異常，客戶根據提示資訊解決之後想要斷點重試
       取消遷移	強製取消任務，跳過後續步驟。 重要 取消遷移後，該遷移任務將被鎖定，即不允許修改遷移流程，您可通過上一步、下一步或重繪按鈕查看遷移步驟執行結果。	遷移任務強制終止，目標執行個體庫表結構和配置可能不完整，不可作為業務正常使用。 在您重新發起遷移之前，必須先清理目的地組群中已遷移的資料，避免出現資料重複的情況。	遷移任務影響了自建叢集，希望儘快結束遷移，開啟寫入。

    3. 當執行到遷移資料時，切換到遷移資料頁簽，單擊按鈕查看遷移進度及預估剩餘時間。

       點擊查看如何評估遷移是否可以完成。

       遷移是否可以完成取決於遷移速度與自建叢集寫入速度的關係。

       • 遷移速度的測試實驗資料如下：

         資料表的Part平均大小	源端執行個體規格	源端磁碟規格	目標端執行個體規格	目標端儲存介質	叢集節點數	單節點遷移速度	整體遷移速度
         402.54MB	8C32G	PL1	16CCU	OSS	16	47MB/s	752.34MB/s
         402.54MB	80C384G	PL3	48CCU	ESSD_L2	8	197.74MB/s	1581.95MB/s

       • 判斷目的地組群與自建叢集的寫入速度的關係：

         資料移轉的速度與part大小（在測試實驗中，平均part大小在100MB~10GB的範圍內，能夠保持較快的遷移速度）、執行個體規格、磁碟規格、業務資料特性等要素相關，因此測試實驗資料僅供參考。目的地組群的真實寫入速度需要您通過查看目的地組群的磁碟吞吐來判斷，如何查看磁碟吞吐，請參見查看叢集監控資訊。

         • 目的地組群寫入速度小於自建叢集的寫入速度：遷移失敗率較高，建議您取消遷移任務，使用手動遷移進行資料移轉。

         • 目的地組群寫入速度大於自建叢集的寫入速度：可繼續後續步驟，為提高遷移成功率，建議資料量 /（遷移速度-自建執行個體寫入速度）所得的遷移所需時間小於等於 5天 。

       重要

       您需重點監控目標任務的遷移進度，根據預估剩餘時間，主動停寫自建叢集並處理Kafka和RabbitMQ引擎表。

       點擊查看如何預估何時停寫自建叢集。

       業務切流前需要確保自建執行個體無新資料產生，進而保證遷移後資料的完整性。故需停止業務寫入，並刪除Kafka和RabbitMQ表，其具體操作如下：

       1. 登入自建叢集，通過以下語句，查詢需要處理的表。

          SELECT * FROM system.tables WHERE engine IN ('RabbitMQ', 'Kafka');

       2. 查看目標表的建表語句。

          SHOW CREATE TABLE <aim_table_name>;

       3. 串連目的地組群，並執行上一步擷取的建表語句。

       4. 登入自建叢集，刪除已經遷移了的Kafka和RabbitMQ引擎表。

          重要

          刪除Kafka時，需同時刪除引用Kafka表的物化視圖，否則會導致物化視圖遷移無法完成，最終導致遷移無法完成。

    4. 當遷移進度為100%，且確認源端執行個體已經進入停寫狀態後，需要您單擊停止按鈕結束遷移流程，執行後續流程。

       

    5. 同步完成後單擊完成。

       重要

       當“啟動同步”步驟完成後，該遷移任務將被鎖定，即不允許修改遷移流程，您可通過上一步、下一步或重繪按鈕查看遷移步驟執行結果。

步驟四：遷移非MergeTree類型表的業務資料

遷移任務中，非MergeTree類型的表僅支援遷移表結構（例如MySQL表）或者不支援遷移（例如Log表）。因此，遷移任務完成後，目的地組群可能存在只有表結構，沒有具體的業務資料的表，您需自主完成業務資料移轉，具體操作如下：

1. 登入自建叢集，查看需要遷移資料的非MergeTree類型的表。

   SELECT
       `database` AS database_name,
       `name` AS table_name,
       `engine`
   FROM `system`.`tables`
   WHERE (`engine` NOT LIKE '%MergeTree%') AND (`engine` != 'Distributed') AND (`engine` != 'MaterializedView') AND (`engine` NOT IN ('Kafka', 'RabbitMQ')) AND (`database` NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema')) AND (`database` NOT IN (
       SELECT `name`
       FROM `system`.`databases`
       WHERE `engine` IN ('MySQL', 'MaterializedMySQL', 'MaterializeMySQL', 'Lazy', 'PostgreSQL', 'MaterializedPostgreSQL', 'SQLite')
   ))

2. 登入目的地組群，通過remote函數執行資料移轉。