全部產品
Search
文件中心

Data Transmission Service:從MaxCompute遷移至RDS MySQL

更新時間:Jul 06, 2024

通過Data Transmission Service,您可以將MaxCompute的資料移轉至MySQL。

前提條件

確保您已完成以下操作:

注意事項

  • DTS在執行全量資料移轉時將佔用源庫和目標庫一定的讀寫資源,可能會導致資料庫的負載上升,在資料庫效能較差、規格較低或業務量較大的情況下(例如源庫有大量慢SQL、存在無主鍵表或目標庫存在死結等),可能會加重資料庫壓力,甚至導致資料庫服務不可用。因此您需要在執行資料移轉前評估源庫和目標庫的效能,同時建議您在業務低峰期執行資料移轉(例如源庫和目標庫的CPU負載在30%以下)。

  • DTS會自動地在目標阿里雲RDS執行個體中建立資料庫,如果待遷移的資料庫名稱不符合阿里雲RDS執行個體的定義規範,您需要在配置遷移任務之前在目標阿里雲RDS執行個體中建立資料庫。

    說明

    關於阿里雲RDS的定義規範和建立資料庫的操作方法,請參見建立資料庫和帳號

  • 當選擇的遷移類型為全量資料移轉,那麼為保障資料一致性,在遷移期間請勿在源MaxCompute執行個體中寫入新的資料。

  • 對於遷移失敗的任務,DTS會觸發自動回復。當您需要將業務切換至目標執行個體,請務必先結束或釋放該任務,避免該任務被自動回復後,導致源端資料覆蓋目標執行個體的資料。

  • 由於源MaxCompute執行個體不支援主鍵約束,在一些異常情況下(如網路異常),DTS會進行任務重試,可能會導致目標RDS執行個體中該無主鍵表出現重複資料。

  • DTS在遷移MaxCompute至RDS MySQL時,暫不支援增量資料移轉,即不支援將遷移過程中源庫產生的增量資料即時移轉至目標庫。

    說明

    由於暫不支援增量資料移轉,資料移轉期間請勿在源MaxCompute執行個體的遷移對象中寫入新的資料,否則會導致遷移對象在源與目標的資料不一致。

目標庫支援的執行個體類型

執行資料移轉操作的MySQL資料庫支援以下執行個體類型:

  • ECS上的自建資料庫

  • 通過專線、VPN網關或智能網關接入的自建資料庫

  • 通過資料庫網關接入的自建資料庫

  • 同一或不同阿里雲帳號下的RDS MySQL執行個體

本文以RDS執行個體為例介紹配置流程,當目標庫為其他執行個體類型時,配置流程與該案例類似。

說明

如果目標庫為自建MySQL資料庫,您還需要執行相應的準備工作,詳情請參見準備工作概覽

費用說明

遷移類型

鏈路配置費用

公網流量費用

結構遷移和全量資料移轉

不收費

通過公網將資料移轉出阿里雲時將收費,詳情請參見計費概述

遷移類型說明

遷移類型

說明

結構遷移

DTS將待遷移對象的結構定義遷移到目標庫。目前DTS支援結構遷移的對象為庫、表和視圖。

警告

此情境屬於異構資料庫間的資料移轉,DTS在執行結構遷移時資料類型無法完全對應,請謹慎評估資料類型的映射關係對業務的影響,詳情請參見異構資料庫間的資料類型映射關係

全量資料移轉

DTS將待遷移對象的存量資料全部遷移到目標庫中。

說明

由於全量資料移轉會並發INSERT導致目標執行個體的表存在片段,全量遷移完成後目標庫的資料表空間會比源庫的資料表空間大。

操作步驟

  1. 登入資料轉送控制台

    說明

    若資料轉送控制台自動跳轉至Data Management控制台,您可以在右下角的jiqiren中單擊返回舊版,返回至舊版資料轉送控制台。

  2. 在左側導覽列,單擊資料移轉

  3. 遷移工作清單頁面頂部,選擇遷移的目的地組群所屬地區。

  4. 配置遷移任務的源庫和目標庫串連資訊。

    源及目標庫資訊配置

    類別

    配置

    說明

    源庫資訊

    執行個體類型

    選擇MaxCompute

    執行個體地區

    選擇源MaxCompute執行個體所屬的地區。

    Project

    填入MaxCompute執行個體的Project,您可以在MaxCompute工作空間列表頁面中查詢。工作空間列表

    目標庫資訊

    執行個體類型

    選擇RDS執行個體

    執行個體地區

    選擇目標RDS MySQL執行個體所屬的地區。

    RDS執行個體ID

    選擇目標RDS MySQL執行個體ID。

    資料庫帳號

    填入目標RDS MySQL執行個體的資料庫帳號,帳號需具備讀寫權限。

    資料庫密碼

    填入該資料庫帳號的密碼。

    目標庫資訊填寫完畢後,您可以單擊資料庫密碼後的測試連接來驗證填入的資訊是否正確。

    說明

    如果填寫正確則提示測試通過;如果提示測試失敗,單擊測試失敗後的診斷,根據提示調整填寫的目標庫資訊。

    串連方式

    根據需求選擇非加密串連SSL安全連線。如果設定為SSL安全連線,您需要提前開啟RDS MySQL執行個體的SSL加密功能,詳情請參見設定SSL加密

  5. 配置完成後,單擊頁面右下角的授權白名單並進入下一步

    如果源或目標資料庫是阿里雲資料庫執行個體(例如RDS MySQLApsaraDB for MongoDB等),DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單;如果源或目標資料庫是ECS上的自建資料庫,DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中,您還需確保自建資料庫沒有限制ECS的訪問(若資料庫是叢集部署在多個ECS執行個體,您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中);如果源或目標資料庫是IDC自建資料庫或其他雲資料庫,則需要您手動添加對應地區DTS服務的IP地址,以允許來自DTS伺服器的訪問。DTS服務的IP地址,請參見DTS伺服器的IP位址區段

    警告

    DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險,一旦使用本產品代表您已理解和確認其中可能存在的安全風險,並且需要您做好基本的安全防護,包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段,或者使用通過內網(專線/VPN網關/智能網關)的方式接入。

  6. 單擊頁面右下角的下一步,允許將MaxCompute中專案的下述許可權授予給DTS遷移帳號。詳情如下圖所示。

    帳號授權

  7. 選擇遷移類型和遷移對象。

    遷移類型及對象配置

    配置

    說明

    遷移類型

    同時勾選結構遷移全量資料移轉

    說明

    DTS暫不支援將MaxCompute的資料增量遷移至RDS MySQL執行個體。

    遷移對象

    遷移對象框中單擊待遷移的對象,然後單擊向右小箭頭將其移動到已選擇對象框。

    說明
    • 遷移對象選擇的粒度為庫、表、列。

    • 預設情況下,遷移對象在目標庫中的名稱與源庫保持一致。如果您需要改變遷移對象在目標庫中的名稱,需要使用對象名映射功能,詳情請參見庫表列映射

    • 如果使用了對象名映射功能,可能會導致依賴這個對象的其他對象遷移失敗。

    源、目標庫無法串連重試時間

    預設重試12小時,您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫,遷移任務將自動回復。否則,遷移任務將失敗。

    說明

    由於串連重試期間,DTS將收取任務運行費用,建議您根據業務需要自訂重試時間,或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

  8. 單擊頁面右下角的預檢查並啟動

    重要
    • 在資料移轉任務正式啟動之前,會先進行預檢查。只有預檢查通過後,才能成功啟動資料移轉任務。

    • 如果預檢查失敗,單擊具體檢查項後的提示,查看失敗詳情。

      • 您可以根據提示修複後重新進行預檢查。

      • 如無需修複警示檢測項,您也可以選擇確認屏蔽忽略警示項並重新進行預檢查,跳過警示檢測項重新進行預檢查。

  9. 預檢查通過後,單擊下一步

  10. 在彈出的購買配置確認對話方塊,選擇鏈路規格並選中資料轉送(隨用隨付)服務條款

  11. 單擊購買並啟動,遷移任務正式開始。

    說明

    請勿手動結束遷移任務,否則可能會導致資料不完整。您只需等待遷移任務完成即可,遷移任務會自動結束。

  12. 將業務切換至RDS MySQL執行個體。

後續步驟

用於資料移轉的源MaxCompute執行個體的專案空間成員擁有讀許可權,目標RDS MySQL執行個體的資料庫帳號擁有讀寫權限,為保障資料庫安全性,請在資料移轉完成後,刪除源MaxCompute執行個體的專案空間成員或修改其角色,以及刪除目標RDS MySQL執行個體中的資料庫帳號。具體步驟,請參見添加專案空間成員並設定角色刪除帳號