本文將以MySQL資料來源為例,為您介紹如何通過Data Integration功能將MaxCompute中的資料匯出到MySQL資料來源中。

在DataWorks中,通常使用Data Integration功能,將您的系統中產生的業務資料定期匯入到工作區,通過SQL任務的計算後,再將計算結果定期匯出到您指定的資料來源中,以便進一步展示或運行使用。

目前Data Integration功能支援從以下資料來源中將資料匯入工作空間或將資料從工作空間匯出:RDS、MySQL、SQL Server、PostgreSQL、MaxCompute、OCS、DRDS、OSS、Oracle、FTP、 dm、Hdfs、MongoDB等,詳細的資料來源類型列表請參見支援的資料來源

前提條件

  • 如果您使用的是ECS上自建的資料庫,需要在自己的ECS添加安全性群組
  • 如果您使用的是RDS/MongoDB等資料來源,需要在RDS/MongoDB等控制台添加白名單
    说明 如果使用自訂資源群組調度RDS的資料同步任務,必須把自訂資源群組的機器IP也加到RDS的白名單中。

操作步驟

新增資料來源
说明 只有專案系統管理員角色可建立資料來源,其他角色的成員僅可查看資料來源。
  1. 以專案系統管理員身份登入DataWorks管理主控台
  2. 選擇項目列表下對應項目操作欄中的進入工作區
  3. 單擊頂部功能表列中的Data Integration
  4. 單擊左側導覽列中的資料來源
  5. 單擊右上方的新增資料來源

  6. 填寫新增資料來源對話方塊中的各配置項。

    各配置項說明如下所示:
    • 資料來源類型:有公網IP。
    • 資料來源名稱:字母、數字、底線組合,且不能以數字和底線開頭。例如abc_123。
    • 資料來源描述:不超過80個字元。
    • JDBC URL:JDBC串連資訊,格式為jdbc:mysql://host:port/database。
    • 使用者名/密碼:資料庫對應的使用者名和密碼。

    不同資料來源類型對應的配置說明,請參見資料來源配置

  7. 單擊測試連通性
  8. 如果測試連通性成功,單擊儲存即可。

確認作為目標的MySQL資料庫中有表

在MySQL資料庫中建立表odps_result,建表語句如下所示:
CREATE TABLE `ODPS_RESULT` (
`education`  varchar(255) NULL ,
`num`  int(10) NULL 
)

建表完成後,可執行desc odps_result;語句查看錶詳情。

建立並配置同步節點

本節將建立一個同步節點write_result並進行配置,以把表result_table中的資料寫入到自己的MySQL資料庫中。
  1. 建立一個同步節點write_result。

  2. 設定節點間的依賴關係,使write_result節點依賴insert_data節點。

  3. 選擇來源。
    選擇MaxCompute資料來源及源頭表result_table,單擊 下一步

  4. 選擇目標。
    選擇MySQL資料來源及目標表odps_result,單擊 下一步

  5. 映射欄位。
    選擇欄位的映射關係。需對欄位對應關係進行配置,左側的源頭表欄位和右側的目標表欄位為一一對應的關係。

  6. 通道控制。
    單擊 下一步,配置作業速率上限和髒資料檢查規則。

  7. 預覽儲存。
    完成上述配置後,上下滾動滑鼠可查看任務配置,如果無誤,單擊 儲存

提交資料同步任務

同步任務儲存後,回到商務程序,單擊頂部功能表列中的 提交,將同步任務提交到調度系統中,調度系統會按照配置屬性在從第二天開始自動定時執行。

後續步驟

現在,您已經學習了如何建立同步任務把資料匯出到不同類型的資料來源中,您可以繼續學習下一個教程。在該教程中您將學習如何設定同步任務的調度屬性和依賴關係。詳情請參見設定任務的調度屬性和依賴關係