全部產品
Search
文件中心

Dataphin:步驟三:引入資料

更新時間:Jan 25, 2025

完成資料倉儲的規劃和資料來源資訊的配置後,您還需將您的來源資料product表、customer表、orders表引入到專案中。本文將指導您如何將資料來源的Data Integration到您的建立的專案空間。

背景資訊

product表、customer表、orders表的整合步驟相同,僅管道名稱不同。本文以整合product表為例介紹如何將product表整合至專案。

重要

完成product表整合後,您還需參考本文整合customer表、orders表至專案。

步驟一:建立管道開發指令碼

  1. 在Dataphin首頁的頂部功能表列中,選擇研發 > Data Integration

  2. 在頂部功能表列中選擇專案(Prod-Dev模式還需選擇環境)。

  3. 在左側導覽列中選擇整合 > 離線整合。在右側離線整合列表中單擊image表徵圖,選擇離線管道

  4. 建立離線管道對話方塊中,配置參數。

    參數

    描述

    管道名稱

    輸入產品表整合

    調度類型

    選擇周期性節點

    描述(非必填)

    可以填寫對離線單條管道的簡單描述。

    選擇目錄(非必選)

    預設目錄為離線管道

  5. 單擊確定,完成建立離線管道。

    離線管道參數配置詳情請參見通過單條管道建立整合任務

步驟二:開發離線管道指令碼

  1. 在離線單條管道開發頁面,單擊組件庫

  2. 輸入組件中選擇MySQL輸入組件,並將其拖動至管道畫布中。

  3. 輸出組件中選擇MaxCompute輸出組件,並將其拖動至管道畫布中。

  4. 串連MySQL輸入組件MaxCompute輸出組件

    image.png

  5. 分別單擊輸入和輸出組件的image.png表徵圖,配置MySQL輸入組件MaxCompute輸出組件

    • MySQL輸入組件

      參數

      描述

      步驟名稱

      使用預設值。

      資料來源

      選擇步驟二中已建立的資料來源:dataphin_tutorial

      來源表量

      選擇單表

      選擇來源表product

      切分鍵(非必選)

      無需添加切分鍵。

      輸入過濾(非必填)

      無需添加過濾條件。

      輸出欄位

      使用預設輸出欄位。

    • MaxCompute輸出組件

      參數

      描述

      步驟名稱

      使用預設名稱。

      資料來源

      選擇專案 > dataphin_tutorial(dataphin_tutorial),即當前專案。

      建立目標表:

      1. 單擊一鍵產生目標表

      2. 在代碼輸入框中,使用預設建表語句,無需修改。

      3. 單擊建立

      載入策略

      選擇追加資料

      映射關係

      在映射關係中選擇同名映射

  6. 單擊確定,完成輸入和輸出組件的配置。

    輸入輸出組件的參數配置詳情請參見配置MySQL輸入組件配置MaxCompute輸出組件

步驟三:配置管道指令碼的調度參數

  1. 單擊當前離線管道開發畫布功能表列中的調度配置按鈕,進行調度配置。

  2. 調度依賴地區,配置上遊依賴,其他地區參數保持預設。

    上遊依賴地區中,單擊添加根節點,作為當前任務的上遊依賴。

    離線整合任務屬性配置詳情請參見配置離線管道任務屬性

步驟四:提交和發布離線單條管道指令碼

  1. 單擊當前離線管道開發畫布功能表列中的提交表徵圖,提交管道指令碼。

  2. 在對話方塊中查看提交內容前置檢查資訊,並輸入提交備忘

  3. 單擊確定並提交

    提交時,Dataphin將進行任務的血緣解析及提交檢查。更多資訊,請參見整合任務提交說明