全部產品
Search
文件中心

Dataphin:配置MaxCompute輸入組件

更新時間:Jan 25, 2025

MaxCompute輸入組件用於讀取MaxCompute資料來源的資料。在將MaxCompute資料來源的資料同步至其他資料來源的情境中,您需要先配置MaxCompute輸入組件讀取的資料來源,再配置資料同步的目標資料來源。本文為您介紹如何配置MaxCompute輸入組件。

前提條件

  • 已建立MaxCompute資料來源。具體操作,請參見建立MaxCompute資料來源

  • 進行MaxCompute輸入組件屬性配置的帳號,需具備該資料來源的同步讀許可權。如果沒有許可權,則需要申請資料來源許可權。具體操作,請參見申請資料來源許可權

操作步驟

  1. 在Dataphin首頁頂部功能表列,選擇研發 > Data Integration

  2. 在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。

  3. 在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。

  4. 單擊頁面右上方的組件庫,開啟組件庫面板。

  5. 組件庫面板左側導覽列中需選擇輸入,在右側的輸入組件列表中找到MaxCompute組件,並拖動該組件至畫布。

  6. 單擊MaxCompute輸入組件卡片中的image表徵圖,開啟MaxCompute輸入配置對話方塊。

  7. MaxCompute輸入配置對話方塊中,配置參數。

    參數

    描述

    步驟名稱

    即MaxCompute輸入組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:

    • 只能包含中文、字母、底線(_)、數字。

    • 不能超過64個字元。

    資料來源

    在資料來源下拉式清單中,展示所有MaxCompute類型的資料來源,包括您已擁有同步讀許可權的資料來源和沒有同步讀許可權的資料來源。 單擊image表徵圖,可複製當前資料來源名稱。

    說明

    當計算引擎為MaxCompute時,支援選擇邏輯表切換至邏輯表輸入組件進行整合。

    對於沒有同步讀許可權的資料來源,您可以單擊資料來源後的申請,申請資料來源的同步讀許可權。具體操作,請參見申請資料來源許可權

    如果您還沒有MaxCompute類型的資料來源,單擊建立,建立資料來源。具體操作,請參見建立MaxCompute資料來源

    選擇資料同步的來源表。 可輸入表名關鍵字進行搜尋,或輸入準確表名後單擊精準尋找。選擇表後,系統將自動進行表狀態檢測。單擊image表徵圖,可複製當前所選表的名稱。

    分區

    如果您選擇的表是分區表,則需要您輸入分區資訊,支援讀取靜態分區定界分割,靜態分區如ds=20230101或者ds1=2023,ds2=01;定界分割如/*query*/ds >=20230101 and ds <= 20230107

    分區不存在時

    可選擇以下策略,處理當指定分區不存在時的情境:

    • 置任務失敗:終止該任務共置失敗。

    • 置任務成功,無寫入資料:任務正常運行成功,無寫入的資料。

    • 使用最新非空分區:使用該表當前的最新非空分區(max_pt)作為需同步的分區,如該表不存在任何有資料的分區,則任務報錯共置失敗。

    輸出欄位

    輸出欄位地區展示了已選中表的所有欄位資訊。如果不需要將某些欄位輸出至下遊組件,則您可以刪除對應的欄位:

    說明

    當計算引擎為MaxCompute時,MaxCompute輸入組件的輸出欄位支援查看欄位的分類分級,非MaxCompute計算引擎則不支援。

    • 單個刪除欄位情境:如果需要刪除少量的欄位,則可以單擊操作列下的sgaga表徵圖,刪除多餘的欄位。

    • 大量刪除欄位情境:如果需要刪除大批量欄位,則可以單擊欄位管理,在欄位管理對話方塊選擇多個欄位後,單擊image左移動表徵圖,將已選的輸入欄位移入到未選的輸入欄位並單擊確定,完成欄位的大量刪除。

      image..png

  8. 單擊確認,完成MaxCompute輸入組件的屬性配置。