如何在阿里雲DataWorksData Integration服務通過Paimon REST將資料匯入至DLF Catalog。
前提條件
已建立DataWorks工作空間。如未建立,詳情請參見建立工作空間。
建立DLF Catalog
詳情請參見DLF 快速入門。
建立資料來源
進入資料來源頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入管理中心。
進入工作空間管理中心頁面後,單擊左側導覽列的資料來源,進入資料來源頁面。
單擊新增資料來源按鈕,搜尋並選擇Data Lake Formation,來建立資料來源,可參考以下表格內容:
參數
說明
資料來源名稱
可自訂資料來源名稱。資料來源名稱在工作空間內唯一;必須以字母、數字、底線組合,且不能以數字和底線開頭。
配置模式
僅支援阿里雲執行個體模式。
訪問身份
可選擇如下內容:
阿里雲主帳號。
阿里雲RAM子帳號。
阿里雲RAM角色。
可按需求進行選擇。
說明若訪問身份選擇了RAM子帳號或RAM角色,則需對子帳號或角色授予以下許可權。
授予角色或子帳號REST API所需全部Action的RAM權限原則。
在資料湖構建控制台授予角色或子帳號待同步資料表的Data Editor許可權。
DLF資料目錄(Catalog)
選擇DataWorks同地區下的DLF資料目錄。
資料庫名稱
選擇資料目錄下的資料庫。
以上內容配置完成後,需在串連配置模組測試該資料來源與Serverless資源群組的連通性,若連通性測試為可連通,即可單擊完成編輯,完成該資料來源的建立。若連通性測試失敗,則需參考網路連通配置進行排查。
建立Data Integration任務
在DataWorks的Data Integration中,支援使用Data Lake Formation 資料來源,詳情可參見:同步資料至Data Lake Formation。