OSS Tables是阿里雲Object Storage Service提供的結構化資料湖儲存服務,基於Apache Iceberg開放表格式,為AI訓練資料管理和OLAP分析情境提供即開即用的低成本、高效能結構化資料存放區能力。OSS Tables內建自動化資料維護機制(壓縮、快照管理、未引用檔案清理),實現零營運的Serverless資料湖體驗。DataWorksData Integration支援寫入OSS Tables 資料來源,本文將為您介紹OSS Tables的使用詳情。
使用限制
限制項 | 說明 |
資源群組 | 僅支援 Serverless 資源群組。 |
讀寫方向 | 僅支援作為目標端寫入。 |
同步方式 | 僅支援 Hive 作為來源,以整庫離線方式寫入。 |
建立資料來源
開始前,確保已滿足以下條件:
已開通阿里雲OSS Tables 服務,並建立了 OSS Tables Bucket 和 Namespace。
已建立 DataWorks 工作空間,並擷取工作空間管理中心的存取權限。
已準備好用於鑒權的 AccessKey 或 RAM 角色。
操作步驟如下:
登入 DataWorks 控制台,切換至目標地區。
單擊左側導覽列的,從下拉框選擇對應工作空間後單擊進入管理中心。
管理中心頁面,單擊左側導覽列的資料來源。
資料來源頁面,單擊新增資料來源。
新增資料來源對話方塊,搜尋並選擇 OSS Tables。
OSS Tables 資料來源配置頁面,根據下表配置資料來源資訊。
參數
說明
資料來源名稱
自訂資料來源名稱。名稱在工作空間內唯一,必須以字母、數字、底線組合,且不能以數字和底線開頭。
配置模式
僅支援串連串模式。
Endpoint
下拉選擇 OSS Tables 引擎執行個體的 Endpoint 地址。
訪問身份
選擇鑒權方式:AK 鑒權(使用 AccessKey ID 和 AccessKey Secret 進行身分識別驗證)或阿里雲 RAM 角色(通過 RAM 角色進行身分識別驗證)。
Bucket 名稱
輸入 OSS Tables Bucket 名稱。
命名空間
輸入 OSS Tables Namespace。
配置完成後,單擊串連配置模組的測試連通性,驗證資料來源與 Serverless 資源群組的網路連通性。
連通性測試通過後,單擊完成編輯,完成資料來源的建立。
若連通性測試失敗,參見網路連通配置排查網路問題。
資料同步任務開發
整庫離線
支援資料來源:Hive。
配置指導:整庫離線同步任務配置。