DataWorks的資料集功能可以實現對非結構化資料(如映像、文檔)的有效管理控制,並在DataWorks中使用,本文將為您介紹資料集的建立與使用方式。
背景資訊
在使用DataWorks進行資料開發的過程中,當您需要讀寫儲存於OSS、NAS中的資料時,可以使用DataWorks的資料集功能。該功能支援您建立和管理資料集及其多個版本,通過資料集版本管理,您能夠追蹤資料的版本,並在新版本出現問題時迅速切換至舊版本,以確保業務流暢。
計費說明
DataWorks資料集功能不收費,但使用OSS或NAS儲存資料會產生相應的儲存費用和網路訪問費用。詳情請參見OSS計費、NAS計費。
建立資料集
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在右側頁面中單擊進入數據地圖。
在資料地圖左側導覽列中,單擊數據目錄(
),進入資料目錄頁面。在目錄列表中單擊DataSet。找到需要建立資料集的工作空間後,單擊工作空間名稱,進入工作空間資料集的詳情頁,該頁面將展示空間下已經建立好的所有資料集,您可通過新建數據集按鈕,參照下文,快速建立DataWorks資料集。
如果管理員已建立了自訂屬性並綁定了資料集類型,您在建立資料集時可直接配置自訂屬性值(如業務域、資料密級等)。自訂屬性還支援從工作空間層級繼承屬性值,減少重複配置。更多資訊,請參見自訂屬性。
在建立新版本時,自訂屬性沿用資料集已配置的取值且不可在版本建立頁編輯;如需調整,請先編輯資料集的自訂屬性後再建立新版本。
在建立資料集表單的資料集配置步驟選擇儲存類型後,匯入配置步驟會根據儲存類型展示對應欄位。可選的儲存類型如下,請參照下方對應小節填寫:
儲存類型 | 典型用途 | 顯示條件 |
Object Storage Service | 掛載 OSS Bucket 中的檔案夾,供資料開發節點讀寫非結構化資料。 | 預設可選。 |
Object Storage Service(COS) | 掛載騰訊雲 COS 中的目錄,複用已納管的 COS 資料來源。 | 僅當前工作空間已綁定至少一個 COS 資料來源時可選。 |
Apsara File Storage NAS(通用型 / 極速型) | 掛載阿里雲 NAS 中的子路徑,適合需要共用訪問、多任務讀寫同一檔案系統的情境。 | 預設可選;通用型與極速型在同一表單中通過選擇不同的檔案系統來區分。 |
DLF Lance | 掛載 DLF 中的 Paimon 資料目錄下的 Lance 表,按表粒度納入資料集。 | 需當前工作空間已納管 DLF 資料來源且存在 Paimon 類型的資料目錄。 |
儲存類型為Object Storage Service
數據集配置:
配置項
配置說明
儲存類型
Object Storage Service
內容類型
選擇您註冊資料的類型。此處非必選,預設為通用。
導入配置:
配置項
配置說明
OSS 路徑
指定需要掛載的 OSS 檔案夾路徑(Bucket、Endpoint 由路徑自動解析,無需單獨填寫)。
說明請確保您有對應OSS Bucket的許可權。
預設掛載路徑
指定 OSS 檔案夾的預設掛載路徑,後續可通過此路徑在 DataWorks 訪問資料。系統預設為掛載至
/mnt/data/,可手動調整;自訂路徑必須以/mnt/開頭。
儲存類型為Object Storage Service(COS)
僅當前工作空間已綁定至少一個 COS 資料來源時,儲存類型下拉中才會出現此選項。若下拉中無 COS,請先在工作空間中建立並綁定 COS 資料來源。
數據集配置:
配置項
配置說明
儲存類型
Object Storage Service(COS)
內容類型
選擇您註冊資料的類型。此處非必選,預設為通用。
導入配置:
配置項
配置說明
COS 資料來源
必填。從下拉中選擇當前工作空間已納管的 COS 資料來源;下拉支援按資料來源名稱模糊搜尋,清單項目展示資料來源 ID。若沒有可用資料來源,可通過下拉中的建立資料來源入口跳轉建立。
COS 路徑
必填。手動填寫 COS 中需要掛載的目錄路徑,請確保帳號有該路徑的讀寫權限。
說明COS 類型的資料集不支援自訂預設掛載路徑,因此建立表單中不會展示應用配置步驟。
儲存類型為檔案儲存體(通用型 NAS / 極速型 NAS)
通用型 NAS 與極速型 NAS 共用同一份表單,僅檔案系統下拉中可選的檔案系統不同:
在儲存類型下拉中選擇Apsara File Storage NAS時,檔案系統下拉僅展示通用型 NAS;檔案系統路徑預設值為根目錄
/。在儲存類型下拉中選擇檔案儲存體(極速型 NAS)時,檔案系統下拉僅展示極速型 NAS;檔案系統路徑預設值為
/share/。數據集配置:
配置項
配置說明
儲存類型
內容類型
選擇您註冊資料的類型。此處非必選,預設為通用。
導入配置:
配置項
配置說明
檔案系統
必填。選擇在當前阿里雲賬戶、當前地區下建立的目標 NAS 檔案系統。下拉根據所選儲存類型自動過濾(通用型或極速型),暫不支援選擇使用 SMB 協議的檔案系統。
檔案系統掛載點
必填。配置掛載點來訪問 NAS 檔案系統。
重要請確保掛載點的VPC和資源群組的VPC網路已連通:
推薦 NAS 掛載點與資源群組使用同一 VPC,確保網路連通。
其他情境,請參考網路連通方案概述將 NAS 掛載點的 VPC 與資源群組配置的 VPC 網路打通。
檔案系統路徑
必填。指定需要掛載的 NAS 檔案夾路徑。預設值隨儲存類型不同而不同:通用型 NAS 預設
/,極速型 NAS 預設/share/。請確保該路徑在 NAS 系統中確實存在,否則在使用該資料集時會出現錯誤。預設掛載路徑
指定上述 NAS 檔案夾在資料集中的預設掛載路徑,後續您可以通過該路徑在 DataWorks 訪問 NAS 路徑上的資料。系統預設為
/mnt/data/,可手動調整;自訂路徑必須以/mnt/開頭。
儲存類型為 DLF Lance
DLF Lance 資料集按表粒度納管,使用前請先在當前工作空間中納管 DLF 資料來源,並確保 DLF 中存在 Paimon 類型的資料目錄與 Lance 表。該類型不展示匯入格式欄位(按表粒度匯入,無需選擇目錄或檔案格式)。
數據集配置:
配置項
配置說明
儲存類型
DLF Lance。
內容類型
選擇您註冊資料的類型。此處非必選,預設為通用。
導入配置:
配置項
配置說明
資料目錄名稱
必填。下拉僅展示 DLF 資料來源下 Paimon 類型的資料目錄。
資料庫名稱
必填。下拉根據所選資料目錄聯動;未選擇資料目錄時不可用。
Lance 表名稱
必填。下拉僅展示所選資料庫下的 Lance 類型表。
預設掛載路徑
指定 Lance 表在資料集中的預設掛載路徑,後續可通過該路徑在 DataWorks 訪問 Lance 表資料。系統預設為
/mnt/data/,可手動調整;自訂路徑必須以/mnt/開頭。
查看資料集詳情
本節面向「我想查閱一個已有資料集」的情境,介紹如何進入資料集詳情頁以及詳情頁內可查看的資訊。維護資料集(建立版本、刪除等)請參見管理資料集。
進入資料集詳情頁:在中,進入目標空間下的資料集列表,單擊需要查看的資料集操作列的詳情,即可進入資料集詳情頁。
詳情頁有兩種開啟形態:在資料目錄面板中開啟(預設),右上方提供建立版本、刪除資料集按鈕;若通過全域搜尋結果或外部深鏈直接開啟(獨立詳情頁路由),頁面頂部會額外提供去管理按鈕,單擊後跳回資料目錄中本資料集所在節點的管理面板。兩種形態下頁簽內容一致。
詳情頁含以下頁簽:
屬性:展示資料集的負責人、建立時間、所屬工作空間、描述等核心欄位;若管理員已配置自訂屬性,會同步展示自訂屬性卡片(詳情請參見自訂屬性,自訂屬性支援從工作空間繼承)。該頁簽下還內嵌「資料集版本」區塊,展示當前資料集的全部版本,並提供版本切換與跳轉 OSS 控制台查看未經處理資料的入口(詳見查看資料集未經處理資料)。
數據查看:按資料集的儲存類型與內容類型呈現範例資料,無需跳出 DataWorks 即可預覽。
說明該頁簽僅對儲存類型為Object Storage Service且內容類型在系統支援預覽清單內的資料集可見;其他儲存類型或內容類型的資料集不會展示該頁簽,需通過查看資料集未經處理資料跳轉 OSS 管理主控台查看原始檔案。
血緣信息:查看資料集與上遊表、下遊任務之間的血緣關係。
表使用說明:維護並閱讀資料集的使用說明文檔,能力與表詳情的使用說明一致。
管理資料集
本節面向「我想對一個已有資料集做變更」的情境,按使用者工作群組織。所有操作均在查看資料集詳情章節描述的資料集詳情頁右上方或屬性頁簽的數據集版本區塊中觸發。
新建版本(更新資料指向):
在資料集詳情頁右上方單擊新建版本,進入版本建立頁面。版本配置區允許重新填寫OSS路徑或 NAS 檔案系統配置(按資料集的儲存類型展示對應欄位),並重新設定默認掛載路徑。資料集配置區(名稱、儲存類型、內容類型、自訂屬性等)在建立版本時為唯讀,需變更請先編輯資料集本身。
查看資料集未經處理資料(跳轉外部控制台):
僅適用於儲存類型為Object Storage Service的資料集。在屬性頁簽的數據集版本區塊選擇目標版本,單擊操作區的去OSS查看按鈕,即可跳轉至 OSS 管理主控台並定位到該版本配置的儲存路徑。若該資料集的內容類型已支援站內預覽,操作區會改為顯示資料查看按鈕,單擊後跳轉到資料查看頁簽直接預覽,無需離開 DataWorks。
刪除版本(撤回某一次版本):
在屬性頁簽的數據集版本區塊右上方的下拉式功能表中選擇目標版本,單擊删除按鈕即可刪除該版本。刪除版本後資料集本身保留,僅該版本不可恢複。
刪除資料集(移除整個資料集):
在資料集詳情頁右上方單擊删除按鈕,即可刪除該資料集及其所有版本。
無論是刪除資料集還是刪除版本,都只刪除 DataWorks 資料集功能中的記錄,不會刪除 OSS / NAS 等底層儲存中的原始檔案;但刪除後在 DataWorks 資料集功能中將無法恢複,請謹慎操作。
使用資料集
DataWorks支援您在資料開發節點(Shell節點、Python節點、Notebook 基礎開發)以及個人開發環境中使用已建立的資料集。
具體操作請參見使用資料集。