DataWorks資料地圖通過統一中繼資料中樞,實現AI資產的拓撲可視化與全生命週期管理,有效提升資產治理能效。本文為您介紹如何通過DataWorks資料地圖查看AI資產。
背景資訊
DataWorks資料地圖整合了PAI-AI資產中繼資料,支援對AI的核心資產做全域檢索與管理。通過統一介面,您可以高效地發現和管理這些資源,並利用血緣服務追蹤資料和模型的來源、使用及演變過程。
AI資產血緣服務協助企業全面管理和最佳化AI資產,提供了一種直觀的方式來追蹤資料和模型的生命週期。每個AI資產對象的詳情頁面都提供了查看血緣資訊的入口,方便使用者進行查看分析。
例如,一個典型的AI資產血緣關係圖展示了從輸入檔案(OSS儲存路徑)和資料集(MaxCompute表)經過PAI訓練任務(Model Gallery),產生輸出檔案(如模型適配器檔案、標註資料集檔案)、AI模型以及模型線上服務的完整鏈路。
以下是AI資產血緣服務的幾個主要應用情境:
AI資產治理:通過提供詳細的資產血緣資訊,企業可以瞭解AI資產的來源和使用方式。這不僅有助於提升資料和模型的品質,還能確保企業的AI實踐符合合規要求,支援更為精準的資料管理和決策制定。
模型可追溯性:在Responsible AI使用的背景下,保持AI模型的透明度至關重要。AI資產血緣服務允許企業追蹤模型訓練的資料集、特徵工程方法和參數調整過程。這種可追溯性對於滿足監管要求、驗證實驗結果以及進行模型審計至關重要。
故障排查與最佳化:當AI服務出現效能問題時,資產血緣資訊可以協助快速定位問題根源。例如,如果模型的預測準確率突然下降,可能是由於上遊資料處理發生了變化。通過血緣圖,企業能夠迅速識別並解決這些問題。
資源使用率提升:瞭解任務之間的依賴關係使企業能夠更合理地分配計算資源,避免重複計算,節省成本。同時,在大規模實驗中,通過血緣資訊瞭解任務和資料之間的依賴關係,企業可以識別出哪些任務可以並存執行,從而實現更高效的資源利用和處理能力。
提升協作效率:在大型組織中,多個團隊可能會共用同一套基礎設施進行研究。清晰的任務血緣資訊可以促進跨團隊協作,加速創新過程。
前提條件
已建立參加新版資料開發的工作空間。您需要根據需求選擇以下版本:
建立PAI工作空間的租戶支援搜尋查看對應類型的AI資產,您需在建立工作空間時勾選建立同名AI工作空間。
DataWorks標準版:對於常規的AI資產血緣服務,您需要開通DataWorks標準版。
DataWorks專業版:如果您需要使用DLC模型訓練任務和工作流程工作的血緣上報能力,則需要開通DataWorks專業版。
支援的AI資產
DataWorks支援您在資料地圖中搜尋和查看以下AI資產的中繼資料詳情資訊:
採集AI資產
當您的工作空間開啟PAI服務後,資料地圖將自動採集您AI工作空間中的資產資訊。
搜尋AI資產
通過搜尋功能,您可以查看當前工作空間下所有AI資產的基本資料和血緣關係資訊。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在右側頁面中單擊進入數據地圖。
單擊左側的功能表列的
表徵圖,進入搜索頁面。在頁面左側類型地區,選擇您所要查看的AI資產類型,在搜尋方塊中輸入關鍵字尋找對應AI資產資訊。
查看AI資產血緣
DataWorks資料地圖的搜尋網頁面支援查看AI資產的血緣資訊,並支援跳轉到PAI查看AI資產詳情。
資料地圖中的資料集查看血緣功能提供了彙總版本的血緣資訊,您可以查看該AI資產的所有版本的血緣。彙總版本的血緣整合了多個版本的資訊,支援單獨查看某個版本的血緣或查看所有版本的血緣。
資料集血緣
血緣產生與上報
通過以下方式產生資料集或對資料集進行操作時,系統將自動觸發血緣資訊的產生與上報。
方式一:將儲存路徑註冊為資料集
將儲存路徑註冊為資料集時,會產生如下結構的資料血緣資訊。系統將自動上報以下血緣資訊。
數據來源 | 相關說明 |
當註冊資料集的資料來源於对象存储(OSS)服務時,會產生一條從OSS到資料集的血緣資訊。 | |
|
方式二:將資料表註冊為資料集
當註冊資料集的資料來源於MaxCompute表時,會產生一條從MaxCompute表到資料集的血緣資訊。血緣資訊結構如下:
使用者通過多次SQL任務產生了一個MaxCompute表,並將該表註冊為PAI資料集,那麼從這個資料集的血緣資訊中可以追溯到產生該表的所有相關SQL任務。
方式三:對資料集進行標註
在智能标注iTag對資料集進行標註時,當資料標註任務建立成功,系統將自動上報以下血緣資訊。
查看資料集血緣
您可通過以下入口查看資料集血緣。
入口一:通過資料地圖查看資料集血緣
您可以在資料地圖中查看資料集血緣資訊。具體步驟如下:
進入資料集列表頁。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在右側頁面中單擊進入數據地圖。
單擊左側的功能表列的
表徵圖,進入搜索頁面。在頁面左側的類型地區選取項目數據集,通過選擇篩選條件地區中的資料來源類型、工作空間等資訊,擷取您所需查看的資料集列表。
查看資料集血緣。
在資料集列表中,找到具體的資料集,然後單擊右側的查看血緣來查看其血緣關係資訊。
進入血緣詳情頁後,頁面左側顯示上遊關聯的OSS檔案節點,右側以橙色高亮顯示當前資料集的中心節點及其版本資訊。
進入資料集血緣詳情頁,您可進行以下操作:
血緣時效範圍:在地區①選擇血緣時效範圍,查看最近幾天的資料集的相應血緣關係。
資料集版本:在地區②切換資料集版本,查看相應版本的血緣關係。
其他動作:按右鍵資料集,在彈出的菜單中選擇查看詳情(前往PAI查看資料集詳情資訊)或查看血緣等操作。
入口二:通過PAI查看資料集血緣
在PAI中,您可以在資料集指定版本的詳情地區查看其血緣資訊。具體步驟如下:
登入PAI控制台,切換至目標地區後,在左側導覽列選擇工作空間列表,單擊指定工作空間名稱,進入對應工作空間。
在左側導覽列中選擇。
找到自定義數據集頁簽下的基礎資料集中您所建立的資料集名稱。
單擊資料集名稱,在指定版本詳情模組單擊查看血緣,即可進入PAI血緣分析頁面查看資料集目前的版本血緣資訊。
說明在PAI血緣分析頁面,按右鍵血緣鏈路中的任一節點,選擇查看血緣,即可前往資料地圖查看該節點的上下遊相關鏈路血緣資訊。
AI模型血緣
血緣產生與上報
通過以下方式產生AI模型或對AI模型進行操作時,系統將自動觸發血緣資訊的產生與上報。
方式一:執行模型訓練任務
在Model Gallery提交的模型訓練任務執行成功後,會產生一條模型與訓練任務的血緣資訊。系統將自動上報以下血緣資訊。
方式二:註冊模型
在模型管理頁面註冊模型後,會產生一條從模型儲存路徑到模型的血緣資訊。系統將自動上報以下血緣資訊。
方式三:部署模型服務
將註冊好的模型部署到EAS服務後,會產生一條從模型到模型服務的血緣關係。系統將自動上報以下血緣資訊。
查看AI模型血緣
您可通過以下入口查看AI模型血緣。
入口一:通過資料地圖查看AI模型血緣
您可以在資料地圖中查看AI模型血緣資訊。具體步驟如下:
進入AI模型列表頁。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在右側頁面中單擊進入數據地圖。
單擊左側的功能表列的
表徵圖,進入搜索頁面。在頁面左側的類型地區選取項目AI模型,通過選擇篩選條件地區中的工作空間資訊,擷取您所需查看的AI模型列表。
查看AI模型血緣。
在AI模型列表中找到具體的AI模型,然後單擊右側的查看血緣來查看其血緣關係資訊。
進入AI模型血緣詳情頁,您可進行以下操作:
血緣時效範圍:在地區①選擇血緣時效範圍,查看最近幾天的AI模型的相應血緣關係。
AI模型版本:在地區②切換AI模型版本,查看相應版本的血緣關係。
其他動作:按右鍵AI模型,在彈出的菜單中選擇查看詳情(前往PAI查看AI模型詳情資訊)或查看血緣等操作。
入口二:通過PAI查看AI模型血緣
在PAI中,您可以在AI模型指定版本的詳情地區查看其血緣資訊。具體步驟如下:
登入PAI控制台,切換至目標地區後,在左側導覽列選擇工作空間列表,單擊指定工作空間名稱,進入對應工作空間。
在左側導覽列中選擇。
找到模型頁面中您所註冊的模型。
單擊最新版本號碼,進入模型版本資訊頁面。
在版本概览中單擊查看血緣,即可進入PAI血緣分析頁面查看AI模型目前的版本的血緣資訊。
說明在PAI血緣分析頁面,按右鍵血緣鏈路中的任一節點,選擇查看血緣,即可前往資料地圖查看該節點的上下遊相關鏈路血緣資訊。
演算法任務血緣
血緣產生與上報
通過以下方式執行相關任務時,系統將自動觸發血緣資訊的產生與上報。
在分布式訓練DLC提交的任務中,您需要通過引入SDK的方式手動上報血緣資訊,並根據實際任務情況配置輸入和輸出。該方案適合技術能力較強且業務成熟的使用者,否則可能會影響血緣資訊的準確性。如有需要,請聯絡您的商務經理添加白名單使用,詳情可參見模型訓練任務。
方式一:執行訓練任務(演算法組件任務)
在Model Gallery提交的模型訓練任務執行成功後,會產生一條模型與訓練任務的血緣資訊。系統將自動上報以下血緣資訊。
方式二:執行工作流任務
在PAI建立的工作流程工作執行成功後,會產生輸入表/儲存路徑、輸出模型/輸出資料集與PAIFlow任務的血緣關係。
通過以下方式執行的PAI工作流程工作,其產生的血緣關係會被自動採集並上報:
使用PAIFlow OpenAPI提交的任務,詳情請參見API概覽。
在Designer中手動執行的任務,詳情請參見構建與調試模型。
在DataWorks周期性調度中定期觸發執行的任務,詳情請參見使用DataWorks離線調度Designer工作流程。
方式三:執行分布式訓練任務
在建立並運行分布式訓練任務時,會產生輸入表格儲存體路徑、輸出模型/輸出資料集與DLC任務的血緣關係。在分布式訓練DLC提交的任務中,您可以手動上報血緣資訊。
該方案適合技術能力較強且業務成熟的使用者,否則可能會影響血緣資訊的準確性。
查看演算法任務血緣
您可通過以下入口查看演算法任務血緣。
入口一:通過資料地圖查看演算法任務血緣
資料地圖中的演算法任務血緣功能支援查看該任務的血緣資訊。您可以通過以下操作進行查看:
進入演算法工作清單頁。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在右側頁面中單擊進入數據地圖。
單擊左側的功能表列的
表徵圖,進入搜索頁面。在頁面左側的類型地區選取項目算法任務,通過選擇篩選條件地區中的工作空間資訊,擷取您所需查看的演算法工作清單。
查看演算法任務血緣。
在演算法工作清單中找到具體的演算法任務,然後單擊右側的查看血緣來查看其血緣關係資訊。
進入演算法任務血緣詳情頁,您可進行以下操作:
血緣時效範圍:選擇血緣時效範圍,查看最近幾天的演算法任務的相應血緣關係。
其他動作:按右鍵演算法任務,在彈出的菜單中選擇查看詳情(前往PAI查看演算法任務詳情資訊)或查看血緣等操作。
入口二:通過PAI查看演算法任務血緣
在PAI中,您可以在演算法任務詳情資訊的基本資料地區查看其血緣資訊。具體步驟如下:
登入PAI控制台,切換至目標地區後,在左側導覽列選擇工作空間列表,單擊指定工作空間名稱,進入對應工作空間。
在左側導覽列中選擇。
找到任務頁面中您建立的演算法任務所在頁簽(分布式頁簽(DLC)、演算法組件任務或工作流任務頁簽)。
單擊任務名稱,進入任務詳情頁。
在基本信息中單擊查看血緣,即可進入PAI血緣分析頁面查看演算法任務的血緣資訊。
說明在PAI血緣分析頁面,按右鍵血緣鏈路中的任一節點,選擇查看血緣,即可前往資料地圖查看該節點的上下遊相關鏈路血緣資訊。
模型服務血緣
血緣產生與上報
將登入的模型部署到EAS服務後,系統將自動建立模型與模型服務間的血緣關係並上報相關血緣資訊。
查看模型服務血緣
您可通過以下入口查看模型服務血緣。
入口一:通過資料地圖查看模型服務血緣
資料地圖中的模型服務血緣功能支援查看該模型服務的血緣資訊。您可以通過以下操作進行查看:
進入模型服務頁。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在右側頁面中單擊進入數據地圖。
單擊左側的功能表列的
表徵圖,進入搜索頁面。在頁面左側的類型地區選取項目模型服務,通過選擇篩選條件地區中的任務狀態和資源組名稱資訊,擷取您所需查看的模型服務列表。
查看模型服務血緣。
在模型服務列表中找到具體的模型服務,然後單擊右側的查看血緣來查看其血緣關係資訊。
進入模型服務血緣詳情頁,您可進行以下操作:
血緣時效範圍:選擇血緣時效範圍,查看最近幾天的模型服務的相應血緣關係。
其他動作:按右鍵模型服務,在彈出的菜單中選擇查看詳情(前往PAI查看模型服務詳情資訊)或查看血緣等操作。
入口二:通過PAI查看模型服務血緣
在PAI中,您可以在模型服務詳情資訊的基本資料地區查看其血緣資訊。
登入PAI控制台,切換至目標地區後,在左側導覽列選擇工作空間列表,單擊指定工作空間名稱,進入對應工作空間。
在左側導覽列中選擇。
找到模型線上服務 (EAS)頁面您建立的模型推理服務頁簽。
單擊任務名稱,進入任務概覽頁。
在基本信息地區單擊查看血緣,即可進入PAI血緣分析頁面查看模型服務的血緣資訊。
說明在PAI血緣分析頁面,按右鍵血緣鏈路中的任一節點,選擇查看血緣,即可前往資料地圖查看該節點的上下遊相關鏈路血緣資訊。