全部產品
Search
文件中心

Data Lake Formation:資料庫表及函數

更新時間:Feb 20, 2025

中繼資料管理是構建資料湖重要一環,通過有效集中式中繼資料管理,可以提升資料資產價值。本文為您介紹資料湖構建中資料庫、資料表及函數的相關操作。

資料庫

建立資料庫

  1. 登入資料湖管理主控台

  2. 在左側功能表列,選擇中繼資料 > 中繼資料管理

  3. 單擊資料庫頁簽,選擇目標資料目錄,單擊建立資料庫

  4. 配置以下資料庫資訊,單擊確定

    配置項

    描述

    所屬資料目錄

    選擇所屬資料目錄。

    資料庫名稱

    輸入資料庫名稱。

    資料庫描述

    可選,輸入資料庫描述。

    選擇路徑

    指定OSS路徑,將中繼資料存放區在Object Storage Service服務中,以確保資料的安全性和可靠性,便於統一管理和維護。

    說明

    僅支援標準儲存的OSS Bucket,如果在本地區還沒有建立標準儲存的Bucket,您可以在OSS管理主控台上進行建立。

查看資料庫詳情

  1. 單擊資料庫頁簽。

  2. 在資料庫列表中,單擊目標庫名,可查看該資料庫基本資料

  3. 單擊相應頁簽,可查看該資料庫下的表列表函數列表資料許可權資料概況儲存規則

編輯資料庫

  1. 單擊資料庫頁簽,選擇目標資料目錄

  2. 找到目標資料庫,單擊操作列的編輯

  3. 修改以下資訊,單擊更新

    • 資料庫描述:輸入資料庫描述。

    • 選擇路徑:輸入資料庫的位置。

刪除資料庫

  1. 單擊資料庫頁簽,選擇目標資料目錄

  2. 找到目標資料庫,單擊操作列的刪除

  3. 在彈出的對話方塊中,單擊刪除

說明
  • default庫為DLF預設建立資料庫,該資料庫無法刪除。生產環境建議使用其他資料庫。

  • 在DLF頁面刪除資料庫後,並不會刪除OSS儲存的資料,如需刪除資料請從E-MapReduce/MaxCompute側執行Drop Database操作。

資料表

建立資料表

  1. 建立完成資料庫後,單擊資料表頁簽,選擇目標資料目錄庫名,單擊建立資料表

  2. 配置以下資料表資訊,單擊確定

    配置項

    描述

    資料表名稱

    輸入資料表的名稱。

    所屬資料目錄

    選擇所屬資料目錄。

    所屬資料庫

    選擇資料目錄下的資料庫。

    資料表描述

    可選,輸入資料表描述。

    資料存放區位置

    選擇資料表中資料存放區的位置。

    推薦預設儲存位置為:oss://[庫儲存位置]/[表名稱]

    格式與序列化

    選擇資料表的資料格式,支援Avro、CSV、JSON、Parquet、ORC格式。

    分割符

    可選,當資料格式選擇CSV時,選擇資料表的分隔字元。

    普通列

    手動定義資料表的普通列、分區列,指定列名稱、資料類型、描述等資訊。

    分區列

查看資料表詳情

  1. 單擊資料表頁簽。

  2. 在資料表列表中,單擊目標表名,可查看該資料表基本資料

  3. 單擊相應頁簽,可查看該資料表下的資料許可權資料概況版本管理儲存規則

    資料表的資料概況詳情,請參見資料表-資料概況

編輯資料表

  1. 單擊資料表頁簽,選擇目標資料目錄庫名

  2. 找到目標資料表,單擊操作列的編輯

  3. 修改資料表資訊,單擊更新

刪除資料表

  1. 單擊資料表頁簽,選擇目標資料目錄庫名

  2. 找到目標資料表,單擊操作列的刪除

  3. 在彈出的對話方塊中,單擊刪除

說明

在DLF頁面刪除資料表後,並不會刪除OSS儲存的資料,如需刪除資料請從E-MapReduce/MaxCompute側執行Drop Table操作。

函數

建立函數

  1. 在左側功能表列,選擇中繼資料 > 中繼資料管理

  2. 單擊函數頁簽,選擇目標資料目錄庫名,單擊建立函數

  3. 配置以下函數資訊,單擊確定

    配置項

    描述

    函數名稱

    輸入函數名稱。

    函數類型

    僅支援JAVA。

    所屬資料目錄

    選擇所屬資料目錄。

    所屬資料庫

    選擇資料目錄下的資料庫。

    類名

    可選,輸入類名。

    資源URI

    可選,單擊增加一項,輸入類型URI。資源類型支援JAR、FILE和ARCHIVE。

查看函數詳情

  1. 單擊函數頁簽,選擇目標資料目錄庫名

  2. 在函數列表中,單擊目標函數名稱,可查看函數的基本資料。

編輯函數

  1. 單擊函數頁簽,選擇目標資料目錄庫名

  2. 找到目標函數,單擊操作列的編輯

  3. 配置類名資訊,單擊確定

刪除函數

  1. 單擊函數頁簽,選擇目標資料目錄庫名

  2. 找到目標函數,單擊操作列的刪除

  3. 在彈出的確認框中,單擊刪除