MaxCompute：DLF+OSS外部模式

步驟一：開通並授權

1. 開通DLF資料湖構建

2. 開通OSS服務

3. 授權

   通過MaxCompute與DLF和OSS構建湖倉一體時，由於MaxCompute專案的帳號未經授權無法訪問DLF或OSS，需要先執行授權操作。授權方式包含以下兩種：

   • 一鍵授權：當建立MaxCompute專案的帳號和部署DLF、OSS的帳號相同時。推薦您直接單擊授權DLF和OSS進行一鍵授權。

   • 自訂授權：當建立MaxCompute專案的帳號和部署DLF、OSS的帳號相同或不相同，都可以使用該方式。詳情請參見自訂授權DLF。

步驟二：建立DLF+OSS外部資料源

1. 登入MaxCompute控制台，在左上方選擇地區。

2. 在左側導覽列，選擇管理配置 > 外部数据源 。

3. 在外部数据源頁面，單擊创建外部数据源。

4. 在彈出的新增外部数据源對話方塊，根據介面提示配置相關參數。參數說明如下：

   參數	是否必填	說明
   外部数据源类型	必填	選擇DLF+OSS。
   外部数据源名称	必填	可自訂命名。命名規則如下： 以字母開頭，且只能包含小寫字母、底線和數字。 不能超過128個字元。 例如dlf_oss_schema。
   外部数据源描述	選填	根據需要填寫。
   地域	必填	預設為當前地區。
   DLF Endpoint	必填	預設為當前地區的DLF Endpoint。
   OSS Endpoint	必填	預設為當前地區的OSS Endpoint。
   RoleARN	必填	RAM角色的ARN資訊。此角色需要包含能夠同時訪問DLF和OSS服務的許可權。 登入RAM控制台。 在左側導覽列選擇身份管理 > 角色。 在基礎資訊地區，可以擷取ARN資訊。 樣本：acs:ram::124****:role/aliyunodpsdefaultrole。
   外部数据源补充属性	選填	特殊聲明的外部資料源補充屬性。指定後，使用此外部資料源的任務可以按照參數定義的行為訪問源系統。 說明 支援的具體參數請關注後續官網文檔更新說明，具體參數將隨產品能力演化逐步放開。

5. 單擊確認，完成外部資料源的建立。

步驟三：建立DLF資料目錄及資料庫

1. 建立DLF資料目錄

   1. 登入資料湖構建（DLF）控制台，在左上方選擇地區。

   2. 在左側導覽列，選擇元数据 > 元数据管理。

   3. 在元数据管理頁面，單擊数据目录頁簽。

   4. 在新建数据目录頁面，自訂目录ID，目录路径填寫OSS Bugket目錄。

      1. 目录ID樣本為external_schema_dlf_catalog

      2. 目录路径樣本為oss://external-schema/dlf-oss

2. 建立資料庫

   1. 在元数据管理頁面，單擊数据库頁簽。

   2. 在建立的数据目录下單擊新建数据库。配置如下參數：

      參數	是否必填	說明
      所属数据目录	必填	樣本為external_schema_dlf_catalog。
      数据库名称：	必填	自訂資料庫名稱，以字母開頭，長度為1-128位，允許字元為a-z、A-Z、0-9_，例如dlf_oss_db。
      数据库描述：	選填	自訂描述。
      选择路径：	必填	資料庫儲存位置，例如oss://external-schema/dlf-oss/database。

步驟四：建立外部Schema

1. 外部Schema操作需要在MaxCompute內部專案中執行，因此要求該內部專案必須已啟用支援Schema層級開關

   1. 在左側導覽列，選擇管理配置 > 项目管理。

   2. 在项目管理頁面，單擊目標專案操作列的升级到支持Schema层级。

2. 需要在執行Schema操作或查詢External Schema的資料前，開啟SQL文法支援的Schema開關，即在SQL前增加SET odps.namespace.schema=true;語句。

3. 在MaxCompute用戶端中，使用如下命令建立引用了DLF+OSS類型外部資料源的外部Schema：

   CREATE EXTERNAL SCHEMA IF NOT EXISTS <external_schema_name>
   with <dlfoss_foreign_server_name>
   ON '<dlf_calaog_id>.<database_name>';

   參數說明如下：

   • external_schema_name：外部Schema名稱，例如test_schema。

   • dlfoss_foreign_server_name：上述已建立的外部資料源名稱，外部Schema歸屬的專案必須與外部資料源處於同一地區，樣本為dlf_oss_schema。

   • dlf_calaog_id：DLF資料目錄ID，樣本為external_schema_dlf_catalog

   • database_name：DLF中指定資料目錄下的資料庫名稱，樣本為dlf_oss_db。

步驟五：使用SQL訪問資料來源系統

建立的外部Schema支援查看Schema列表、查看Schema資訊及刪除Schema，其命令及使用方法與內部Schema相同。詳情請參見Schema操作。

• 列出DLF和OSS的表名稱

  • 方式1：

    SHOW tables IN <external_schema_name>; --external_schema_name為外部Schema名稱。

  • 方式2：

    USE SCHEMA <external_schema_name>; --external_schema_name為外部Schema名稱。
    SHOW tables;

• 使用樣本

  • 查詢名稱為test_schema的外部Schema下的所有表名。

    USE SCHEMA test_schema;
    SHOW TABLES;

    返回結果樣本：

    ALIYUN$xxx@test.aliyunid.com:hellocsv
    ALIYUN$xxx@test.aliyunid.com:t1
    ALIYUN$xxx@test.aliyunid.com:t2
    ALIYUN$xxx@test.aliyunid.com:t3

  • 查詢test_project專案中test_schemaSchema的hellocsv表資料。

    SELECT * FROM test_project.test_schema.hellocsv;

  • 從資料來源將聯邦外表hellocsv的資料複製入數倉。

    MaxCompute不允許對來自外部Schema執行CREATE TABLE AS 操作，因此需要將Schema切換為Default，再執行如下語句：

    -- 將聯邦外表的資料複製到數倉中
    CREATE TABLE hellocsv_copy AS SELECT * FROM test_project.test_schema.hellocsv;
    
    -- 查詢數倉中已複製的表資料
    SELECT * FROM hellocsv_copy;