ApsaraDB for ClickHouse：從MaxCompute外表匯入（20.3及以上）

注意事項

• 雲資料庫ClickHouse社區相容版叢集的核心版本為20.3及以上。

• MaxCompute服務為付費服務。計費詳情，請參見MaxCompute計費方式。

• 為了確保雲資料庫ClickHouse與MaxCompute服務之間網路通暢，您需要採用阿里雲VPC網路訪問方式，且MaxCompute必須與您的雲資料庫ClickHouse叢集在同一地區。

前提條件

• 已開通MaxCompute服務。如何開通，請參見開通MaxCompute。

• 已建立MaxCompute專案，且與雲資料庫ClickHouse叢集在同一地區。如何建立，請參見建立MaxCompute專案。

• 如果RAM使用者使用MaxCompute，需要阿里雲主帳號為RAM使用者授權。如何授權，請參見準備RAM使用者。

操作步驟

1. 建立MaxCompute外表。

   1. 登入MaxCompute控制台。

   2. 在左側導覽列，單擊DataWorks > 數據開發。

   3. 在數據開發頁面，滑鼠移至上方至表徵圖，單擊新建表 > MaxCompute > 表。

   4. 在新建表對話方塊中，輸入表名，本文以maxcompute表名為例。

   5. 單擊新建。

   6. 在基本屬性地區，配置各項參數。

      

      參數含義如下。

      配置項	說明
      中文名	定義表的中文名稱。
      主題	DataWorks的主題相當於檔案夾，用於定義表所屬的一級檔案夾與二級檔案夾。您可基於業務用途對錶進行歸類，將同類表掛載至相同檔案夾中。 說明 一級主題、二級主題僅為DataWorks上表管理檔案夾的呈現形式，旨在方便您更好地管理表。 後續在表管理頁面可通過主題快速尋找當前表，如果沒有可用的主題，可參考定義表主題建立。

   7. 單擊工具列中的DDL。

   8. 在DDL對話方塊中，輸入如下建表語句，單擊生成表結構。

      CREATE TABLE IF NOT EXISTS maxcompute
      (    
      v1  INT,    
      v2  INT                
      )
      PARTITIONED BY
      (
          v3 STRING                   
      );

   9. 分別單擊提交到開發環境和提交到生產環境。

2. 寫入MaxCompute外表資料。

   1. 在數據開發頁面，單擊左側導覽列的臨時查詢。

   2. 滑鼠移至上方至表徵圖，單擊新建 > ODPS SQL。

   3. 在建立節點對話方塊中，選擇路徑並輸入名稱。

   4. 單擊确认。

   5. 在節點的編輯頁面，輸入如下語句，為MaxCompute外表寫入資料。

      insert into maxcompute PARTITION (v3='2021') values (1,2),(2,3);

   6. 單擊工具列中的表徵圖。

   7. 在參數視窗，選擇公共调度资源组，單擊確定。

   8. 在MaxCompute計算成本估計視窗，確認預估費用，單擊運行。

3. 建立雲資料庫ClickHouse表。

   1. 登入雲資料庫ClickHouse控制台。

   2. 在集群清單頁面，單擊目的地組群ID。

   3. 單擊右上方導覽列的登入資料庫。

   4. 輸入建表語句並單擊執行（F8）。

      建表文法如下。

      CREATE TABLE <table_name> [on cluster default]
      (
      'col_name1' col_type1,
      'col_name2' col_type2,
      ...
      )
      ENGINE = MaxCompute('<tunnel-endpoint>', '<project-name>', '<table-name>', '<partition-spec>', '<access-key-id>', '<access-key-secret>'，<read-thread-num>, '<quota>');

      說明

      如果您使用的表引擎為MaxComputeRaw，請更改建表文法中的tunnel-endpoint為odps-endpoint，即VPC網路Endpoint。如何查看VPC網路Endpoint，請參見Endpoint。

      參數說明如下。

      參數名	描述
      table_name	表名。
      col_name1,col_name2	列名。
      col_type1,col_type2	列類型。 說明 雲資料庫ClickHouse表的結構類型需與MaxCompute對應。具體映射關係，請參見資料類型映射。
      tunnel-endpoint	Tunnel服務的串連地址Tunnel Endpoint。 為了確保雲資料庫ClickHouse與MaxCompute服務之間網路通暢，您需要採用阿里雲VPC網路訪問方式，且MaxCompute必須與您的雲資料庫ClickHouse叢集在同一地區。 說明 如何查看VPC網路的tunnel-endpoint，請參見Endpoint。
      project-name	MaxCompute專案名稱。
      table-name	MaxCompute外表名。
      partition-spec	MaxCompute分區。
      access-key-id	訪問MaxCompute專案的AccessKey ID。
      access-key-secret	訪問MaxCompute專案的AccessKey Secret。
      read-thread-num（可選）	讀取MaxCompute表時單個分區的並發數，預設值是1。
      quota（可選）	MaxCompute計算資源的單元，預設共用Quota。

      建表語句如下。

      CREATE TABLE default.maxcomputetest ON CLUSTER default (
      v1 Int32, 
      v2 Int32
      ) ENGINE = MaxCompute('http://dt.cn-hangzh******.aliyun-inc.com', 'ckfwt', 'maxcompute', 'v3=2021', 'LTAI****************', 'yourAccessKeySecret');

4. 查詢雲資料庫ClickHouse表。

   1. 登入雲資料庫ClickHouse控制台。

   2. 在集群清單頁面，單擊目的地組群ID。

   3. 單擊右上方導覽列的登入資料庫。

   4. 輸入查詢語句並單擊執行（F8）。

      SELECT * FROM maxcomputetest;

      查詢結果如下。

資料類型映射