若您要使用DataWorks進行ClickHouse叢集任務的開發、管理,需先將您的ClickHouse叢集建立為DataWorks的ClickHouse計算資源。建立完成後,可在DataWorks的各功能模組使用該計算資源串連ClickHouse叢集,進行相應的資料同步、資料開發等操作。
前提條件
已建立ClickHouse叢集。
說明建議建立ClickHouse叢集時,地區與綁定ClickHouse計算資源的DataWorks工作空間地區一致。
如果地區不一致就只能建立為跨地區的資料來源,資料來源無法在DataWorks的資料開發、營運中心頁面中執行對應計算任務,僅可進行資料同步任務。
DataWorks已建立工作空間,操作者使用的RAM帳號已加入工作空間並設定為工作空間管理員角色。
已為工作空間綁定資源群組,且確保網路連通。
使用Serverless資源群組時,只需確保ClickHouse計算資源與Serverless資源群組連通性正常即可。
使用舊版獨享型資源群組時,需確保ClickHouse計算資源與對應情境下的獨享整合資源群組、獨享調度資源群組以及獨享服務資源群組連通性正常。
系統預設禁止所有IP地址訪問雲資料庫ClickHouse叢集。在綁定計算資源前,需要將資源群組綁定的交換器網段、舊版資源群組本身EIP或Serverless資源群組綁定VPC配置的EIP添加至ClickHouse叢集白名單中。否則無法成功綁定ClickHouse計算資源。
說明資源群組綁定的交換器網段、舊版資源群組本身EIP或Serverless資源群組綁定VPC配置的EIP擷取方式可參見DataWorks添加白名單。
使用限制
功能限制:當ClickHouse計算引擎開啟了SSL認證服務,則不支援用於資料開發或周期性調度任務。
地區限制:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)。
許可權限制:
操作人
具備許可權說明
阿里雲主帳號
無需額外授權。
阿里雲RAM帳號/RAM角色
僅擁有營運和空間管理員角色的空間成員,或擁有
AliyunDataWorksFullAccess許可權的空間成員可建立計算資源。授權詳情請參見授權使用者空間管理員權限。
新版資料開發:綁定ClickHouse計算資源
為使用新版資料開發(Data Studio)的工作空間綁定ClickHouse計算資源。
進入計算資源清單頁
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入管理中心。
在左側導覽列單擊計算資源,進入計算資源清單頁。
綁定ClickHouse計算資源
在計算資源清單頁,配置綁定ClickHouse計算資源。
選擇綁定計算資源類型。
單擊綁定計算資源,進入綁定計算資源頁面。
在綁定計算資源頁面選擇計算資源類型為ClickHouse,進入綁定ClickHouse計算資源配置頁面。
配置ClickHouse計算資源。
在綁定ClickHouse計算資源配置頁面,根據下表內容進行相應配置。
參數
說明
配置模式
僅支援串連串模式。
JDBC URL
JDBC URL格式:
jdbc:clickhouse://<ip>:<port>/<dbname>。<ip>:ClickHouse叢集資訊頁的VPC地址或者外網地址。例如
cc-bp1xxx..clickhouse.ads.aliyuncs.com。<port>:認證選項為無認證時,連接埠選擇ClickHouse叢集資訊頁的VPC HTTP連接埠號碼(
8123)。認證選項為SSL認證時,連接埠選擇ClickHouse叢集資訊頁的VPC HTTPS連接埠號碼(8443)。<dbname>:您所使用的ClickHouse資料庫,預設為
default。可根據需要重新建立資料庫。
使用者名稱和密碼
您所使用的ClickHouse叢集帳號及對應的密碼資訊。
認證選項
選擇後續訪問ClickHouse叢集時的認證方式。
無認證:無需進行其他動作。
SSL認證:選擇該認證方式,需在ClickHouse叢集資訊頁下載CA認證,以供後續驗證。
說明當ClickHouse計算引擎開啟了SSL認證服務,則不支援用於資料開發或周期性調度任務。
SSL CA認證
當認證選項為SSL認證方式時,需要單擊下方的新增認證檔案,上傳在ClickHouse叢集資訊頁下載的CA認證。
計算資源執行個體名
自訂計算資源執行個體名。
測試連通性。
在串連配置地區,請選擇DataWorks用於運行ClickHouse節點任務的資源群組,並單擊測試連通性以確保資源群組可以正常訪問您的ClickHouse叢集。詳情請參見網路連通方案概述。
單擊確認,完成ClickHouse計算資源配置。
舊版資料開發:綁定ClickHouse計算資源
為未使用新版資料開發(Data Studio)的工作空間綁定ClickHouse計算資源。
進入計算資源清單頁
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入資料開發。
在左側導覽列單擊
表徵圖,進入計算資源列表頁。
綁定ClickHouse計算資源
在計算資源清單頁,配置綁定ClickHouse計算資源。
選擇綁定計算資源類型。
單擊建立計算資源,進入建立計算資源頁面。
在建立計算資源頁面選擇計算資源類型為ClickHouse,進入建立計算資源配置頁面。
配置ClickHouse計算資源。
在建立計算資源配置頁面,根據下表內容進行相應配置。
參數
說明
資料來源名稱
自訂計算資源名稱。
配置模式
僅支援串連串模式。
主機地址/IP
ClickHouse叢集資訊頁的VPC地址或者外網地址。例如
cc-bp1xxx..clickhouse.ads.aliyuncs.com。連接埠
認證選項為無認證時,連接埠選擇ClickHouse叢集資訊頁的VPC HTTP連接埠號碼(
8123)。認證選項為SSL認證時,連接埠選擇ClickHouse叢集資訊頁的VPC HTTPS連接埠號碼(
8443)。資料庫名稱
您所使用的ClickHouse資料庫,預設為
default。您也可根據需要重新建立資料庫。使用者名稱和密碼
您所使用的ClickHouse叢集帳號及對應的密碼資訊。
版本
指定綁定叢集的版本。
進階參數
非必填參數。您可通過單擊新增屬性按鈕配置屬性參數資訊。
認證選項
選擇後續訪問ClickHouse叢集時的認證方式。
無認證:無需進行其他動作。
SSL認證:選擇該認證方式,需在ClickHouse叢集資訊頁下載CA認證,以供後續驗證。
說明當ClickHouse計算引擎開啟了SSL認證服務,則不支援用於資料開發或周期性調度任務。
SSL CA認證
當認證選項為SSL認證方式時,需要單擊下方的新增認證檔案,上傳在ClickHouse叢集資訊頁下載的CA認證。
測試連通性。
在串連配置地區,請選擇DataWorks用於運行ClickHouse任務的資源群組,並單擊測試連通性以確保資源群組可以正常訪問您的ClickHouse叢集。詳情請參見網路連通方案概述。
單擊建立計算資源並綁定資料開發,完成ClickHouse計算資源配置。
後續操作
新版資料開發:配置完ClickHouse計算資源後,您可在資料開發中通過離線同步節點進行資料同步操作、通過ClickHouse SQL節點進行資料開發操作。
舊版資料開發:配置完ClickHouse計算資源後,您可在資料開發中通過節點進行資料同步操作。
常見問題
報錯資訊:not support data sync channel, error code: 0001 。
解決方式:檢查您所配置的JDBC URL參數資訊中是否存在空格或者多餘字元。
報錯資訊:ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002。
解決方式:檢查您所配置的IP地址資訊是否正確。