在DataWorks註冊E-MapReduce(後續簡稱EMR)叢集後,您可自訂叢集的Kyuubi串連資訊,即您可使用自訂的帳號及密碼登入Kyuubi來運行相關任務。本文為您介紹如何在DataWorks自訂EMR叢集的Kyuubi串連資訊。
背景資訊
Apache Kyuubi是一個分布式和多租戶網關,為資料湖查詢引擎(例如Spark、Flink或Trino等)提供SQL等查詢服務。更多介紹請參見Kyuubi。
前提條件
EMR叢集已新增Kyuubi服務。
已綁定EMR叢集為DataWorks計算資源,詳情請參見新版資料開發:綁定EMR計算資源。
說明在綁定EMR計算資源時,需完成資源群組初始化,否則無法找到Kyuubi配置頁面。
設定Kyuubi串連資訊
進入Kyuubi配置頁面。
進入管理中心頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入管理中心。
單擊左側導覽列的計算資源,進入計算資源頁面。
找到目標EMR叢集,單擊,進入Kyuubi配置頁面。
設定Kyuubi串連資訊。
按照介面指引選擇合適的串連模式:
阿里雲EMR叢集串連資訊:直接使用註冊EMR叢集時配置的預設訪問身份登入Kyuubi。預設選擇該模式。
自訂串連資訊:如您需使用自訂的帳號及密碼登入Kyuubi,可選擇該模式。格式為
jdbc:hive2://host:port/;user=<登入使用者名稱>;password=<登入密碼>。說明首次選擇自訂串連資訊時,平台會根據註冊EMR時的相關配置資訊來自動填滿JDBC URL,您可按需修改。
若註冊叢集時選擇傳遞Proxy User資訊,則在DataWorks運行EMR任務後,JDBC URL會拼接
hive.server2.proxy.user配置資訊,拼接規則如下:若自訂串連資訊中的JDBC URL中未填寫預留位置
DATAWORKS_PROXY_USER,則平台執行任務時預設會在JDBC URL結尾拼接hive.server2.proxy.user配置資訊。若自訂串連資訊中的JDBC URL中填寫了預留位置
DATAWORKS_PROXY_USER,則平台執行任務時會動態替換預留位置為hive.server2.proxy.user配置資訊。
後續操作
您可參考資料開發流程引導配置相關組件環境,在DataWorks執行資料開發操作。