通過建立Lindorm資料來源能夠實現Dataphin向Lindorm寫入資料。本文為您介紹如何建立Lindorm資料來源。
許可權說明
僅支援擁有建立資料來源許可權點的自訂全域角色和超級管理員、資料來源管理員、板塊架構師、專案系統管理員等系統角色建立資料來源。
操作步驟
在Dataphin首頁,單擊頂部功能表列管理中心 > 資料來源管理。
在資料來源頁面,單擊+建立資料來源。
在建立資料來源頁面的NoSQL地區,選擇Lindorm。
如果您最近使用過Lindorm,也可以在最近使用地區選取項目Lindorm。同時,您也可以在搜尋方塊中,輸入Lindorm的關鍵詞,快速搜尋。
在建立Lindorm資料來源頁面中,配置串連資料來源參數。
配置資料來源的基本資料。
參數
說明
資料來源名稱
填寫資料來源名稱。命名規則如下:
只能包含中文、英文字母大小寫、數字、底線(_)或短劃線(-)。
長度不能超過64個字元。
資料來源編碼
配置資料來源編碼後,您可以在Flink_SQL任務或使用Dataphin JDBC用戶端中,通過
資料來源編碼.表名稱或資料來源編碼.schema.表名稱的格式直接存取Dataphin資料來源表,實現快捷消費;如果需要根據任務執行環境自動切換資料來源,請通過${資料來源編碼}.table或${資料來源編碼}.schema.table的變數格式訪問。更多資訊,請參見Dataphin資料來源表開發方式。重要資料來源編碼配置成功後不支援修改。
資料來源編碼配置成功後,才能在資產清單的對象詳情頁面進行資料預覽。
Flink SQL中,目前僅支援MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB、GaussDB(DWS)資料來源。
資料來源描述
填寫對資料來源的簡單描述。不得超過128個字元。
資料來源配置
選擇需要配置的資料來源:
如果業務資料來源區分生產資料來源和開發資料來源,則選擇生產+開發資料來源。
如果業務資料來源不區分生產資料來源和開發資料來源,則選擇生產資料來源。
標籤
您可根據標籤給資料來源進行分類打標。建立標籤,請參見管理資料來源標籤。
配置資料來源與Dataphin的串連參數。
若您的資料來源配置選擇生產+開發資料來源,則需配置生產+開發資料來源的串連資訊。如果您的資料來源配置為生產資料來源,僅需配置生產資料來源的串連資訊。不同連線類型需要配置不同參數,詳情如下表。
說明通常情況下,生產資料來源和開發資料來源需配置為非同一個資料來源,以實現開發資料來源與生產資料來源的環境隔離,降低開發資料來源對生產資料來源的影響。但Dataphin也支援配置成同一個資料來源,即相同參數值。
計算引擎-ETL資源群組(Spark)
參數
說明
core-site.xml
上傳Lindorm的core-site.xml、hdfs-site.xml、hive-site.xml設定檔。
hdfs-site.xml
hive-site.xml
JDBC URL
填寫Lindorm的JDBC地址。格式為
jdbc:hive2://host:port/;?token=xxx。使用者名稱、密碼
訪問Lindorm執行個體的使用者名稱和密碼。
計算引擎-OLAP資源群組(MySQL)/寬表引擎-MySQL/列存引擎-MySQL
參數
描述
JDBC URL
填寫Lindorm的JDBC地址,例如格式為
jdbc:mysql://host:port。使用者名稱、密碼
訪問Lindorm執行個體的使用者名稱和密碼。
寬表引擎-HBase
參數
描述
Endpoint
Lindorm的串連地址。如何擷取串連地址,請參見雲原生多模資料庫Lindorm(寬表)-串連並使用執行個體。
Namespace
Lindorm的命名空間,預設為default。
使用者名稱、密碼
訪問Lindorm執行個體的使用者名稱和密碼。
串連參數(非必填)
串連Lindorm的參數,請使用JSON格式配置。
選擇預設資源群組,該資源群組用於運行與當前資料來源相關任務,包括資料庫SQL、離線整庫遷移、資料預覽等。
進行測試連接或直接單擊確定進行儲存,完成Lindorm資料來源的建立。
單擊測試連接,系統將測試資料來源是否可以和Dataphin進行正常的連通。若直接單擊確定,系統將自動對所有已選中的叢集進行測試連接,但即使所選中的叢集均串連失敗,資料來源依然可以正常建立。