全部產品
Search
文件中心

Dataphin:建立TDH Inceptor資料來源

更新時間:May 29, 2025

通過建立TDH Inceptor資料來源能夠實現Dataphin讀取TDH Inceptor的業務資料或向TDH Inceptor寫入資料。本文為您介紹如何建立TDH Inceptor資料來源。

使用限制

僅支援具備建立資料來源許可權點的自訂全域角色和超級管理員資料來源管理員板塊架構師專案系統管理員角色建立資料來源。

操作步驟

  1. 在Dataphin首頁的頂部功能表列中,選擇管理中心 > 資料來源管理

  2. 資料來源頁面,單擊+建立資料來源

  3. 建立資料來源頁面的巨量資料儲存地區,選擇TDH Inceptor

    如果您最近使用過TDH Inceptor,也可以在最近使用地區選取項目TDH Inceptor。同時,您也可以在搜尋方塊中,輸入TDH Inceptor的關鍵詞,快速篩選。

  4. 建立TDH Inceptor資料來源頁面中,配置資料來源的基本資料。

    參數

    描述

    資料來源名稱

    命名規則如下:

    • 只能包含中文、英文字母大小寫、數字、底線(_)或短劃線(-)。

    • 長度不能超過64字元。

    資料來源編碼

    配置資料來源編碼後,您可以在Flink_SQL任務中通過資料來源編碼.表名稱資料來源編碼.schema.表名稱的格式引用資料來源中的表;如果需要根據所處環境自動訪問對應環境的資料來源,請通過${資料來源編碼}.table${資料來源編碼}.schema.table的變數格式訪問。更多資訊,請參見Dataphin資料來源表開發方式

    重要
    • 資料來源編碼配置成功後不支援修改。

    • 資料來源編碼配置成功後,才能在資產目錄和資產清單的對象詳情頁面進行資料預覽。

    • Flink SQL中,目前僅支援MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB資料來源。

    版本

    可選擇6.2.x9.3.x

    資料來源描述

    對資料來源的簡單描述。不得超過128個字元。

    資料來源配置

    選擇需要配置的資料來源:

    • 如果資料來源區分生產資料來源和開發資料來源,則選擇生產+開發資料來源

    • 如果資料來源不區分生產資料來源和開發資料來源,則選擇生產資料來源

    標籤

    您可根據標籤給資料來源進行分類打標,如何建立標籤,請參見管理資料來源標籤

  5. 配置資料來源與Dataphin的串連參數。

    若您的資料來源配置選擇生產+開發資料來源,則需配置生產+開發資料來源的串連資訊。如果您的資料來源配置為生產資料來源,僅需配置生產資料來源的串連資訊。

    說明

    通常情況下,生產資料來源和開發資料來源需配置為非同一個資料來源,以實現開發資料來源與生產資料來源的環境隔離,降低開發資料來源對生產資料來源的影響。但Dataphin也支援配置成同一個資料來源,即相同參數值。

    參數

    描述

    叢集配置

    NameNode

    NameNode為HDFS叢集中NameNode節點的HostName或者IP和連接埠。

    配置範例:host=192.x.x.169,webUiPort=,ipcPort=8020。其中,webUiPortIPCport在TDH環境下預設是50070和8020,您可根據實際情況填寫對應的連接埠。image

    設定檔

    用於上傳Hadoop的設定檔,例如hdfs-site.xmlcore-site.xml,設定檔可在Hadoop叢集匯出。

    認證方式

    如果HDFS叢集無需認證,則選擇無認證;如果HDFS叢集需要認證,Dataphin支援選擇Kerberos

    若選擇Kerberos認證方式需配置相關認證資訊:

    • Kerberos配置方式:

      • KDDC Server:KDC統一服務地址,支援多項配置,英文分號(;)分隔。

      • Krb5檔案配置:需上傳Krb5檔案。

    • HDFS配置:

      • HDFS keytab File:HDFS的keytab檔案,即Kerberos認證的檔案

      • HDFS Principal:Kerberos認證Principal名。樣本為xxxx/hadoopclient@xxx.xxx

    Inceptor配置

    JDBC URL

    配置串連Inceptor的JDBC URL,格式為jdbc:hive2//host:port/dbname

    認證方式

    如果Inceptor叢集無需認證,則選擇無認證;如果Inceptor叢集需要認證,Dataphin支援選擇LDAPKerberos,您可以根據實際情況選擇,詳細內容說明如下:

    • Kerberos:選擇後需要上傳Keytab File及配置Principal。Keytab File即Kerberos認證的檔案;Principal的樣本為xxxx/hadoopclient@xxx.xxx

    • LDAP:選擇後需要配置LDAP認證的使用者名稱和密碼。

    使用者名稱

    配置Inceptor的使用者名稱。

    中繼資料庫配置

    中繼資料擷取方式

    支援中繼資料庫方式和HMS方式擷取。

    • 中繼資料庫方式:需要設定資料庫類型、版本、JDBC URL、認證方式、使用者名稱和密碼。

      • 資料庫類型:根據叢集中使用的中繼資料庫類型,選擇資料庫類型。支援選擇MySQLPostgreSQLInceptor

      • 版本:資料庫類型為MySQL,需選擇對應版本。支援MySQL5.1.43MySQL5.6/5.7MySQL8.0版本。

      • JDBC URL:填寫對應中繼資料庫的連結地址。

        • MySQL:格式為jdbc:mysql://host:port/dbname

        • PostgreSQL:格式為jdbc:postgresql://host:port/dbname

        • Inceptor:格式為:jdbc:hive2://host:port/dbname

      • 認證方式:資料庫類型為Inceptor需填寫認證方式,支援3種認證方式,無認證LDAPKerberos

        使用Kerberos認證方式需在叢集配置地區中選擇認證方式為Kerberos

      • 使用者名稱密碼:登入中繼資料庫的使用者名稱和密碼。

    • HMS方式:需要配置認證方式及上傳hive-site.xml

      • 認證方式:支援無認證LDAPKerberos

        使用Kerberos認證方式需在叢集配置地區中選擇認證方式為Kerberos。且需要上傳Keytab File檔案填寫Principal

      • hive-site.xml:上傳TDH Inceptor資料來源叢集的hive-site.xml設定檔。

  6. 選擇預設資源群組,該資源群組用於運行與當前資料來源相關任務,包括資料庫SQL、離線整庫遷移、資料預覽等。

  7. 進行測試連接或直接單擊確定進行儲存,完成TDH Inceptor資料來源的建立。

    單擊測試連接,系統將測試資料來源是否可以和Dataphin進行正常的連通。若直接單擊確定,系統將自動對所有已選中的叢集進行測試連接,但即使所選中的叢集均串連失敗,資料來源依然可以正常建立。