通過建立HDFS資料來源能夠實現Dataphin讀取HDFS的業務資料或向HDFS寫入資料。本文為您介紹如何建立HDFS資料來源。
背景資訊
HDFS叢集由NameNode和DataNode構成master-worker（主從）模式：
NameNode用於構建命名空間，管理檔案的中繼資料等。
DataNode用於儲存資料，及處理資料區塊的讀寫。
如果您使用的是HDFS，在引入HDFS的業務資料至Dataphin中或將Dataphin資料匯出至HDFS的情境中，您需要先完成HDFS資料來源的建立。更多HDFS資訊，請參見HDFS官方介紹。
許可權說明
僅支援擁有建立資料來源許可權點的自訂全域角色和超級管理員、資料來源管理員、板塊架構師、專案系統管理員系統角色建立資料來源。
操作步驟
在Dataphin首頁，單擊頂部功能表列管理中心 > 資料來源管理。
在資料來源頁面，單擊+建立資料來源。
在建立資料來源頁面的檔案地區，選擇HDFS。
如果您最近使用過HDFS，也可以在最近使用地區選取項目HDFS。同時，您也可以在搜尋方塊中，輸入HDFS的關鍵詞，快速篩選。
在建立HDFS資料來源頁面中，配置串連資料來源參數。
配置資料來源的基本資料。
參數
描述
資料來源名稱
命名規則如下：
只能包含中文、字母、數字、底線（_）或短劃線（-）。
長度不能超過64字元。
資料來源編碼
配置資料來源編碼後，您可以在Flink_SQL任務中通過
資料來源編碼.表名稱或資料來源編碼.schema.表名稱的格式引用資料來源中的表；如果需要根據所處環境自動訪問對應環境的資料來源，請通過${資料來源編碼}.table或${資料來源編碼}.schema.table的變數格式訪問。更多資訊，請參見Dataphin資料來源表開發方式。重要資料來源編碼配置成功後不支援修改。
資料來源編碼配置成功後，才能在資產目錄和資產清單的對象詳情頁面進行資料預覽。
Flink SQL中，目前僅支援MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB資料來源。
版本
選擇資料來源的版本，版本支援：
CDH5.x HDFS
Aliyun EMR3.x HDFS
CDH6.x HDFS 2.1.1。
FusionInsight 8.x HDFS
CDP7.x HDFS
亞信DP5.x HDFS
Aliyun EMR5.x HDFS
資料來源描述
對資料來源的簡單描述。不得超過128個字元。
資料來源配置
選擇需要配置的資料來源：
如果業務資料來源區分生產資料來源和開發資料來源，則選擇生產+開發資料來源。
如果業務資料來源不區分生產資料來源和開發資料來源，則選擇生產資料來源。
標籤
您可根據標籤給資料來源進行分類打標，如何建立標籤，請參見管理資料來源標籤。
配置資料來源與Dataphin的串連參數。
若您的資料來源配置選擇生產+開發資料來源，則需配置生產+開發資料來源的串連資訊。如果您的資料來源配置為生產資料來源，僅需配置生產資料來源的串連資訊。
說明通常情況下，生產資料來源和開發資料來源需配置為非同一個資料來源，以實現開發資料來源與生產資料來源的環境隔離，降低開發資料來源對生產資料來源的影響。但Dataphin也支援配置成同一個資料來源，即相同參數值。
參數
描述
NameNode
NameNode為HDFS叢集中NameNode節點的HostName或者IP和連接埠。
配置範例：
host=192.168.*.1,webUiPort=,ipcPort=8020。其中，webUiPort和IPCport在CDH5環境下預設是50070和8020，您可根據實際情況填寫對應的連接埠。說明webUiPort非必填項。未填寫webUiPort對HDFS資料來源使用無影響。
設定檔
用於上傳Hadoop的設定檔，例如hdfs-site.xml、core-site.xml，設定檔可在Hadoop叢集匯出。
Kerberos
Kerberos是一種基於對稱金鑰技術的身份認證協議。
如果Hadoop叢集有Kerberos認證，則需要開啟Kerberos認證，並上傳使用者的Krb5認證檔案或配置KDC Server地址、Keytab File和Principal：
Krb5檔案：上傳Krb5檔案進行Kerberos認證。
KDC Server：KDC伺服器位址，輔助完成Kerberos認證。
Keytab File：上傳keytab檔案，您可以在HDFS Server上擷取keytab檔案。
Principal：填寫HDFS Keytab File檔案對應的Kerberos認證使用者名稱。
說明支援配置多個KDC Server服務地址，使用英文逗號
,分割。
選擇預設資源群組，該資源群組用於運行與當前資料來源相關任務，包括資料庫SQL、離線整庫遷移、資料預覽等。
進行測試連接或直接單擊確定進行儲存，完成HDFS資料來源的建立。
單擊測試連接，系統將測試資料來源是否可以和Dataphin進行正常的連通。若直接單擊確定，系統將自動對所有已選中的叢集進行測試連接，但即使所選中的叢集均串連失敗，資料來源依然可以正常建立。