通過建立Kafka資料來源能夠實現Dataphin讀取Kafka的業務資料或向Kafka寫入資料。本文為您介紹如何建立Kafka資料來源。
背景資訊
Kafka是一種訊息佇列，用於處理即時資料。Dataphin支援對接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在對接Dataphin進行資料開發或將Dataphin的資料匯出至Kafka，您需要先完成Kafka資料來源的建立。Kafka不同版本的功能介紹，請參見官方文檔：
許可權說明
Dataphin僅支援具有建立資料來源許可權點的自訂角色和超級管理員、資料來源管理員、板塊架構師、專案系統管理員角色建立資料來源。
操作步驟
在Dataphin首頁的頂部功能表列中，選擇管理中心 > 資料來源管理。
在資料來源頁面，單擊+建立資料來源。
在建立資料來源頁面的訊息佇列地區，選擇Kafka。
如果您最近使用過Kafka，也可以在最近使用地區選取項目Kafka。同時，您也可以在搜尋方塊中，輸入Kafka的關鍵詞，快速搜尋。
在建立Kafka資料來源頁面中，配置串連資料來源參數。
配置資料來源的基本資料。
參數
描述
資料來源名稱
命名規則如下：
只能包含中文、英文字母大小寫、數字、底線（_）或短劃線（-）。
長度不能超過64個字元。
資料來源編碼
配置資料來源編碼後，您可以在Flink_SQL任務中通過
資料來源編碼.表名稱或資料來源編碼.schema.表名稱的格式引用資料來源中的表；如果需要根據所處環境自動訪問對應環境的資料來源，請通過${資料來源編碼}.table或${資料來源編碼}.schema.table的變數格式訪問。更多資訊，請參見Dataphin資料來源表開發方式。重要資料來源編碼配置成功後不支援修改。
資料來源編碼配置成功後，才能在資產目錄和資產清單的對象詳情頁面進行資料預覽。
Flink SQL中，目前僅支援MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB資料來源。
資料來源描述
對資料來源的簡單描述。不超過128個字元。
資料來源配置
選擇需要配置的資料來源：
如果業務資料來源區分生產資料來源和開發資料來源，則選擇生產+開發資料來源。
如果業務資料來源不區分生產資料來源和開發資料來源，則選擇生產資料來源。
標籤
您可根據標籤給資料來源進行分類打標，如何建立標籤，請參見管理資料來源標籤。
配置資料來源與Dataphin的串連參數。
若您的資料來源配置選擇生產+開發資料來源，則需配置生產+開發資料來源的串連資訊。如果您的資料來源配置為生產資料來源，僅需配置生產資料來源的串連資訊。
說明通常情況下，生產資料來源和開發資料來源需配置為非同一個資料來源，以實現開發資料來源與生產資料來源的環境隔離，降低開發資料來源對生產資料來源的影響。但Dataphin也支援配置成同一個資料來源，即相同參數值。
參數
描述
串連地址
Kafka叢集地址。配置格式
host:port，如果需要配置多個節點的地址使用英文逗號（,）隔開。Dataphin支援對接Kafka09、Kafka010、Kafka011，如何配置不同版本的Kafka叢集地址，請參見官方文檔：
認證方式
支援無認證、Kerberos、使用者名稱+密碼三種認證方式。
無認證：若您的Kafka叢集採用無認證方式您可以選擇該項。
Kerberos：Kerberos是一種基於對稱金鑰技術的身份認證協議，常用於叢集各組件間的認證。開啟Kerberos能夠提升叢集的安全性。如果您選擇Kerberos認證，需配置以下參數：
krb5檔案：上傳Kerberos的Krb5設定檔。
Keytab File：上傳Keytab檔案，通過Keytab檔案進行使用者認證。
Principal：輸入Kerberos認證的Principal名。例如XXXX/hadoopclient@xxx.xxx。
Jaas檔案：如您的jaas檔案中只包含Krb5檔案、Keytab Flle及Principal參數，可選擇僅填寫Principal。如您的jaas檔案中包含除Krb5檔案、Keytab File及Principal之外的其他參數，需上傳jaas檔案。
使用者名稱+密碼：使用者名稱+密碼認證方式需配置以下參數：
加密方式：可選PLAIN、SCRAM-SHA-256、SCRAM-SHA-512。
說明加密方式選擇SCRAM-SHA-256、SCRAM-SHA-512時，不支援開啟SSL加密，且該資料來源僅可用於離線整合。
使用者名稱、密碼：輸入串連Kafka叢集的使用者名稱和密碼。
SSL加密
若您需要通過SSL方式加密Dataphin與Kafka之間的資料轉送，您可以開啟SSL加密。開啟SSL加密需配置以下參數：
說明Kerberos認證方式及使用者名稱+密碼認證方式的加密方式選擇SCRAM-SHA-256、SCRAM-SHA-512時，不支援SSL加密。
Truststore認證：用於SSL加密的Truststore認證。
Truststore認證密碼：填寫Truststore認證的密碼。
主機名稱端點識別演算法：非必填，使用伺服器憑證驗證伺服器主機名稱的端點識別演算法，不填寫預設禁用主機名稱驗證。例如，HTTPS。
SSL雙向認證：即Dataphin和Kafka之間使用SSL進行雙向身分識別驗證。常用於需要對通訊進行嚴格控制和驗證的應用情境，例如，金融交易或敏感性資料的傳輸。開啟SSL雙向認證需上傳Keystore認證及填寫Keystore認證密碼和Keystore私密金鑰密碼。
Schema Registry
Schema Registry為Confluent Kafka所支援功能，若您的Confluent Kafka開啟了Schema Registry，請在此選擇開啟。
選擇預設資源群組，該資源群組用於運行與當前資料來源相關任務，包括資料庫SQL、離線整庫遷移、資料預覽等。
進行測試連接或直接單擊確定進行儲存，完成Kafka資料來源的建立。
單擊測試連接，系統將測試資料來源是否可以和Dataphin進行正常的連通。若直接單擊確定，系統將自動對所有已選中的叢集進行測試連接，但即使所選中的叢集均串連失敗，資料來源依然可以正常建立。
測試連接針對預設叢集或已經在Dataphin註冊且正常使用的註冊調度叢集進行串連測試。預設叢集為系統預設選中，不支援取消選中。註冊調度叢集下不存在資源群組時，不支援進行串連測試，需先建立資源群組後再進行測試連接。
所選叢集只用於測試與當前資料來源的網路連通，不用於後續相關任務的運行。
測試連接時間長度通常在2分鐘內，若逾時，您可以單擊
表徵圖查看具體原因並重試。無論測試結果為串連失敗、串連成功或成功有風險，系統都將為您記錄最終結果的產生時間。
說明僅預設叢集的測試結果包含成功有風險、串連成功、串連失敗三種串連狀態；在Dataphin註冊的註冊調度叢集的測試結果僅包含串連成功、串連失敗兩種串連狀態。
測試結果為串連失敗時，您可以單擊
表徵圖查看具體失敗原因。測試結果為成功有風險時，代表應用叢集串連成功、調度叢集串連失敗，當前資料來源無法用於資料開發和整合。您可以單擊
表徵圖查看日誌資訊。