通過建立MySQL資料來源,可以實現Dataphin讀取MySQL的業務資料或向MySQL寫入資料。本文為您介紹如何建立MySQL資料來源。
背景資訊
MySQL是一款領先的開源關係型資料庫管理系統,它利用結構化查詢語言 (SQL)(SQL)來儲存、檢索和管理資料。常用於網站、應用程式和商業產品,是一種常見的主要關係資料存放區系統。
許可權說明
僅支援擁有建立資料來源許可權點的自訂全域角色和超級管理員、資料來源管理員、板塊架構師、專案系統管理員系統角色建立資料來源。
操作步驟
在Dataphin首頁,在頂部功能表列選擇管理中心 > 資料來源管理。
在資料來源頁面,單擊+建立資料來源。
在建立資料來源頁面的關係型資料庫地區,選擇MySQL。
如果您最近使用過MySQL,也可以在最近使用地區選取項目MySQL。同時,您也可以在搜尋方塊中,輸入MySQL的關鍵詞,快速搜尋。
在建立MySQL資料來源頁面中,配置串連資料來源參數。
配置資料來源的基本資料。
參數
說明
資料來源名稱
填寫資料來源名稱。命名規則如下:
只能包含中文、英文字母大小寫、數字、底線(_)或短劃線(-)。
長度不能超過64個字元。
資料來源編碼
配置資料來源編碼後,您可以在Flink_SQL任務或使用Dataphin JDBC用戶端中,通過
資料來源編碼.表名稱或資料來源編碼.schema.表名稱的格式直接存取Dataphin資料來源表,實現快捷消費;如果需要根據任務執行環境自動切換資料來源,請通過${資料來源編碼}.table或${資料來源編碼}.schema.table的變數格式訪問。更多資訊,請參見Dataphin資料來源表開發方式。重要資料來源編碼配置成功後不支援修改。
資料來源編碼配置成功後,才能在資產目錄和資產清單的對象詳情頁面進行資料預覽。
Flink SQL中,目前僅支援MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB資料來源。
版本
僅支援選擇MySQL5.1.43、MySQL5.6/5.7、MySQL8.0.x、MySQL8.4.x、RDS MySQL版本的MySQL資料來源。
重要若您使用阿里雲的MySQL資料來源,需要選擇RDS MySQL版本才可以正常串連。
資料來源描述
對MySQL資料來源的簡單描述。不得超過128個字元。
時區
將根據當前時區對整合任務中的時間格式資料進行處理,預設時區為Asia/Shanghai。單擊修改,可選擇目標時區,可選項如下:
GMT:GMT-12:00、GMT-11:00、GMT-10:00、GMT-09:30、GMT-09:00、GMT-08:00、GMT-07:00、GMT-06:00、GMT-05:00、GMT-04:00、GMT-03:00、GMT-03:00、GMT-02:30、GMT-02:00、GMT-01:00、GMT+00:00、GMT+01:00、GMT+02:00、GMT+03:00、GMT+03:30、GMT+04:00、GMT+04:30、GMT+05:00、GMT+05:30、GMT+05:45、GMT+06:00、GMT+06:30、GMT+07:00、GMT+08:00、GMT+08:45、GMT+09:00、GMT+09:30、GMT+10:00、GMT+10:30、GMT+11:00、GMT+12:00、GMT+12:45、GMT+13:00、GMT+14:00。
夏令時:Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New_York、America/Sao_Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。
資料來源配置
基於業務資料來源是否區分生產資料來源和開發資料來源:
如果業務資料來源區分生產資料來源和開發資料來源,則選擇生產+開發資料來源。
如果業務資料來源不區分生產資料來源和開發資料來源,則選擇生產資料來源。
標籤
您可以根據標籤給資料來源進行分類打標,如何建立標籤,請參見管理資料來源標籤。
配置資料來源與Dataphin的串連參數。
若您的資料來源配置選擇生產+開發資料來源,則需配置生產+開發資料來源的串連資訊。如果您的資料來源配置為生產資料來源,僅需配置生產資料來源的串連資訊。
說明通常情況下,生產資料來源和開發資料來源需配置為非同一個資料來源,以實現開發資料來源與生產資料來源的環境隔離,降低開發資料來源對生產資料來源的影響。但Dataphin也支援配置成同一個資料來源,即相同參數值。
配置方式可選擇JDBC URL、主機,預設選擇為JDBC URL。
JDBC URL配置方式
參數
描述
JDBC URL
JDBC URL連結地址的格式為
jdbc:mysql://host:port/dbname。說明MySQL資料來源的預設連接埠為3306。
使用者名稱、密碼
資料庫的使用者名稱和密碼。
SSL加密
開啟後,需上傳Truststore認證並填寫Truststore認證密碼。
主機配置方式
主機配置方式
參數
描述
伺服器位址
輸入伺服器的IP地址和連接埠號碼。
支援單擊+新增來添加多組IP地址和連接埠號碼,單擊
表徵圖刪除多餘的IP地址和連接埠號碼,但需至少保留一組。dbname
輸入資料庫名稱。
參數配置
參數
描述
參數
參數名稱:支援選擇已有參數名稱或輸入自訂參數名稱。
自訂參數名稱僅支援英文字母大小寫、數字、半形句號(.)、底線(_)和短劃線(-)。
參數值:當已選擇參數名稱時,參數值為必填。僅支援英文字母大小寫、數字、半形句號(.)、底線(_)和短劃線(-),長度不超過256個字元。
說明支援通過單擊+添加參數新增多個參數,單擊
表徵圖刪除多餘參數,至多可添加30個參數。使用者名稱、密碼
登入MySQL執行個體的使用者名稱和密碼。
SSL加密
開啟後,需上傳Truststore認證並填寫Truststore認證密碼。
說明當配置方式選擇為主機並完成建立資料來源後,若需要切換為JDBC URL配置方式,系統會將伺服器的IP地址和連接埠號碼拼接為JDBC URL進行填充。
配置資料來源的進階設定。
參數
描述
connectTimeout
資料庫的connectTimeout時間長度(單位:毫秒),預設900000毫秒(15分鐘)。
說明若您在JDBC URL中帶有connectTimeout配置,則connectTimeout為JDBC URL中配置的逾時時間。
Dataphin V3.11版本之前的建立資料來源,connectTimeout預設為
-1,表示無逾時限制。
socketTimeout
資料庫的socketTimeout時間長度(單位:毫秒),預設1800000毫秒(30分鐘)。
說明若您在JDBC URL中帶有socketTimeout配置,則socketTimeout為JDBC URL中配置的逾時時間。
Dataphin V3.11版本之前的建立資料來源,socketTimeout預設為
-1,表示無逾時限制。
串連重試次數
資料庫連接逾時,將自動重試串連直到完成設定的重試次數。若達最大重試次數仍未串連成功,則串連失敗。
說明預設重試次數為1次,支援配置0~10之間參數。
串連重試次數將預設應用於離線整合任務與全域品質(需開通資產品質功能模組),離線整合任務中支援單獨配置任務層級的重試次數
說明重複參數的取值規則:
若某一參數同時存在於JDBC URL、進階設定的參數和主機配置方式的參數配置中時,則以JDBC URL中該參數的取值為準。
若某一參數同時存在於JDBC URL和進階設定的參數中時,則以JDBC URL中該參數的取值為準。
若某一參數同時存在於進階設定的參數和主機配置方式的參數配置中時,則以進階設定的參數配置中該參數的取值為準。
選擇預設資源群組,該資源群組用於運行與當前資料來源相關任務,包括資料庫SQL、離線整庫遷移、資料預覽等。
進行測試連接或直接單擊確定進行儲存,完成MySQL資料來源的建立。
單擊測試連接,系統將測試資料來源是否可以和Dataphin進行正常的連通。若直接單擊確定,系統將自動對所有已選中的叢集進行測試連接,但即使所選中的叢集均串連失敗,資料來源依然可以正常建立。
測試連接針對預設叢集或已經在Dataphin註冊且正常使用的註冊調度叢集進行串連測試。預設叢集為系統預設選中,不支援取消選中。註冊調度叢集下不存在資源群組時,不支援進行串連測試,需先建立資源群組後再進行測試連接。
所選叢集只用於測試與當前資料來源的網路連通,不用於後續相關任務的運行。
測試連接時間長度通常在2分鐘內,若逾時,您可以單擊
表徵圖查看具體原因並重試。無論測試結果為串連失敗、串連成功或成功有風險,系統都將為您記錄最終結果的產生時間。
說明僅預設叢集的測試結果包含成功有風險、串連成功、串連失敗三種串連狀態;在Dataphin註冊的註冊調度叢集的測試結果僅包含串連成功、串連失敗兩種串連狀態。
測試結果為串連失敗時,您可以單擊
表徵圖查看具體失敗原因。測試結果為成功有風險時,代表應用叢集串連成功、調度叢集串連失敗,當前資料來源無法用於資料開發和整合。您可以單擊
表徵圖查看日誌資訊。