Dataphin支援自訂即時資料源類型,您可以基於自訂的即時資料源類型,建立即時資料源執行個體、即時資料源類型的元表以及訪問自訂即時資料源的Flink SQL任務,以滿足實際資料需求開發。本文為您介紹如何自訂即時資料源類型。
使用限制
僅支援開源Flink(Apache Flink)和Ververica Flink計算引擎。
自訂Ververica Flink Connector說明
在Dataphin中完成自訂即時源類型的全部操作後,您還需要前往Ververica FlinkRealtime Compute管理主控台執行Connector的註冊操作。具體操作,請參見上傳與使用自訂連接器。
後續如果需要更新Connector的代碼,Dataphin平台和Ververica FlinkRealtime Compute平台都需要進行更新。最終生效的Jar,將會是Ververica FlinkRealtime Compute平台上傳的Connector Jar。
操作步驟
在Dataphin首頁,單擊頂部功能表列管理中心->資料來源管理。
按照以下操作指引,進入建立離線自訂來源類型頁面。
依次單擊自訂來源類型->建立自訂來源類型->建立即時資料源類型。

在建立資料來源類型頁面,配置參數。
參數
描述
類型名稱
自訂資料來源類型名稱,不能超過128個字元。
類型編碼
自訂資料來源類型的編碼。規則如下:
全域唯一。
最多輸入64個字元。
僅支援英文、數字、底線(_)。
不能以數字開頭。
說明建立成功後不可修改。
JAR包
上傳資料來源類型連接器的JAR包。
僅支援
.jar(不區分大小寫)為尾碼的檔案。檔案大小不能超過500MB。
不能與已經存在的資料來源的連接器或保留的連接器重複。
檔案中僅支援資料來源層級的加密參數。
說明自訂即時連接器說明,詳情請參見Flink官網。
設定檔
上傳資料來源類型連接器的設定檔,單擊下載設定檔範本進行配置。
僅支援
.yaml(不區分大小寫)作為尾碼的檔案。不能與已經存在的資料來源的連接器或保留的連接器重複。
檔案中僅支援資料來源層級的加密參數。
設定檔詳細說明如下:
# 聲明connector的使用類型(源表、目標表、維表) kind: source sink dim # 定義connector名稱,格式為CUSTOM_([A-Z|0-9]+) connector: CUSTOM_SOCKET # hostname是connector的一個屬性,會在DDL的with參數被展示。 # isSensitive:設定為false表示目標屬性(例如hostname)在頁面不會被加密展示。 # defaultValue:指定目標屬性的預設值。 # isRequired:設定為true,代表該屬性為必填項,且在頁面上以星號(*)展示。 # module:當module的值為datasource時,代表目標屬性可以在資料來源的頁面進行配置;當module的值為table的時候,代表目標屬性可以在即時元表的頁面進行配置。 hostname: isSensitive: false defaultValue: localhost isRequired: true module: datasource port: isSensitive: false # format:定義了資料輸入或輸出的序列化格式,其module通常配置為table。 format: name: changelog-csv module: table format_property: line-delimiter: isSensitive: false defaultValue: '/n' isRequired: true column-delimiter: isSensitive: false defaultValue: ','描述
填寫即時自訂來源類型的簡單描述,128個字元以內。
單擊確定,完成自訂即時資料源類型。
後續步驟
完成即時自訂來源類型建立後,系統將產生該類型的資料來源配置項,您可以將該類型的資料來源接入到Dataphin中。更多資訊,請參見資料來源管理。