全部產品
Search
文件中心

Dataphin:建立即時自訂來源類型

更新時間:Jan 25, 2025

Dataphin支援自訂即時資料源類型,您可以基於自訂的即時資料源類型,建立即時資料源執行個體、即時資料源類型的元表以及訪問自訂即時資料源的Flink SQL任務,以滿足實際資料需求開發。本文為您介紹如何自訂即時資料源類型。

使用限制

僅支援開源Flink(Apache Flink)和Ververica Flink計算引擎

自訂Ververica Flink Connector說明

在Dataphin中完成自訂即時源類型的全部操作後,您還需要前往Ververica FlinkRealtime Compute管理主控台執行Connector的註冊操作。具體操作,請參見上傳與使用自訂連接器

後續如果需要更新Connector的代碼,Dataphin平台和Ververica FlinkRealtime Compute平台都需要進行更新。最終生效的Jar,將會是Ververica FlinkRealtime Compute平台上傳的Connector Jar。

操作步驟

  1. 在Dataphin首頁,單擊頂部功能表列管理中心->資料來源管理

  2. 按照以下操作指引,進入建立離線自訂來源類型頁面。

    依次單擊自訂來源類型->建立自訂來源類型->建立即時資料源類型

    image

  3. 建立資料來源類型頁面,配置參數。

    參數

    描述

    類型名稱

    自訂資料來源類型名稱,不能超過128個字元。

    類型編碼

    自訂資料來源類型的編碼。規則如下:

    • 全域唯一。

    • 最多輸入64個字元。

    • 僅支援英文、數字、底線(_)。

    • 不能以數字開頭。

      說明

      建立成功後不可修改。

    JAR包

    上傳資料來源類型連接器的JAR包。

    • 僅支援.jar(不區分大小寫)為尾碼的檔案。

    • 檔案大小不能超過500MB

    • 不能與已經存在的資料來源的連接器或保留的連接器重複。

    • 檔案中僅支援資料來源層級的加密參數。

      說明

      自訂即時連接器說明,詳情請參見Flink官網

    設定檔

    上傳資料來源類型連接器的設定檔,單擊下載設定檔範本進行配置。

    • 僅支援.yaml(不區分大小寫)作為尾碼的檔案。

    • 不能與已經存在的資料來源的連接器或保留的連接器重複。

    • 檔案中僅支援資料來源層級的加密參數。

    設定檔詳細說明如下:

    # 聲明connector的使用類型(源表、目標表、維表)
    kind:
      source
      sink
      dim
    # 定義connector名稱,格式為CUSTOM_([A-Z|0-9]+)
    connector: CUSTOM_SOCKET
    # hostname是connector的一個屬性,會在DDL的with參數被展示。
    # isSensitive:設定為false表示目標屬性(例如hostname)在頁面不會被加密展示。
    # defaultValue:指定目標屬性的預設值。
    # isRequired:設定為true,代表該屬性為必填項,且在頁面上以星號(*)展示。
    # module:當module的值為datasource時,代表目標屬性可以在資料來源的頁面進行配置;當module的值為table的時候,代表目標屬性可以在即時元表的頁面進行配置。
    hostname:
      isSensitive: false
      defaultValue: localhost
      isRequired: true
      module: datasource
    port:
      isSensitive: false
    # format:定義了資料輸入或輸出的序列化格式,其module通常配置為table。
    format:
      name: changelog-csv
      module: table
      format_property:
        line-delimiter:
          isSensitive: false
          defaultValue: '/n'
          isRequired: true
        column-delimiter:
          isSensitive: false
          defaultValue: ','

    描述

    填寫即時自訂來源類型的簡單描述,128個字元以內。

  4. 單擊確定,完成自訂即時資料源類型。

後續步驟

完成即時自訂來源類型建立後,系統將產生該類型的資料來源配置項,您可以將該類型的資料來源接入到Dataphin中。更多資訊,請參見資料來源管理