すべてのプロダクト
Search

このプロダクト

    Dataphin:リアルタイムカスタムソースタイプを作成する

    ドキュメントセンター

    Dataphin:リアルタイムカスタムソースタイプを作成する

    最終更新日:Feb 06, 2025

    Dataphin では、リアルタイムデータソースタイプのカスタマイズが可能であり、リアルタイムデータソースインスタンスとメタデータテーブルの作成が可能です。 また、カスタムリアルタイムデータソースタイプと Flink SQL タスクの統合を容易にし、特定のデータ開発要件に対応します。 このトピックでは、リアルタイムデータソースタイプをカスタマイズするプロセスについて概要を説明します。

    制限事項

    オープンソースの Flink（Apache Flink）と Ververica Flink コンピュートエンジンのみがサポートされています。

    Ververica Flink コネクタ の手順

    Dataphin でリアルタイムソースタイプのカスタマイズを完了したら、Ververica Flink リアルタイムコンピューティング管理コンソールに移動してコネクタを登録します。 詳細な手順については、「カスタムコネクタをアップロードして使用する」をご参照ください。

    コネクタコードを更新する必要がある場合は、Dataphin プラットフォームと Ververica Flink リアルタイムコンピューティングプラットフォームの両方で更新を適用する必要があります。 Ververica Flink プラットフォームにアップロードされたコネクタ Jar ファイルが使用されます。

    手順

    1. Dataphin ホームページに移動し、トップメニューバーの [管理センター] -> [データソース管理] をシングルクリックします。

    2. [オフラインカスタムソースタイプを作成] ページにアクセスするには、次の手順に従います。

      [カスタムソースタイプ] -> [カスタムソースタイプを作成] -> [リアルタイムデータソースタイプを作成] をシングルクリックします。

      image

    3. データソースタイプを作成 ページで、必須パラメーターを次のように入力します。

      パラメーター

      説明

      タイプ名

      カスタムデータソースタイプ名を入力します。128 文字以内で指定してください。

      タイプエンコーディング

      カスタムデータソースタイプのエンコーディングを指定します。次のルールに従ってください。

      • グローバルに一意である必要があります。

      • 64 文字を超えることはできません。

      • 英字、数字、およびアンダースコア (_) のみが使用できます。

      • 数字で始めることはできません。

        説明

        一度設定すると変更できません。

      JAR パッケージ

      データソースタイプコネクタの JAR パッケージをアップロードします。

      • ファイル拡張子は .jar（大文字と小文字は区別されません）である必要があります。

      • ファイルサイズは 500MB を超えてはいけません。

      • 既存または予約済みのデータソースコネクタと競合してはなりません。

      • データソースレベルの暗号化パラメーターのみを含める必要があります。

        説明

        カスタムリアルタイムコネクタのガイダンスについては、Flink 公式 Web サイト を参照してください。

      構成ファイル

      コネクタの構成ファイルをアップロードし、構成ファイルテンプレートをダウンロード をクリックして支援を受けてください。

      • ファイル拡張子は .yaml（大文字と小文字は区別されません）である必要があります。

      • 既存または予約済みのデータソースコネクタと競合してはなりません。

      • データソースレベルの暗号化パラメーターのみを含める必要があります。

      構成ファイルの詳細は次のとおりです。

      # コネクタの使用タイプを宣言します（ソーステーブル、ターゲットテーブル、ディメンションテーブル）
kind:
  source
  sink
  dim
# コネクタ名を定義します。形式は CUSTOM_([A-Z|0-9]+) です。
connector: CUSTOM_SOCKET
# hostname はコネクタのプロパティであり、パラメーター付きで DDL に表示されます。
# isSensitive: false に設定すると、ターゲットプロパティ（例: hostname）がページに暗号化されて表示されなくなります。
# defaultValue: ターゲットプロパティのデフォルト値を指定します。
# isRequired: true に設定すると、このプロパティが必須になり、ページにアスタリスク (*) が付いて表示されます。
# module: module の値が datasource の場合、ターゲットプロパティはデータソースページで構成できます。 module の値が table の場合、ターゲットプロパティはリアルタイムメタデータテーブルページで構成できます。
hostname:
  isSensitive: false
  defaultValue: localhost
  isRequired: true
  module: datasource
port:
  isSensitive: false
# format: データ入力または出力のシリアル化形式を定義します。通常、そのモジュールは table として構成されます。
format:
  name: changelog-csv
  module: table
  format_property:
    line-delimiter:
      isSensitive: false
      defaultValue: '/n'
      isRequired: true
    column-delimiter:
      isSensitive: false
      defaultValue: ','

      説明

      リアルタイムカスタムソースタイプの簡潔な説明を 128 文字以内で入力します。

    4. [確認] をクリックして、カスタムリアルタイムデータソースタイプの作成を完了します。

    次の手順

    リアルタイムカスタムソースタイプが正常に作成されると、システムはこのデータソースタイプの構成項目を生成します。 その後、このデータソースタイプを Dataphin に統合できます。 詳細については、「データソース」をご参照ください。