Dataphin では、カスタムリアルタイムデータソースタイプを作成できます。これらのタイプを使用して、データソースインスタンス、メタテーブル、および Flink SQL タスクを作成し、カスタムデータにアクセスできます。この Topic では、カスタムリアルタイムデータソースタイプの作成方法について説明します。
制限事項
オープンソース Flink (Apache Flink) および Ververica Flink コンピュートエンジンのみがサポートされています。
カスタム Ververica Flink コネクタに関する注意事項
Dataphin でカスタムリアルタイムデータソースタイプを設定した後、Ververica Flink リアルタイムコンピューティングコンソールでコネクタも登録する必要があります。詳細については、「カスタムコネクタをアップロードして使用する」をご参照ください。
コネクタコードを更新するには、Dataphin と Ververica Flink リアルタイムコンピューティングプラットフォームの両方で更新する必要があります。Ververica Flink リアルタイムコンピューティングプラットフォームにアップロードしたコネクタの JAR ファイルが、有効になるバージョンです。
手順
Dataphin のホームページの上部のメニューバーで、[管理センター] > [データソース管理] の順にクリックします。
[オフラインカスタムソースタイプの作成] ページに移動するには、次の手順を実行します。
[カスタムソースタイプ] > [カスタムソースタイプの作成] > [リアルタイムデータソースタイプの作成] の順に移動します。
[データソースタイプの作成] ページで、パラメーターを設定します。
パラメーター
説明
タイプ名
カスタムデータソースタイプの名前。名前は 128 文字以内にする必要があります。
タイプコード
カスタムデータソースタイプのコード。コードは次のルールに従う必要があります：
グローバルに一意である必要があります。
64 文字まで使用できます。
英字、数字、アンダースコア (_) のみを含めることができます。
数字で始めることはできません。
説明このパラメーターは、タイプ作成後に変更することはできません。
JAR パッケージ
データソースタイプコネクタの JAR パッケージをアップロードします。
拡張子が
.jarのファイルのみがサポートされています。拡張子では大文字と小文字は区別されません。ファイルサイズは 500 MB を超えることはできません。
コネクタは、既存または予約済みのデータソースコネクタと同じにすることはできません。
ファイルには、データソースレベルの暗号化パラメーターのみを含めることができます。
説明カスタムリアルタイムコネクタの詳細については、Flink 公式サイトをご参照ください。
設定ファイル
データソースタイプコネクタの設定ファイルをアップロードします。[設定ファイルテンプレートのダウンロード] をクリックしてファイルを設定します。
拡張子が
.yamlのファイルのみがサポートされています。拡張子では大文字と小文字は区別されません。コネクタは、既存または予約済みのデータソースコネクタと同じにすることはできません。
ファイルには、データソースレベルの暗号化パラメーターのみを含めることができます。
次のセクションでは、設定ファイルについて詳しく説明します：
# コネクタの使用タイプ (ソーステーブル、結果テーブル、またはディメンションテーブル) を宣言します。 kind: source sink dim # コネクタ名を定義します。フォーマットは CUSTOM_([A-Z|0-9]+) です。 connector: CUSTOM_SOCKET # hostname はコネクタのプロパティです。DDL 文の WITH 句に表示されます。 # isSensitive: false に設定すると、ターゲットプロパティ (例：hostname) はページ上で暗号化されません。 # defaultValue: ターゲットプロパティのデフォルト値を指定します。 # isRequired: true に設定すると、プロパティは必須となり、ページ上でアスタリスク (*) が付きます。 # module: 値が datasource の場合、プロパティはデータソースページで設定できます。値が table の場合、プロパティはリアルタイムメタテーブルページで設定できます。 hostname: isSensitive: false defaultValue: localhost isRequired: true module: datasource port: isSensitive: false # format: データ入力または出力のシリアル化フォーマットを定義します。このプロパティの module は通常 table に設定されます。 format: name: changelog-csv module: table format_property: line-delimiter: isSensitive: false defaultValue: '/n' isRequired: true column-delimiter: isSensitive: false defaultValue: ','説明
カスタムリアルタイムソースタイプの簡単な説明を入力します。説明は 128 文字以内にする必要があります。
[OK] をクリックして、カスタムリアルタイムデータソースタイプを作成します。
次の手順
カスタムリアルタイムデータソースタイプを作成すると、その設定項目が自動的に生成されます。その後、このタイプのデータソースを Dataphin に追加できます。詳細については、「データソース管理」をご参照ください。