組み込みコネクタがニーズを満たさない場合は、カスタムコネクタを使用できます。この Topic では、カスタムコネクタのアップロード、使用、更新方法について説明します。
注意事項
Realtime Compute for Apache Flink がカスタムコネクタを正しく検出して使用するには、Flink コミュニティで定義された標準に従ってコネクタを開発する必要があります。したがって、コネクタのメタファイルを指定し、その Factory クラスを宣言する必要があります。カスタムコネクタの開発方法の詳細については、「ユーザー定義のソースとシンク」をご参照ください。
特定のタイプのコネクタは一度しかアップロードできません。
JAR パッケージの依存関係の競合を避けるために、次の点にご注意ください。
Flink ランタイムイメージのバージョンを、Project Object Model (POM) の依存関係で指定された Flink のバージョンと一致させてください。
ランタイムレイヤーで JAR パッケージをアップロードしないでください。つまり、依存関係に
<scope>provided</scope>を追加する必要があります。他のサードパーティの依存関係は、Shade メソッドを使用してパッケージングしてください。Shade パッケージングの詳細については、「Apache Maven Shade Plugin」をご参照ください。
カスタムコネクタのアップロードと使用
カスタムコネクタの登録ページに移動します。
対象のワークスペースの [操作] 列で、[コンソール] をクリックします。
左側のナビゲーションウィンドウで、[コネクタ] をクリックします。
カスタムコネクタを登録します。
[コネクタ] ページで、[カスタムコネクタの作成] をクリックします。
カスタムコネクタの JAR ファイルをアップロードします。
カスタムコネクタの JAR ファイルは、次のいずれかの方法でアップロードできます。
ファイルをアップロード: [ファイルを選択] をクリックして、ターゲットのコネクタ JAR ファイルを選択します。
[外部 URL]： 別のサービスから JAR ファイルを使用するには、外部 URL 機能を使用してファイルを取得できます。例： https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar
説明サポートされている外部 URL は、次の 2 種類のみです。
Flink ワークスペースの作成時に選択した OSS バケットの URL。アタッチされた OSS バケットは、Realtime Compute for Apache Flink コンソール の [ワークスペース詳細] ページで確認できます。
Realtime Compute for Apache Flink がアクセス権限 (公開読み取りまたは付与された権限) を持つ別の外部ストレージシステムの URL。
アップロードが完了したら、[次へ] をクリックします。
システムが、アップロードしたカスタムコネクタのコンテンツを解析します。解析が成功した場合、次のステップに進むことができます。解析が失敗した場合は、カスタムコネクタのコードが Flink コミュニティの標準に準拠していることを確認してください。
[完了] をクリックします。
作成されたカスタムコネクタがコネクタリストに表示されます。
ジョブ DDL でコネクタを使用できます。
ジョブ開発の詳細については、「ジョブ開発の概要」をご参照ください。
説明WITH 句の connector パラメーターの値は、カスタムコネクタの JAR パッケージ内の DynamicTableFactory の identifier パラメーターの値です。その他の WITH パラメーターとその意味は、開発したカスタムコネクタによって決まります。
カスタムコネクタの更新
カスタムコネクタを更新しても、それを使用している実行中のジョブには影響しません。ジョブは再起動後に更新されたコネクタを使用します。
カスタムコネクタの更新ページに移動します。
対象のワークスペースの [操作] 列で、[コンソール] をクリックします。
左側のナビゲーションウィンドウで、[コネクタ] をクリックします。
[カスタムコネクタ] タブで、対象のカスタムコネクタを見つけ、その名前の横にある [編集] をクリックします。
カスタムコネクタの JAR ファイルをアップロードします。
カスタムコネクタの JAR ファイルは、次のいずれかの方法でアップロードできます。
[ファイルのアップロード]： [ファイルの選択] をクリックし、対象のコネクタ JAR ファイルを選択します。
[外部 URL]： 外部 URL を入力します。例： https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar
説明サポートされている外部 URL は、次の 2 種類のみです。
Flink ワークスペースの作成時に選択した OSS バケットの URL。アタッチされた OSS バケットは、Realtime Compute for Apache Flink コンソール の [ワークスペース詳細] ページで確認できます。
Realtime Compute for Apache Flink がアクセス権限 (公開読み取りまたは付与された権限) を持つ別の外部ストレージシステムの URL。
アップロードが完了したら、[次へ] をクリックします。
システムが、アップロードしたカスタムコネクタのコンテンツを解析します。解析が成功した場合、次のステップに進むことができます。解析が失敗した場合は、カスタムコネクタのコードが Flink コミュニティの標準に準拠していることを確認してください。
[完了] をクリックします。
参考資料
Flink はさまざまな組み込みコネクタを提供しています。サポートされている組み込みコネクタの詳細については、「サポートされているコネクタ」をご参照ください。
コミュニティ版 Change Data Capture (CDC) コネクタの使用方法の詳細については、「コミュニティ版 CDC コネクタの使用」をご参照ください。
Flink は、カタログを作成して関連するメタデータを管理およびアクセスできるようにすることで、データ管理を提供します。詳細については、「カタログ」をご参照ください。