組み込みコネクタがビジネス要件を満たせない場合は、カスタムコネクタを使用できます。このトピックでは、カスタムコネクタをアップロード、使用、および更新する方法について説明します。
注意事項
Realtime Compute for Apache Flink がカスタムコネクタを識別して使用できるようにするには、Apache Flinkコミュニティで定義されているコネクタ標準に基づいてカスタムコネクタを開発する必要があります。そのため、開発するカスタムコネクタの .meta ファイルを取得し、カスタムコネクタのファクトリークラスを宣言する必要があります。カスタムコネクタの開発方法の詳細については、「ユーザー定義のソースとシンク」をご参照ください。
同じタイプのコネクタの JAR ファイルは 1 回だけアップロードできます。
JAR ファイルの依存関係の競合を避けるために、次の点に注意してください。
Flink イメージのバージョンが、Project Object Model（POM）の依存関係にある Flink バージョンと同じであることを確認します。
ランタイムレイヤーで JAR ファイルをアップロードしないでください。これは、依存関係に
<scope>provided</scope>を追加する必要があることを示しています。サードパーティの依存関係をパッケージ化するには、Shade プラグインを使用します。詳細については、「Apache Maven Shade プラグイン」をご参照ください。
カスタムコネクタのアップロードと使用
カスタムコネクタの作成ダイアログボックスに移動します。
Realtime Compute for Apache Flink コンソール にログオンします。
管理するワークスペースを見つけ、コンソール[アクション] 列の をクリックします。
左側のナビゲーションペインで、[コネクタ] をクリックします。
カスタムコネクタを作成します。
[コネクタ] ページで、[カスタムコネクタの作成] をクリックします。
カスタムコネクタの JAR ファイルをアップロードします。
次のいずれかの方法を使用して、カスタムコネクタの JAR ファイルをアップロードできます。
[ファイルのアップロード]: [クリックして選択] をクリックし、目的の JAR ファイルを選択します。
[外部 URL を使用する]: 別のサービスの外部 URL を入力します。別のサービスの JAR ファイルを使用する場合は、この方法を使用して JAR ファイルを取得できます。たとえば、https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar と入力できます。
説明次の 2 種類の外部 URL のみがサポートされています。
Realtime Compute for Apache Flink ワークスペースの購入時に指定した Object Storage Service（OSS）バケットのエンドポイント。指定した OSS バケットのエンドポイントは、Realtime Compute for Apache Flink の管理コンソール の [ワークスペースの詳細] メッセージで確認できます。
Realtime Compute for Apache Flink がアクセスできる別の外部ストレージシステムのエンドポイント。外部ストレージシステムのアクセス制御リスト（ACL）はパブリック読み取りであるか、Realtime Compute for Apache Flink に外部ストレージシステムへのアクセス権限が付与されています。
JAR ファイルをアップロードした後、[次へ] をクリックします。
システムは、アップロードした JAR ファイルの内容を解析します。ファイルの解析が成功した場合は、次の手順に進みます。ファイルの解析に失敗した場合は、カスタムコネクタのコードが Apache Flink コミュニティで定義されている標準に準拠しているかどうかを確認してください。
[完了] をクリックします。
作成したカスタムコネクタがコネクタリストに表示されます。
ドラフトの DDL ステートメントでコネクタを使用します。
ドラフト開発の詳細については、「SQL ドラフトの開発」をご参照ください。
説明WITH 句のコネクタパラメータの値を、カスタムコネクタの JAR ファイルにある DynamicTableFactory の識別子パラメータの値に設定する必要があります。WITH 句のその他のパラメータとその定義は、作成するカスタムコネクタによって異なります。
カスタムコネクタの更新
カスタムコネクタを更新した後も、そのコネクタを使用している実行中のデプロイメントは影響を受けません。デプロイメントを再起動すると、コネクタの更新がデプロイメントに適用されます。
コネクタの編集ダイアログボックスに移動します。
Realtime Compute for Apache Flink コンソール にログオンします。
管理するワークスペースを見つけ、コンソール[アクション] 列の をクリックします。
左側のナビゲーションペインで、[コネクタ] をクリックします。
[コネクタ] タブで、[カスタムコネクタ] タブをクリックします。 [カスタムコネクタ] タブで、目的のカスタムコネクタを見つけ、カスタムコネクタの名前の右側にある [編集] をクリックします。
カスタムコネクタの JAR ファイルをアップロードします。
次のいずれかの方法を使用して、カスタムコネクタの JAR ファイルをアップロードできます。
[ファイルのアップロード]: [クリックして選択] をクリックし、目的の JAR ファイルを選択します。
[外部 URL を使用する]: 外部 URL を入力します。たとえば、https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar と入力できます。
説明次の 2 種類の外部 URL のみがサポートされています。
Realtime Compute for Apache Flink ワークスペースの購入時に指定した Object Storage Service（OSS）バケットのエンドポイント。指定した OSS バケットのエンドポイントは、Realtime Compute for Apache Flink の管理コンソール の [ワークスペースの詳細] メッセージで確認できます。
Realtime Compute for Apache Flink がアクセスできる別の外部ストレージシステムのエンドポイント。外部ストレージシステムのアクセス制御リスト（ACL）はパブリック読み取りであるか、Realtime Compute for Apache Flink に外部ストレージシステムへのアクセス権限が付与されています。
JAR ファイルをアップロードした後、[次へ] をクリックします。
システムは、アップロードした JAR ファイルの内容を解析します。ファイルの解析が成功した場合は、次の手順に進みます。ファイルの解析に失敗した場合は、カスタムコネクタのコードが Apache Flink コミュニティで定義されている標準に準拠しているかどうかを確認してください。
[完了] をクリックします。
参照
Realtime Compute for Apache Flink は、さまざまな組み込みコネクタを提供しています。 Realtime Compute for Apache Flink でサポートされている組み込みコネクタの詳細については、サポートされているコネクタ をご参照ください。
Apache Flink 用の Change Data Capture（CDC）コネクタの使用方法の詳細については、「Apache Flink 用の CDC コネクタを使用する」をご参照ください。
Realtime Compute for Apache Flink はメタデータ管理をサポートしています。メタデータを管理およびアクセスするためのカタログを作成できます。詳細については、「カタログの管理」をご参照ください。