すべてのプロダクト
Search
ドキュメントセンター

ApsaraMQ for Kafka:コネクタの管理

最終更新日:Jan 11, 2025

コネクタの作成後、ApsaraMQ for Kafka コンソールでコネクタを管理できます。 コネクタの設定とログデータの表示、コネクタの一時停止または再開、コネクタの設定の変更、コネクタのテスト、コネクタの消費詳細の表示、およびコネクタの削除を行うことができます。

前提条件

コネクタが作成されていること。 コネクタの作成方法については、以下のトピックを参照してください。

説明

コネクタの設定は、Function Compute シンクコネクタと MySQL ソースコネクタに対してのみ変更できます。

注意事項

  • コネクタの設定は、Function Compute シンクコネクタと MySQL ソースコネクタに対してのみ変更できます。

  • コネクタは、実行中状態の場合にのみ一時停止できます。 コネクタは、一時停止状態の場合にのみ有効化できます。

コネクタの設定の表示

コネクタの作成後、基本情報、ソース情報、宛先情報など、コネクタに関する情報を表示できます。

  1. ApsaraMQ for Kafka コンソールにログインします。

  2. リソースの分布概要 ページの セクションで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

  3. 左側のナビゲーションペインで、Connector タスクリスト をクリックします。

  4. Connector タスクリスト ページで、インスタンスの選択 ドロップダウンリストから、コネクタが属するインスタンスを選択します。 コネクタリストで、コネクタを見つけ、詳細操作 列の をクリックします。

    表示されたページで、基本情報ソース情報、および ターゲット情報 セクションでコネクタの詳細を表示します。

コネクタに関するログ情報の表示

コネクタでエラーが発生した場合、ApsaraMQ for Kafka コンソールでコネクタに関するログ情報を表示して、エラーをトラブルシューティングできます。

  1. ApsaraMQ for Kafka コンソールにログインします。

  2. リソースの分布概要 ページの セクションで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

  3. 左側のナビゲーションペインで、Connector タスクリスト をクリックします。

  4. Connector タスクリスト ページで、インスタンスの選択 ドロップダウンリストから、コネクタが属するインスタンスを選択します。 コネクタリストで、コネクタを見つけ、詳細 > ログの表示操作 列で を選択します。

    コネクタの名前をクリックするか、操作 列の 詳細 をクリックすることもできます。 表示された詳細ページの右上隅にある ログの表示 をクリックします。

    説明

    ログの表示操作 列での位置は、コネクタの状態によって異なります。

    表示されたダイアログボックスで、コネクタに関するログ情報を表示します。

コネクタの設定の変更

Function Compute シンクコネクタまたは MySQL ソースコネクタの作成後、ApsaraMQ for Kafka コンソールでコネクタの設定を変更できます。

  1. ApsaraMQ for Kafka コンソールにログインします。

  2. リソースの分布概要 ページの セクションで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

  3. 左側のナビゲーションペインで、Connector タスクリスト をクリックします。

  4. Connector タスクリスト ページで、インスタンスの選択 ドロップダウンリストから、コネクタが属するインスタンスを選択します。 コネクタリストで、コネクタを見つけ、詳細 > 設定の変更操作 列で を選択します。

    コネクタの名前をクリックするか、操作 列の 詳細 をクリックすることもできます。 表示された詳細ページの右上隅にある 設定の変更 をクリックします。

  5. 設定の変更 パネルで、ビジネス要件に基づいて、次の表に示すパラメータの値を変更します。 次に、[OK] をクリックします。

    • Function Compute シンクコネクタの設定を変更します。

      パラメータ

      説明

      コンシューマースレッドの同時発生数

      ソーストピックからデータを同期するために使用される同時コンシューマースレッドの数。 デフォルト値:6。 有効な値:

      • [1]

      • [2]

      • [3]

      • [6]

      • [12]

      失敗の処理

      関連するメッセージの送信に失敗した後、エラーが発生したパーティションへのサブスクリプションを保持するかどうかを指定します。 有効な値:

      • サブスクリプションの継続:エラーが発生したパーティションへのサブスクリプションを保持し、エラーログエントリを生成します。

      • サブスクリプションの停止:エラーが発生したパーティションへのサブスクリプションを停止し、エラーログエントリを生成します。

      説明
      • ログ情報の表示方法については、「コネクタの管理」を参照してください。

      • エラーコードに基づいてエラーをトラブルシューティングする方法については、「エラーコード」を参照してください。

      送信モード

      メッセージを送信するモード。 有効な値:

      • 同期:データ交換の準備をするために、プロデューサーとコンシューマーが実行されている必要があります。

      • 非同期:プロデューサーがメッセージを送信した後、プロデューサーはブローカーからの応答を待つ必要がなく、他のタスクの処理を続行できます。

      ロットサイズを送信

      一度に送信できるメッセージの最大数。

      有効な値:1~5000。 デフォルト値:20。

      再試行回数

      メッセージの送信に失敗した後に許可される最大再試行回数。 デフォルト値:2。 有効な値:1~3。 特定の場合、メッセージの送信に失敗した場合、再試行はサポートされません。 エラーコードの詳細については、「エラーコード」を参照してください。 次の内容では、特定のエラーコードが返されたときに再試行がサポートされるかどうかについて説明します。

      • 4xx の場合、429 が返された場合を除き、再試行はサポートされません。

      • 5xx の場合、再試行はサポートされます。

      説明

      コネクタは InvokeFunction オペレーションを呼び出して、Function Compute にメッセージを送信します。

    • MySQL ソースコネクタの設定を変更します。

      パラメータ

      説明

      データベーステーブル

      データを同期する 1 つ以上のアプサラDB RDS for MySQL テーブルの名前。 複数のテーブル名はコンマ(,)で区切ります。

      ソーテーブルと宛先トピックは、1 対 1 のマッピングに基づいて関連付けられます。

      説明

      テーブルを追加または変更する場合は、ApsaraMQ for Kafka コンソールで対応するトピックを作成する必要があります。 トピック名は、<トピックプレフィックス>_<テーブル名> 形式である必要があります。 そうしないと、コネクタの実行時にエラーが発生します。 トピックの作成方法については、「ステップ 1:トピックの作成」を参照してください。

    設定が変更されたら、Connector タスクリスト ページに移動し、コネクタを見つけます。 操作 列の 詳細 をクリックします。 Connector の詳細 ページで、更新された設定を表示できます。

コネクタの一時停止または有効化

実行中のコネクタを一時的に一時停止するか、一時停止されたコネクタを再開する必要がある場合は、ApsaraMQ for Kafka コンソールでコネクタを一時停止または有効化できます。

  1. ApsaraMQ for Kafka コンソールにログインします。

  2. リソースの分布概要 ページの セクションで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

  3. 左側のナビゲーションペインで、Connector タスクリスト をクリックします。

  4. Connector タスクリスト ページで、インスタンスの選択 ドロップダウンリストから、コネクタが属するインスタンスを選択します。 コネクタリストで、コネクタを見つけ、コネクタを一時停止または有効化します。

    • コネクタを一時停止するには:操作 列で、詳細 > 一時停止 を選択します。 [注記] メッセージで、[OK] をクリックします。

    • コネクタを有効化するには:操作 列で、有効にする をクリックします。 [注記] メッセージで、[OK] をクリックします。

    コネクタの名前をクリックするか、操作 列の 詳細 をクリックすることもできます。 表示された詳細ページの右上隅にある 一時停止 または 有効にする をクリックします。

    Connector タスクリスト ページで、一時停止または再開したコネクタを見つけます。 コネクタの ステータス パラメータの値は、一時停止 または [実行中] になります。

    説明

    長期間一時停止されたままの MySQL ソースコネクタを再開しようとすると、操作が失敗する可能性があります。 この場合、操作 列の タスクの設定 をクリックします。 表示された DataWorks ページで、対応するコネクタを見つけ、[開始] をクリックします。 [開始] ダイアログボックスで、[オフセットのリセット] を選択し、[開始時点] パラメータを設定して、[OK] をクリックします。

コネクタのテスト

コネクタを作成した後、ApsaraMQ for Kafka コンソールからコネクタにメッセージを送信して、コネクタをテストできます。

  1. ApsaraMQ for Kafka コンソールにログインします。

  2. リソースの分布概要 ページの セクションで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

  3. 左側のナビゲーションペインで、Connector タスクリスト をクリックします。

  4. Connector タスクリスト ページで、インスタンスの選択 ドロップダウンリストから、コネクタが属するインスタンスを選択します。 コネクタリストで、コネクタを見つけ、テスト操作 列の をクリックします。

    コネクタの名前をクリックするか、操作 列の 詳細 をクリックすることもできます。 表示された詳細ページの右上隅にある テスト をクリックします。

    説明

    テスト操作 列での位置は、コネクタの状態によって異なります。

  5. メッセージの送信 パネルで、テストメッセージを送信します。

    1. メッセージキー フィールドに、demo などのテストメッセージのキーを入力します。

    2. メッセージの内容 フィールドに、{"key": "test"} などのテストメッセージの内容を入力します。

    3. 指定されたパーティションに送信 パラメータを設定して、テストメッセージを特定のパーティションに送信するかどうかを指定します。

      • テストメッセージを特定のパーティションに送信する場合は、はい をクリックし、パーティション ID フィールドに 0 などのパーティション ID を入力します。 パーティション ID を照会する方法については、「パーティションステータスの表示」を参照してください。

      • テストメッセージを特定のパーティションに送信しない場合は、いいえ をクリックします。

コネクタの消費進捗状況の表示

コネクタが作成され、実行中状態になった後、コネクタに対応するコンシューマーグループの消費詳細を表示できます。グループコンシューマーグループの名前は connect-{コネクタ名} です。グループ

  1. ApsaraMQ for Kafka コンソールにログインします。

  2. リソースの分布概要 ページの セクションで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

  3. 左側のナビゲーションペインで、Connector タスクリスト をクリックします。

  4. Connector タスクリスト ページで、インスタンスの選択 ドロップダウンリストから、コネクタが属するインスタンスを選択します。 コネクタリストで、コネクタを見つけ、消費の進捗状況操作 列の をクリックします。

    コネクタの名前をクリックするか、操作 列の 詳細 をクリックすることもできます。 表示された詳細ページの右上隅にある 消費の進捗状況 をクリックします。

    表示されたパネルで、ソーストピックにある、コネクタに対応するコンシューマーグループの消費詳細を表示できます。

コネクタの削除

ApsaraMQ for Kafka は、インスタンスごとのコネクタ数を制限しています。 コネクタが不要になった場合は、ApsaraMQ for Kafka コンソールで削除できます。

重要
  • MySQL ソースコネクタが実行中状態の場合、ApsaraMQ for Kafka コンソールでコネクタを直接削除することはできません。 DataWorks コンソールにログインして、コネクタを停止して公開解除してから、ApsaraMQ for Kafka コネクタのメタデータをクリアするために チケットを送信 する必要があります。 ApsaraMQ for Kafka コンソールで、Function Compute シンクコネクタ、MaxCompute シンクコネクタ、オブジェクトストレージサービス(OSS)シンクコネクタ、および Elasticsearch シンクコネクタを直接削除できます。

  • コネクタを削除すると、Message Queue for Apache Kafka は、トピックとコンシューマーグループが自動的に作成されたか手動で作成されたかに関係なく、コネクタに必要な 5 つのトピックと 2 つのコンシューマーグループを削除します。グループ

  1. ApsaraMQ for Kafka コンソールにログインします。

  2. リソースの分布概要 ページの セクションで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

  3. 左側のナビゲーションペインで、Connector タスクリスト をクリックします。

  4. Connector タスクリスト ページで、インスタンスの選択 ドロップダウンリストから、コネクタが属するインスタンスを選択します。 コネクタリストで、コネクタを見つけ、詳細 > 削除操作 列で を選択します。

    コネクタの名前をクリックするか、操作 列の 詳細 をクリックすることもできます。 表示された詳細ページの右上隅にある 削除 をクリックします。

  5. [注記] メッセージで、[OK] をクリックしてコネクタを削除します。