ApsaraMQ for Kafka:概要

前提条件

コネクタ機能は、EventBridge と Function Compute に基づいて実装されています。コネクタを使用する前に、次の操作が実行されていることを確認してください。

• EventBridge をアクティブ化し、RAM ユーザーに権限を付与する。

• 関数をすばやく作成する。

• デスティネーションサービスをアクティブ化します。たとえば、シンクが Tablestore であるコネクタタスクを作成する場合、Tablestore をアクティブ化します。

  説明

  デスティネーションサービスが Simple Log Service の場合、Function Compute をアクティブ化する必要はありません。

課金ルール

• EventBridge の課金ルールの詳細については、「課金」をご参照ください。

• Function Compute の課金ルールの詳細については、課金概要をご参照ください。

権限ポリシー

• Alibaba Cloud アカウントを使用して ApsaraMQ for Kafka コンソールでコネクタタスクを作成する場合は、画面の指示に従って権限ポリシーを設定します。

• RAM ユーザーを使用して ApsaraMQ for Kafka コンソールでコネクタタスクを作成する場合は、次の権限ポリシーが RAM ユーザーにアタッチされていることを確認してください。

  • AliyunKafkaFullAccess: ApsaraMQ for Kafka のリソースを管理するために使用されます。

  • AliyunFCFullAccess: Function Compute のリソースを管理するために使用されます。

  • AliyunEventBridgeFullAccess: EventBridge のリソースを管理するために使用されます。

  • デスティネーションサービスを管理するために使用される権限ポリシー。

  拡張機能を使用する場合は、他の必要な権限も取得する必要があります。例：

  • 仮想プライベートクラウド ( VPC ) 内のデスティネーションサービスにアクセスする場合、VPC リソースを管理するために AliyunVPCFullAccess 権限ポリシーを RAM ユーザーにアタッチする必要があります。

  • Function Compute の実行ログを表示する場合、Simple Log Service を管理するために AliyunLogFullAccess 権限ポリシーを RAM ユーザーにアタッチする必要があります。

機能

• さまざまなデータソース

  コネクタエコシステム統合は、クラウド内およびクラウド間で保存されているデータを接続することを目的としています。コネクタエコシステム統合を使用すると、クラウド内のさまざまなサービスのログやセルフマネージドアプリケーションからデスティネーションサービスにデータをインポートできます。クラウド間のデータインポートもサポートされています。コネクタエコシステム統合を使用して、ログ、データベース、およびメッセージ指向ミドルウェアからデータを同期できます。

• データクレンジングとデータアウトフロー

  コネクタエコシステム統合は、強力な UI ベースの抽出 - 変換 - ロード ( ETL ) 機能を提供します。この機能を使用して、メッセージキューで受信したデータをクレンジングおよびフォーマットし、データの形式を変換できます。コネクタエコシステム統合では、抽出、変換、およびロードされたデータをダウンストリームシステムにダンプすることもできます。

• サーバーレスのカスタム処理

  Alibaba Cloud が提供するサーバーレスコンピューティングサービスである Function Compute によって提供されるカスタムコーディング機能を活用することで、コネクタエコシステム統合では、カスタムビジネスロジックを作成し、カスタムデータ処理と配信を完了できます。

制限

次の表に、コネクタエコシステム統合の制限を示します。

メッセージインフロー ( ソース )

メッセージインフロー、またはソースは、コネクタエコシステム統合のコンポーネントです。メッセージインフローを使用すると、メッセージ、ログ、リレーショナルデータ、非リレーショナルデータなどのデータを、複数のデータソース間で柔軟、迅速、かつ非侵入的に統合できます。メッセージインフローは、データセンターとクラウド間のデータ統合ソリューションの実装に役立ち、統合データを操作、管理、および監視するための機能を提供します。メッセージインフローの主な機能は、さまざまな種類のデータを ApsaraMQ for Kafka に同期し、さまざまなソースからのデータを管理およびフィルタリングすることです。

メッセージアウトフロー ( シンク )

メッセージアウトフロー、またはシンクの主な機能は、ApsaraMQ for Kafka からさまざまなデスティネーションサービスにデータをエクスポートすることです。コネクタエコシステム統合は、ApsaraMQ for Kafka からのメッセージを確実に配信し、配信中にメッセージデータをクレンジングおよびフィルタリングします。

ETL ( 変換 )

ETL 、または変換は、コネクタエコシステム統合の重要なコンポーネントです。この機能は、ソースコネクタタスクまたはシンクコネクタタスクを作成するときにオプションです。コネクタエコシステム統合は、EventBridge が提供するデータ処理機能と Function Compute が提供するカスタム定義機能に基づいて、7 つのマッチングモードと 5 つのトランスフォーマーを提供し、メッセージを効率的に変換、処理、および分析します。マッチングモードは、固定値マッチング、プレフィックスマッチング、サフィックスマッチング、除外ベースのマッチング、数値マッチング、配列マッチング、および複合条件マッチングです。トランスフォーマーは、完全なイベント、部分的なイベント、定数、テンプレート、および Function Compute テンプレートです。

タスク

タスクは、コネクタエコシステム統合を実行するリソースエンティティです。タスクは、コネクタエコシステム統合を実装するために使用される方法でもあります。ほとんどの場合、タスクはソース、シンク、フィルタリングルール、および変換ルールで構成されます。タスクの基盤となるリソースは、EventBridge のイベントストリームです。

タスクを作成するときは、リソースとデータ処理に使用される方法を指定する必要があります。リソースの構成はタスクの重要な部分であり、ソースとシンクの構成が含まれます。ETL の詳細については、ETL ( 変換 ) をご参照ください。

バージョン説明

ApsaraMQ for Kafka では、2 つのバージョンのコネクタが提供されています。Alibaba Cloud アカウントを使用して古いバージョンのコネクタを作成していない場合、ApsaraMQ for Kafka コンソールには、新しいバージョンのコネクタを作成するためのエントリのみが表示されます。Alibaba Cloud アカウントを使用して古いバージョンのコネクタを作成した場合、ApsaraMQ for Kafka コンソールには、古いバージョンと新しいバージョンのコネクタを作成するためのエントリが表示されます。新しいバージョンのコネクタを作成することをお勧めします。

新しいバージョンのソースコネクタは、古いバージョンのソースコネクタと同じ機能を提供します。次の表に、新しいバージョンのシンクコネクタと古いバージョンのシンクコネクタの機能の違いを示します。