ApsaraMQ for Kafka:Create an OSS sink connector

前提条件

開始する前に、次のことを確認してください。

• コネクタ機能が有効化されている ApsaraMQ for Kafka インスタンス

• ApsaraMQ for Kafka インスタンスでトピックが作成されていること

• OSS コンソールでOSS バケットが作成されていること

• Function Compute が有効化されていること (コネクタは FC を介してデータを OSS にルーティングします)

制限事項

• 同一リージョン要件：ApsaraMQ for Kafka インスタンス、OSS バケット、および FC はすべて同じリージョンに存在する必要があります。詳細については、「使用制限」をご参照ください。

• UTF-8 のみ：ApsaraMQ for Kafka はメッセージを UTF-8 エンコードされた文字列にシリアル化します。バイナリデータはサポートされていません。

• 費用：FC は無料のリソースクォータを提供します。このクォータを超える使用量は、「FC 課金ルール」に従って課金されます。関数実行を監視するには、「FC のログ記録を設定する」をご参照ください。

コネクタの作成とデプロイ

{
    "Version": "1",
    "Statement": [
        {
            "Action": [
                "oss:GetObject",
                "oss:PutObject"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

テストメッセージの送信

デプロイ後、テストメッセージを送信してコネクタを検証します。

1. [コネクタ] ページで、コネクタを見つけ、[アクション] 列の [テスト] をクリックします。

2. ［メッセージの送信］ パネルで、送信方法を選択します。

   • コンソール: [メッセージキー]（例: demo）および[メッセージコンテンツ]（例: {"key": "test"}）を入力します。オプションで、[指定されたパーティションに送信]を[はい]に設定し、[パーティション ID]を入力します。パーティション ID の確認方法については、「パーティションのステータスを表示する」をご参照ください。

   • Docker: 「[Docker コンテナを実行してサンプルメッセージを生成する]」セクションに示されている Docker コマンドを実行します。

   • [SDK]：プログラミング言語またはフレームワークの SDK を選択し、指示に従います。

結果の検証

テストメッセージが OSS バケットに到着したかどうかを確認します。

1. OSS コンソールを開き、対象のバケットの[ファイル] ページに移動します。 詳細については、「概要」をご参照ください。

2. 新しいオブジェクトが表示されることを確認します。新しいオブジェクトは、コネクタが機能していることを示します。

エクスポートされた各オブジェクトには、次の形式の JSON 配列が含まれています。

[
    {
        "key": "123",
        "offset": 4,
        "overflowFlag": true,
        "partition": 0,
        "timestamp": 1603779578478,
        "topic": "Test",
        "value": "1",
        "valueSize": 272687
    }
]

Function Compute リソースの設定

コネクタが使用する FC リソースを調整するには、次の手順を実行します。

1. [コネクタ] ページでコネクタを見つけ、[操作] 列の [その他] をクリックし、[関数の設定] を選択します。

2. 必要に応じて、Function Compute コンソールでリソースを設定します。