ApsaraMQ for Kafka:インターネット経由で Filebeat に出力として接続する

ApsaraMQ for Kafka コンソールにログインします。

概要 ページの リソースの分布 セクションで、管理する ApsaraMQ for Kafka インスタンスが配置されているリージョンを選択します。

インスタンスリスト ページで、Filebeat に接続するインスタンスの名前をクリックします。

インスタンスの詳細 ページの アクセスポイント情報 セクションで、インスタンスのエンドポイントを表示します。設定情報 セクションで、ユーザー名 および パスワード パラメーターの値を取得します。

ApsaraMQ for Kafka コンソールにログインします。

インスタンスリスト ページで、管理するインスタンスの名前をクリックします。

左側のナビゲーションウィンドウで、トピック管理 をクリックします。

トピック管理 ページで、トピックの作成 をクリックします。

トピックの作成 パネルで、Topic のプロパティを指定し、[OK] をクリックします。

cd コマンドを実行して、Filebeat のインストールディレクトリに切り替えます。

次のコマンドを実行して CA 証明書ファイルをダウンロードします。

wget https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20220826/ytsw/only-4096-ca-cert

output.conf 設定ファイルを作成します。

1. vim output.conf コマンドを実行して設定ファイルを作成し、開きます。

2. i キーを押して挿入モードに入ります。

3. 次の内容を入力します。

   filebeat.inputs:
   - type: stdin
   
   output.kafka:
     hosts: ["alikafka-pre-cn-zv**********-1.alikafka.aliyuncs.com:9093", "alikafka-pre-cn-zv**********-2.alikafka.aliyuncs.com:9093", "alikafka-pre-cn-zv**********-3.alikafka.aliyuncs.com:9093"]
     username: "alikafka_pre-cn-v641e1d***"
     password: "aeN3WLRoMPRXmAP2jvJuGk84Kuuo***"
   
     topic: 'filebeat_test'
     partition.round_robin:
       reachable_only: false
     ssl.certificate_authorities: ["/home/admin/filebeat/filebeat-7.7.0-linux-x86_64/tasks/vpc_ssl/ca-cert"]
     ssl.verification_mode: none
   
     required_acks: 1
     compression: none
     max_message_bytes: 1000000

   パラメーター	説明	例
   hosts	ApsaraMQ for Kafka によって提供されるパブリックエンドポイントは SSL エンドポイントです。	alikafka-pre-cn-zv**********-1.alikafka.aliyuncs.com:9093, alikafka-pre-cn-zv**********-2.alikafka.aliyuncs.com:9093, alikafka-pre-cn-zv**********-3.alikafka.aliyuncs.com:9093
   username	インターネットおよび VPC 接続インスタンスのユーザー名。	alikafka_pre-cn-v641e1d***
   password	インターネットおよび VPC 接続インスタンスのパスワード。	aeN3WLRoMPRXmAP2jvJuGk84Kuuo***
   topic	Topic の名前。	filebeat_test
   reachable_only	メッセージが利用可能なパーティションにのみ送信されるかどうかを指定します。有効な値: true: プライマリパーティションが利用できない場合、出力がブロックされる可能性があります。 false: プライマリパーティションが利用できない場合でも、出力はブロックされません。	false
   ssl.certificate_authorities	CA 証明書が保存されているパス。	/home/admin/filebeat/filebeat-7.7.0-linux-x86_64/ca-cert
   ssl.verification_mode	認証モード。	none
   required_acks	確認応答 (ACK) の信頼性レベル。有効な値: 0: 応答は不要です。 1: システムはローカルコミットを待ちます。 -1: システムはすべてのレプリカがコミットするのを待ちます。 デフォルト値: 1。	1
   compression	データ圧縮エンコーダー。デフォルト値: gzip。有効な値: None。 snappy: 圧縮および展開用の C++ 開発パッケージ。 lz4: 圧縮および展開速度に重点を置いたロスレスデータ圧縮アルゴリズム。 gzip: GNU フリーソフトウェア用のファイル圧縮プログラム。	none
   max_message_bytes	最大メッセージサイズ (バイト単位)。デフォルト値: 1000000。この値は、ApsaraMQ for Kafka インスタンスに設定した最大メッセージサイズより小さくする必要があります。	1000000

   パラメーターの詳細については、「Kafka output plugin」をご参照ください。

4. Esc キーを押して CLI モードに戻ります。

5. : キーを押してボトムラインモードに入ります。wq と入力して Enter キーを押し、ファイルを保存して終了します。

作成した Topic にメッセージを送信します。

1. ./filebeat -c ./output.yml を実行します。

2. test と入力して Enter キーを押します。

ApsaraMQ for Kafka コンソールにログインします。

概要 ページの リソースの分布 セクションで、管理する ApsaraMQ for Kafka インスタンスが配置されているリージョンを選択します。

インスタンスリスト ページで、管理するインスタンスの名前をクリックします。

左側のナビゲーションウィンドウで、トピック管理 をクリックします。

トピック管理 ページで、管理する Topic の名前をクリックします。トピックの詳細 ページで、パーテーションステータス タブをクリックします。名前

ApsaraMQ for Kafka コンソールにログインします。

概要 ページの リソースの分布 セクションで、管理する ApsaraMQ for Kafka インスタンスが配置されているリージョンを選択します。

インスタンスリスト ページで、管理するインスタンスの名前をクリックします。

左側のナビゲーションウィンドウで、メッセージクエリ をクリックします。

メッセージクエリ ページで、クエリモード ドロップダウンリストから 位置によるクエリ を選択します。

Topic ドロップダウンリストから Topic を選択し、パーティション ドロップダウンリストからパーティションを選択し、開始点 フィールドにオフセット値を入力してから、クエリ をクリックします。