消息队列Kafka版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向消息队列Kafka版发送消息。
前提条件
在开始本教程前，请确保您已完成以下操作：
步骤一：获取接入点
Filebeat通过消息队列Kafka版的接入点与消息队列Kafka版建立连接。
- 登录消息队列Kafka版控制台。
- 在左侧导航栏，单击实例详情。
- 在实例详情页面，选择要作为Output接入Filebeat的实例。
- 在基本信息区域，获取实例的接入点。
步骤二：创建Topic
创建用于存储消息的Topic。
- 在消息队列Kafka版控制台的左侧导航栏，单击Topic管理。
- 在Topic管理页面，单击创建Topic。
- 在创建Topic页面，输入Topic信息，然后单击创建。
步骤三：Filebeat发送消息
在安装了Filebeat的机器上启动Filebeat，向创建的Topic发送消息。
- 执行cd命令切换到Filebeat的安装目录。
- 创建output.conf配置文件。
- 执行命令
vim output.conf创建空的配置文件。
- 按i键进入插入模式。
- 输入以下内容。
filebeat.inputs:
- type: stdin
output.kafka:
hosts: ["192.XX.XX.XX:9092", "192.XX.XX.XX:9092", "192.XX.XX.XX:9092"]
topic: 'filebeat_test'
required_acks: 1
compression: none
max_message_bytes: 1000000
| 参数 |
描述 |
示例值 |
| hosts |
消息队列Kafka版提供以下VPC接入点：
|
192.168.XXX.XXX:9092,192.168.XXX.XXX:9092,192.168.XXX.XXX:9092 |
| topic |
Topic的名称。 |
filebeat_test |
| required_acks |
ACK可靠性。取值：
- 0：无响应
- 1：等待本地提交
- -1：等待所有副本提交
默认值为1。
|
1 |
| compression |
数据压缩编译码器。默认值为gzip。取值：
- none：无
- snappy：用来压缩和解压缩的C++开发包
- lz4：着重于压缩和解压缩速度的无损数据压缩算法
- gzip：GNU自由软件的文件压缩程序
|
none |
| max_message_bytes |
最大消息大小。单位为字节。默认值为1000000。该值应小于您配置的消息队列Kafka版最大消息大小。
|
1000000 |
更多参数说明，请参见Kafka output plugin。
- 按Esc键回到命令行模式。
- 按：键进入底行模式，输入wq，然后按回车键保存文件并退出。
- 向创建的Topic发送消息。
- 执行
./filebeat -c ./output.yml。
- 输入test，然后按回车键。
步骤四：查看Topic分区
查看消息发送到Topic的情况。
- 在消息队列Kafka版控制台的左侧导航栏，单击Topic管理。
- 在Topic管理页面，选择作为Output接入Filebeat的实例，找到发送消息的Topic，在其右侧操作列单击分区状态。
- 在分区状态页面，单击刷新。
步骤五：按位点查询消息
您可以根据发送的消息的分区ID和位点信息查询该消息。
- 在消息队列Kafka版控制台的左侧导航栏，单击消息查询。
- 在消息查询页面，单击按位点查询页签。
- 选择发送了消息的Topic，选择发送的消息的分区ID，选择发送的消息的位点，然后单击查询。
- 可选：在搜索结果右侧的操作列，单击消息详情。
说明 不同接入点的差异，请参见接入点对比。
