日志服务支持通过Logstash消费日志数据,您可以通过配置日志服务的Input插件对接Logstash获取日志服务中的日志数据并写入到其他系统中,例如Kafka、HDFS等。
功能特性
- 分布式协同消费:可配置多台服务器同时消费某一个Logstore。
- 高性能:基于Java ConsumerGroup实现,单核消费速度可达20 MB/s。
- 高可靠性:消费进度保存到服务端,异常恢复后会从上一次消费的Checkpoint处自动恢复消费。
- 自动负载均衡:根据消费者数量自动分配Shard,消费者增加或减少后会自动负载均衡。
操作步骤
示例
配置Logstash消费某一个Logstore并将日志打印到标准输出,示例如下:
input {
logservice{
endpoint => "your project endpoint"
access_id => "your access id"
access_key => "your access key"
project => "your project name"
logstore => "your logstore name"
consumer_group => "consumer group name"
consumer_name => "consumer name"
position => "end"
checkpoint_second => 30
include_meta => true
consumer_name_with_ip => true
}
}
output {
stdout {}
}