本文介紹如何將雲訊息佇列 Kafka 版接入Filebeat。
Filebeat
Filebeat是用於轉寄和集中日誌資料的輕量級傳輸程式。Filebeat可以監聽指定的記錄檔或位置,從中收集日誌事件並將其轉寄到Elasticsearch或Logstash進行索引。Filebeat的工作原理如下:
Filebeat啟動一個或多個Input,Input在指定的位置中尋找日誌資料。
Filebeat為每個找到的日誌啟動Harvester,Harvester讀取日誌並將日誌資料發送到libbeat。
libbeat聚集資料,然後將聚集的資料發送到配置的Output。
接入優勢
雲訊息佇列 Kafka 版接入Filebeat可以帶來以下優勢:
非同步處理:防止突發流量。
應用解耦:當下遊異常時,不會影響上遊工作。
減少開銷:減少Filebeat的資源開銷。
接入方案
雲訊息佇列 Kafka 版支援以下方式接入Filebeat: