本文介绍使用阿里云Logstash的常见问题。

如何将公网数据导入或导出到Logstash中?

Logstash实例部署在专有网络VPC(Virtual Private Cloud)下,可以通过配置NAT网关实现与公网的连通。具体操作,请参见配置NAT公网数据传输

使用自建Kafka作为Logstash的输入或者输出时,出现错误日志,如何处理?

常见错误日志如下:

  • No entry found for connection

    原因:Logstash节点无法解析到Kafka服务的hostname对应的IP地址。

    解决方法:在server.properties中添加配置信息,以Kafka服务运行在10.10.10.10的9092端口为例,配置信息如下。
    listeners=PLAINTEXT://10.10.10.10:9092
    advertised.listeners=PLAINTEXT://10.10.10.10:9092
    注意
    • 在配置信息时,请将10.10.10.10:9092替换为您Kafka集群的IP地址和端口号。
    • 推荐您使用阿里云Kafka服务,并且保证Logstash所在节点的IP地址在Kafka的访问白名单内。
  • could not be established. Broker may not be available

    原因:Kafka服务不存在或者无法连接。

    解决方法:检查Kafka服务是否正常运行,或者Logstash管道配置中的bootstrap_servers配置是否正确。

阿里云Logstash的JDBC支持MySQL数据库吗?

支持。需要上传mysql-connector-java驱动文件,具体操作请参见配置扩展文件

Logstash支持节点监控吗?

支持。可通过配置X-Pack,关联阿里云Elasticsearch实例后,在Kibana中监控Logstash节点。具体操作,请参见配置X-Pack监控

Logstash支持上传脚本文件吗?

不支持。目前,Logstash只支持通过Config配置文件配置管道,实现数据传输。详细信息,请参见通过配置文件管理管道

Logstash支持配置HTTP采集协议吗?

支持。Logstash支持通过HTTP或HTTPS接收单行或多行事件,详细信息请参见Http input plugin
说明 阿里云Logstash默认不提供公网访问能力,如果您需要采集公网HTTP请求,可通过配置NAT网关实现。具体操作,请参见配置NAT公网数据传输

如何通过Logstash,将日志服务数据同步到Elasticsearch上?

您可以通过logstash-input-sls插件实现,具体操作请参见logstash-input-sls插件使用说明

Logstash能够实时同步数据吗?

Logstash是准实时同步工具。只要您不停止管道任务,且源端有数据,Logstash就会一直向目标端写入数据。

管道创建后,进程卡住了,实例变更进度不变,如何处理?

查看实例的主日志是否有报错,根据报错判断原因,具体操作请参见 查询日志。常见的原因及解决方法如下。
原因 解决方法
管道配置错误。 中断变更,等到实例处于变更中断状态后, 修改管道配置,触发重启恢复。具体操作,请参见 查看实例任务进度详情
集群磁盘使用率过高。 升级实例规格。具体操作,请参见 升配集群 完成后,刷新实例,观察变更进度。
output为elasticsearch时,没有开启Elasticsearch实例的自动创建索引功能。 开启Elasticsearch实例的自动创建索引功能。具体操作,请参见 配置YML参数 完成后,刷新实例,观察变更进度。
input为beats时,port没有使用8000~9000的端口。 中断变更,等到实例处于变更中断状态后, 在管道配置中,修改port为8000~9000的端口,触发重启恢复。
源端或目标端的使用了外网地址。 选择以下任意一种方式处理:
  • 中断变更,等到实例处于变更中断状态后, 在管道配置中,将外网地址修改为内网地址,触发重启恢复。
  • 配置NAT网关实现公网数据传输。具体操作,请参见 配置NAT公网数据传输 完成后,刷新实例,观察变更进度。
管道配置中包含了file_extend,但没有安裝logstash-output-file_extend插件。 选择以下任意一种方式处理:
  • 安装logstash-output-file_extend插件。具体操作,请参见 使用Logstash管道配置调试功能 完成后,刷新实例,观察变更进度。
  • 中断变更,等到实例处于变更中断状态后, 在管道配置中,去掉file_extend配置,触发重启恢复。