日志服务提供日志消费和查询功能,都均为对日志数据的读操作。

日志消费

全量数据顺序(FIFO)读写,提供类似Kafka的功能。

  • 每个LogStore有一个或多个Shard,数据写入时,随机落到某一个Shard中。
  • 可以从指定Shard中,按照日志写入Shard的顺序批量读取日志。
  • 根据接收日志的时间,设置批量读取Shard日志的起始位置(cursor)。

日志查询(LogSearch)

提供海量日志查询和分析功能,根据条件进行日志查询与统计。

  • 通过查询条件查找符合要求的数据。
  • 支持运算符AND、NOT、OR的多条件组合查询和结果SQL统计。
  • 数据查询不区分Shard。

区别

对比项目 日志查询 日志消费
查找关键词 支持 不支持
读取少量数据
读取全量数据 慢(100条日志100ms,不建议通过该方式读取数据。) 快(1 MB日志10ms,推荐方式。)
读取是否区分日志主题 区分 不区分,只以Shard作为标识。
读取是否区分Shard 不区分,查询所有Shard。 区分,单次读取需要指定Shard。
费用 较高
适用场景 监控、问题调查与分析等场景。 流式计算、批量处理等全量处理场景。