日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。本文介绍Logstore类型以及相关操作步骤。

概述

日志服务提供标准型(Standard)和查询型(Query)两种类型的Logstore。
  • 标准型Logstore:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。
  • 查询型Logstore:支持高性能查询,索引流量费用低于Standard,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。

Logstore类型对比

对比项Standard LogstoreQuery Logstore
费用索引流量0.0875美元/GB0.0146美元/GB
功能数据采集(仅业务系统日志场景)支持支持

不支持采集云产品日志。

智能冷热分层存储支持支持
查询支持支持
分析(SQL语句)支持不支持
上下文查询支持支持
LiveTail支持支持
日志聚类支持不支持
重建索引支持支持
仪表盘支持不支持
告警支持仅支持基于查询语句的告警
定时SQL支持不支持
数据加工支持支持
数据投递支持支持
数据消费支持支持

使用限制

专属Logstore(系统Logstore、云产品日志专属Logstore等)只能用于存放其专属数据,不支持写入其他数据。
  • 例如internal-operation_log为系统Logstore,只能用于写入日志服务的详细日志。
  • 例如指定Project下的oss-log-store为OSS访问日志的专属Logstore,只能用于写入OSS访问日志。

创建Logstore

说明 一个Project中,最多创建200个Logstore。
  1. 登录日志服务控制台
  2. 在Project列表区域,单击目标Project。
  3. 日志存储 > 日志库页签中,单击+图标。
  4. 创建Logstore页面中,配置如下参数。
    参数描述
    Logstore类型日志服务提供查询型Logstore和标准型Logstore。两种类型的对比,请参见Logstore类型对比

    支持将查询型Logstore升级为标准型Logstore。具体操作,请参见方式一

    Logstore名称Logstore的名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。
    WebTracking打开WebTracking开关后,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。更多信息,请参见使用Web Tracking采集日志
    永久保存打开永久保存开关后,日志服务将永久保存该Logstore中的日志。
    说明 通过API方式获取数据保存时间时,如果对应值为3650则表示永久保存。
    数据保存时间日志在Logstore中的保存时间。单位为天,取值范围:1~3000。
    警告 当日志保存时间达到您所设置的保存时间后,日志将被删除。

    仅在未打开永久保存开关时,需设置数据保存时间

    重要 缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的存储量(日志)将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。
    Shard数目日志服务使用Shard读写数据。一个Shard提供的写入能力为5 MB/s、500次/s,读取能力为10 MB/s、100次/s。每个Logstore中最多创建10个Shard,每个Project中最多创建200个Shard。更多信息,请参见分区(Shard)

    创建Logstore时,日志服务默认为您配置2个Shard。关于Shard的常见计费问题,请参见为什么会产生活跃Shard租用费用?

    自动分裂Shard打开自动分裂Shard开关后,如果您写入的数据量超过已有Shard服务能力,日志服务会自动根据数据量增加Shard数量。更多信息,请参见管理Shard
    最大分裂数打开自动分裂shard开关后,最多支持自动分裂至256个readwrite状态的Shard。
    记录外网IP打开记录外网IP开关后,日志服务自动把以下信息添加到日志的Tag字段中。
    • __client_ip__:日志来源设备的公网IP地址。
    • __receive_time__:日志到达服务端的时间,格式为Unix时间戳,表示从1970-1-1 00:00:00 UTC计算起的秒数。
  5. 单击确定

修改Logstore配置

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改
  2. Logstore属性页面中,单击修改
    具体的参数说明请参见创建Logstore
  3. 单击保存,完成修改。

升级Logstore规格

日志服务支持将查询型Logstore升级为标准型Logstore。您可以在Logstore属性页面或在执行分析相关的操作时,根据页面提示,完成升级。

重要
  • 升级后,默认打开当前字段索引的统计功能。统计功能仅对新写入的日志生效。

    开启统计功能,不会增加历史数据的索引流量费用。

  • 升级后,新写入的日志按照索引流量-日志索引计费项计算索引流量费用。更多信息,请参见计费项

方式一

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改
  2. Logstore属性页面中,单击修改
  3. Logstore类型配置项中,单击升级规格
  4. 在确认提示框中,单击确认升级
  5. 单击保存,完成修改。

方式二

在配置索引时,单击开启统计,系统将提示您升级Logstore规格。您可以单击立即升级,完成升级。关于索引配置的更多信息,请参见创建索引升级Logstore规格

方式三

快速分析页签中,单击目标字段,系统将提示您升级Logstore规格。您可以单击立即升级,完成升级。关于快速分析的更多信息,请参见快速分析升级Logstore规格

删除Logstore

重要
  • 删除Logstore前需先删除其对应的所有Logtail配置。具体操作,请参见删除Logtail采集配置
  • 如果该Logstore上还启用了日志投递,建议删除前停止向该Logstore写入新数据,并确认Logstore中已有的数据已经全部投递成功。
  • 删除全部Logstore的当天仍会产生存储等费用,次日不再产生任何费用。即您在删除全部Logstore的第三天不会再收到日志服务的账单。
  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 删除
    警告 Logstore一旦删除,其存储的日志数据将会被永久删除,不可恢复,请谨慎操作。
  2. 删除对话框中,单击确认

删除日志

当日志保存时间达到您所设置的保存时间后,日志将被删除。因此您可以通过修改数据保存时间,从而删除日志。

重要 缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的存储量(日志)将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。

开启冷热存储功能

您可以在Logstore属性页面,开启冷热存储功能。具体操作,请参见智能冷热分层存储

Logstore接口

操作接口
创建LogstoreCreateLogStore
删除LogstoreDeleteLogStore
查询Logstore
修改LogstoreUpdateLogStore