日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。本文介绍Logstore类型以及相关操作步骤。
概述
日志服务提供标准型(Standard)和查询型(Query)两种类型的Logstore。
- 标准型Logstore:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。
- 查询型Logstore:支持高性能查询,索引流量费用低于Standard,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。
Logstore类型对比
对比项 | Standard Logstore | Query Logstore | |
---|---|---|---|
费用 | 索引流量 | 0.0875美元/GB | 0.0146美元/GB |
功能 | 数据采集(仅业务系统日志场景) | 支持 | 支持 不支持采集云产品日志。 |
智能冷热分层存储 | 支持 | 支持 | |
查询 | 支持 | 支持 | |
分析(SQL语句) | 支持 | 不支持 | |
上下文查询 | 支持 | 支持 | |
LiveTail | 支持 | 支持 | |
日志聚类 | 支持 | 不支持 | |
重建索引 | 支持 | 支持 | |
仪表盘 | 支持 | 不支持 | |
告警 | 支持 | 仅支持基于查询语句的告警 | |
定时SQL | 支持 | 不支持 | |
数据加工 | 支持 | 支持 | |
数据投递 | 支持 | 支持 | |
数据消费 | 支持 | 支持 |
使用限制
专属Logstore(系统Logstore、云产品日志专属Logstore等)只能用于存放其专属数据,不支持写入其他数据。
- 例如internal-operation_log为系统Logstore,只能用于写入日志服务的详细日志。
- 例如指定Project下的oss-log-store为OSS访问日志的专属Logstore,只能用于写入OSS访问日志。
创建Logstore
说明 一个Project中,最多创建200个Logstore。
- 登录日志服务控制台。
- 在Project列表区域,单击目标Project。
- 在+图标。 页签中,单击
- 在创建Logstore页面中,配置如下参数。
参数 描述 Logstore类型 日志服务提供查询型Logstore和标准型Logstore。两种类型的对比,请参见Logstore类型对比。 支持将查询型Logstore升级为标准型Logstore。具体操作,请参见方式一。
Logstore名称 Logstore的名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。 WebTracking 打开WebTracking开关后,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。更多信息,请参见使用Web Tracking采集日志。 永久保存 打开永久保存开关后,日志服务将永久保存该Logstore中的日志。 说明 通过API方式获取数据保存时间时,如果对应值为3650则表示永久保存。数据保存时间 日志在Logstore中的保存时间。单位为天,取值范围:1~3000。 警告 当日志保存时间达到您所设置的保存时间后,日志将被删除。仅在未打开永久保存开关时,需设置数据保存时间。
重要 缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的存储量(日志)将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。Shard数目 日志服务使用Shard读写数据。一个Shard提供的写入能力为5 MB/s、500次/s,读取能力为10 MB/s、100次/s。每个Logstore中最多创建10个Shard,每个Project中最多创建200个Shard。更多信息,请参见分区(Shard)。 创建Logstore时,日志服务默认为您配置2个Shard。关于Shard的常见计费问题,请参见为什么会产生活跃Shard租用费用?。
自动分裂Shard 打开自动分裂Shard开关后,如果您写入的数据量超过已有Shard服务能力,日志服务会自动根据数据量增加Shard数量。更多信息,请参见管理Shard。 最大分裂数 打开自动分裂shard开关后,最多支持自动分裂至256个readwrite状态的Shard。 记录外网IP 打开记录外网IP开关后,日志服务自动把以下信息添加到日志的Tag字段中。 - __client_ip__:日志来源设备的公网IP地址。
- __receive_time__:日志到达服务端的时间,格式为Unix时间戳,表示从1970-1-1 00:00:00 UTC计算起的秒数。
- 单击确定。
修改Logstore配置
- 在 页签中,将鼠标悬浮在目标Logstore上,然后选择 。
- 在Logstore属性页面中,单击修改。具体的参数说明请参见创建Logstore。
- 单击保存,完成修改。
升级Logstore规格
日志服务支持将查询型Logstore升级为标准型Logstore。您可以在Logstore属性页面或在执行分析相关的操作时,根据页面提示,完成升级。
重要
- 升级后,默认打开当前字段索引的统计功能。统计功能仅对新写入的日志生效。
开启统计功能,不会增加历史数据的索引流量费用。
- 升级后,新写入的日志按照索引流量-日志索引计费项计算索引流量费用。更多信息,请参见计费项。
方式一
- 在 页签中,将鼠标悬浮在目标Logstore上,然后选择 。
- 在Logstore属性页面中,单击修改。
- 在Logstore类型配置项中,单击升级规格。
- 在确认提示框中,单击确认升级。
- 单击保存,完成修改。
方式二
方式三
删除Logstore
重要
- 删除Logstore前需先删除其对应的所有Logtail配置。具体操作,请参见删除Logtail采集配置。
- 如果该Logstore上还启用了日志投递,建议删除前停止向该Logstore写入新数据,并确认Logstore中已有的数据已经全部投递成功。
- 删除全部Logstore的当天仍会产生存储等费用,次日不再产生任何费用。即您在删除全部Logstore的第三天不会再收到日志服务的账单。
- 在 页签中,将鼠标悬浮在目标Logstore上,然后选择 。警告 Logstore一旦删除,其存储的日志数据将会被永久删除,不可恢复,请谨慎操作。
- 在删除对话框中,单击确认。
删除日志
当日志保存时间达到您所设置的保存时间后,日志将被删除。因此您可以通过修改数据保存时间,从而删除日志。
重要 缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的存储量(日志)将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。
开启冷热存储功能
您可以在Logstore属性页面,开启冷热存储功能。具体操作,请参见智能冷热分层存储。
Logstore接口
操作 | 接口 |
---|---|
创建Logstore | CreateLogStore |
删除Logstore | DeleteLogStore |
查询Logstore |
|
修改Logstore | UpdateLogStore |