日志服务SLS快速入门 - 日志服务

文本日志是日志的最基本类型，本文介绍使用Logtail采集ECS主机文本日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。

前提条件

已有可用的ECS。更多信息，请参见云服务器ECS快速入门。
已开通日志服务。具体操作，请参见开通日志服务。

背景信息

本示例中待采集的日志路径为/var/log/nginx/access.log。

access.log文件中的日志内容如下：

127.0.*.1 - - [20/Mar/2023:12:00:01 +0000] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"  
192.168.*.1 - - [20/Mar/2023:12:00:02 +0000] "GET /about.html HTTP/1.1" 200 1435 "http://example.com/" "Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1"  
10.0.*.1 - - [20/Mar/2023:12:00:03 +0000] "POST /login HTTP/1.1" 302 0 "http://example.com/login.html" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36"  
127.0.*.1 - - [20/Mar/2023:12:00:04 +0000] "GET /images/logo.png HTTP/1.1" 200 45678 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"  
192.168.*.2 - - [20/Mar/2023:12:00:05 +0000] "GET /contact.html HTTP/1.1" 404 155 "http://example.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15"  
10.0.*.2 - - [20/Mar/2023:12:00:06 +0000] "GET /style.css HTTP/1.1" 200 12345 "http://example.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"  
127.0.*.1 - - [20/Mar/2023:12:00:07 +0000] "GET /favicon.ico HTTP/1.1" 404 554 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"  
192.168.*.3 - - [20/Mar/2023:12:00:08 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.79.1"  
10.0.*.3 - - [20/Mar/2023:12:00:09 +0000] "POST /api/data HTTP/1.1" 201 123 "http://example.com/dashboard" "PostmanRuntime/7.

针对该日志样例，本文介绍主机文本日志采集的操作步骤。

方案概览

采集主机指定文件的文本日志，分为3步：

创建Project和Logstore：项目（Project）是日志服务中的资源管理单元，用于资源隔离和控制。日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。
添加Logtail采集配置：通过进行Logtail采集配置，可以将Logtail安装至ECS服务器并开始采集日志，日志会发送到对应的Logstore中。
查询和分析日志：您可以在控制台查询和分析日志，例如日志检索、日志聚合、日志统计等。

1. 创建Project和Logstore

1.1 创建Project

在Project列表区域，单击创建Project，在创建Project面板中，选择所属地域（和ECS所属地域相同），输入Project名称，其余参数保持默认。更多配置，请参见创建项目Project。

1.2 创建Logstore

创建Project完成后，系统会提示您创建一个Logstore。

在Logstore面板中，输入Logstore名称，其余参数保持默认。更多参数配置，请参见创建Logstore。

2. 添加Logtail采集配置

通过进行Logtail采集配置，可以将Logtail安装至ECS服务器并开始采集日志，日志会发送到对应的Logstore中。

2.1 选择日志空间

在创建成功对话框中，单击数据接入向导。
在快速数据接入对话框的自建开源/商业软件页签下，单击单行-文本日志对应的立即接入。

2.2 机器组配置

单击主机场景 > ECS > 创建机器组，在创建机器组面板中，选择ECS实例，单击安装并创建为机器组。Project和ECS不同地域，请参见安装Logtail（Linux系统）。
页面中Logtail安装情况提示成功，则表示安装成功。如果安装失败，单击重建安装任务，重新选择ECS实例，安装Logtail。
Logtail安装完成后，输入机器组名称，IP地址会自动填充已安装Logtail的实例IP，无需填写。更多信息，请参见创建IP地址机器组。
检测机器组心跳。创建机器组大约需要2分钟。创建未生效，将导致心跳为FAIL。请2分钟后单击自动重试刷进行重试，直到机器组心跳为OK。机器组心跳排查请参见Logtail机器组无心跳。

2.3 Logtail配置

参考下图，输入配置名称，文件路径，添加背景信息中的1条日志样例（一共9条日志样例）。更多配置，请参见全局配置。

2.4 查询分析配置

Logtail配置生效需要3分钟左右，点击刷新后，出现预览数据，则说明Logtail配置生效。配置生效后，单击下一步，Logtail采集配置全部完成。

3. 查询与分析日志

在配置向导的结束步骤中，单击查询日志。跳转到目标Logstore的查询分析页面，可以查看access.log文件中的日志内容。在输入框中输入任意字符（如HTTP），选择时间范围，就可以查询所有包含该字符的日志。

说明

您需要等待1分钟左右，待索引生效后，才能在原始日志页签中，查看已采集到的日志。更多信息，请参见查询语法。
Logtail只采集增量日志。如果添加Logtail采集配置后，日志文件无更新，则Logtail不会采集该文件中的日志。您可以在日志文件中增加一行日志。更多信息，请参见Logtail采集详情。

常见问题

仅创建Project和Logstore，会产生费用吗？

当您在创建Logstore时，日志服务默认预留Shard资源，因此可能产生活跃Shard租用费用。更多信息，请参见为什么会产生活跃Shard租用费用？

采集日志失败，如何排查？

使用Logtail采集日志失败，可能是因为Logtail心跳异常、采集错误、Logtail采集配置错误等原因。如何排查，请参见Logtail采集日志失败的排查思路。

在Logstore查询与分析页面，可以查询日志但无法分析日志，如何解决？

如果您要分析日志，需要为日志字段配置字段索引并开启统计功能。更多信息，请参见创建索引。

日志服务：快速入门