本文介绍如何创建外部存储,建立日志服务与OSS的关联。
前提条件
- 已采集日志。更多信息,请参见数据采集。
- 已开启并配置索引。更多信息,请参见配置索引。
- 已创建OSS Bucket。更多信息,请参见创建存储空间。
- 已上传CSV格式文件到OSS Bucket。更多信息,请参见上传文件。
功能优势
与OSS进行关联查询分析,具有如下优势:
- 节省费用:将更新频率低的数据保存在OSS上,只需要支付少量的存储费用,并且可以通过内网读数据,免去流量费用。
- 降低运维工作:在轻量级的联合分析平台中,不需要搬迁数据到同一个存储系统中。
- 节省时间:使用SQL分析数据,分析结果秒级可见,并可以将常用的分析结果定义为报表,打开即可看到结果。
操作步骤
- 登录日志服务控制台。
- 在Project列表区域,单击目标Project。
- 在页签中,单击目标Logstore。
- 输入查询分析语句,单击查询/分析。
通过SQL定义虚拟外部表(此处以user_meta1为例),映射到OSS文件,如果执行结果中的
result为
true,表示执行成功。
* | create table user_meta1 ( userid bigint, nick varchar, gender varchar, province varchar, gender varchar,age bigint) with ( endpoint='oss-cn-hangzhou-internal.aliyuncs.com',accessid='**************************',accesskey ='****************************',bucket='testoss*********',objects=ARRAY['user.csv'],type='oss')

在查询分析语句中定义外部存储名称、表的Schema等信息,并通过WITH语法指定OSS访问信息及文件信息,详细信息如下表所示。
配置项 |
说明 |
外部存储名称 |
外部存储名称,即虚拟表的名称,例如user_meta1。
|
表的Schema |
定义表的属性,包括表的列名及格式,例如(userid bigint, nick varchar, gender varchar, province varchar, gender varchar,age
bigint)。
|
endpoint |
OSS访问域名。更多信息,请参见访问域名和数据中心。
|
accessid |
您的AccessKey ID。 |
accesskey |
您的AccessKey Secret。 |
bucket |
CSV文件所在的OSS Bucket名称。 |
objects |
CSV文件路径。
说明 objects为array类型,可以包含多个OSS文件。
|
type |
固定为oss,表示外部存储类型为OSS。
|
- 验证是否已成功定义外部存储。
执行如下语句,返回结果为您之前定义的表内容,则表示已定义外部存储成功。
* | select * from user_meta1

- 通过JOIN语法完成日志服务和OSS的联合查询。
例如,执行如下查询分析语句关联日志服务中日志的ID和OSS文件中的userid,补全日志信息。其中,test_accesslog为Logstore名称,l为Logstore别名,user_meta1为您定义的外部存储,请根据实际情况替换。
* | select * from test_accesslog l join user_meta1 u on l.userid = u.userid

关联OSS数据源的最佳实践请参见关联Logstore与OSS外表进行查询分析。