日志服务提供外部存储功能,可用于日志服务与MySQL数据库、阿里云对象存储OSS、托管的CSV文件进行关联。本文介绍日志服务外部存储功能的应用场景、功能优势等信息。

应用场景

在日志分析场景中,您可能经常遇到数据分散存储的问题,例如用户操作、行为等相关数据存储在日志服务中,用户属性、注册信息、资金、道具等相关数据存储在数据库中。类似场景下,您需要对用户进行分层统计,将最后的计算结果写入到数据库提供的报表系统中。

针对上述场景,传统做法是将数据迁移到统一的存储系统中,再进行分析。在迁移过程中既涉及网络传输,又涉及数据的清洗和格式化,耗时又耗精力。日志服务提供的外部存储API支持以下功能:
  • 通过API为外部存储定义映射,不需要迁移数据。
  • 提供统一的查询分析引擎,支持通过JOIN语法对日志、外部存储等多种数据源进行联合查询。
  • 支持将多种分析结果保存到外部存储中。

功能优势

  • 节省成本
    • 节省数据迁移成本。不同存储系统的格式和API都不同,在迁移过程中涉及到复杂的数据转换。使用日志服务外部存储无需搬迁数据。
    • 节省数据维护成本。如果采用迁移数据方式,如果有数据更新,需及时维护。
  • 方便快捷
    • 通过SQL语句分析数据,实现秒级别获得分析结果。
    • 将常用视图添加到仪表盘,打开仪表盘页面即可快速查看相关信息。

支持的外部存储

外部存储功能支持日志服务与MySQL数据库、阿里云OSS、托管的CSV文件建立关联,详细信息如下表所示。

外部存储名称从外部数据源读取写入外部数据源创建方式地域
MySQL支持支持API、SDK、CLI所有地域
OSS支持支持SQL create table所有地域
托管的CSV文件支持不支持SDK华东2(上海)