全部产品
Search
文档中心

检索分析服务Elasticsearch版:同步方案选取指南

更新时间:Jun 01, 2023

当您在使用关系型数据库(RDS)遇到查询慢的问题时,可将RDS中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎,可近乎于准实时地存储、查询和分析超大数据集。您可以通过DTS、Logstash、DataWorks和Canal等多种方式将RDS中的数据同步至阿里云Elasticsearch。本文介绍各同步方案适用的场景,帮助您根据业务选择合适的场景同步数据。

同步方案

原理说明

适用场景

使用限制

相关文档

DTS实现数据实时同步

通过订阅binlog的方式实现数据同步,在不影响源数据库的情况下,同步延迟可降至毫秒级别。

对数据同步的实时性要求较高的场景。

  • DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库负载上升。

  • 支持自定义索引Mapping,但需保证Mapping中定义的字段与MySQL中一致。

  • 需要购买DTS数据同步作业。购买方式,请参见购买流程;定价说明,请参见计费概述

通过DTS将MySQL数据实时同步到阿里云Elasticsearch

Logstash JDBC数据同步

通过logstash-input-jdbc插件实现通过Logstash批量查询RDS中的数据,并将数据迁移到Elasticsearch。实现的本质是该插件会定期对RDS中的数据进行循环轮询,从而在当前循环中找到上次插入或更改的记录,然后批量查询这些记录并迁移至Elasticsearch。与DTS同步方案相比,该方案的实时性较差,存在秒级延迟。

  • 同步全量数据,接受秒级延迟的场景。

  • 批量查询数据然后进行同步的场景。

  • 使用前,需要先在Logstash中上传与RDS版本兼容的SQL JDBC驱动。

  • 需要在RDS的白名单中加入Logstash集群中节点的IP地址。

  • 需要确保Logstash和RDS在同一时区(避免同步过程中出现时间标记不符的情况)。

  • 需要确保Elasticsearch中的_id字段与RDS中的id字段相同。

  • 当您在RDS中插入或更新数据时,需要确保对应记录有一个包含更新或插入时间的字段。

通过Logstash将RDS MySQL数据同步至Elasticsearch

DataWorks实现离线数据同步

DataWorks是一款提供数据集成、数据开发及数据质量等全方位的产品服务。支持引入并存储关系型数据,然后进行转化和开发,最后将处理后的数据同步到Elasticsearch或其他数据系统。

  • 大数据离线同步场景(可实现最快分钟级的离线数据采集任务)。

  • 需要自定义查询语句,以及多表联合查询后同步数据的场景。

  • 同步整个数据库中数据的场景。

  • 需要开通DataWorks服务。

  • 对于传输速度要求较高或复杂环境中的数据源同步场景,需要自定义资源组。

  • 需要在RDS的白名单中添加资源组的IP地址。

通过DataWorks将MySQL数据同步至Elasticsearch

Canal实现MySQL数据同步

通过订阅binlog的方式实现数据实时同步,在不影响源数据库的情况下,同步延迟可降至毫秒级别。

对数据同步的实时性要求较高的场景。

  • 需要手动在ECS上搭建Canal环境,会增加操作成本。

  • Canal 1.1.4版本暂不支持Elasticsearch 7.x版本。建议使用Canal 1.1.5版本,或者通过其他方式(例如Logstash、DTS)实现MySQL数据同步。

  • 支持自定义索引Mapping,但需保证Mapping中定义的字段与MySQL中一致。

  • 需要您自行保证Canal的可用性,避免出现业务不可用或故障。例如:当出现ECS重启,Canal异常退出等场景时如何继续同步数据等。

通过Canal将MySQL数据同步到阿里云Elasticsearch