通过联邦分析同步数据
联邦分析使用AnalyticDB for MySQL的免费高速数据管道服务(APS)将PolarDB MySQL中的数据实时同步至AnalyticDB for MySQL企业版、基础版及湖仓版或数仓版集群中,帮助您一站式完成数据同步与管理。本文介绍如何通过联邦分析将PolarDB MySQL中的数据同步至AnalyticDB for MySQL企业版、基础版及湖仓版或数仓版集群。
前提条件
使用流程
步骤一:配置RAM授权
-
创建RAM角色。
-
使用RAM管理员登录RAM控制台。
-
在左侧导航栏,选择。
-
在角色页面,单击创建角色。
-
在创建角色页面,选择信任主体类型为云账号,然后设置具体的阿里云账号,最后单击确定。
-
设置角色信息,配置如下:
配置项
说明
角色名称
固定填写为ram-for-zero-etl。
备注(可选)
填写RAM角色备注信息。
选择信任的云账号
选择其他云账号,固定填写为1373789823388923。
该账号为AnalyticDB for MySQL专用于联邦分析数据同步的服务账号ID,配置后不会产生安全风险。
重要角色名称和云账号ID需按要求配置,请勿修改。
-
单击完成。
-
-
为RAM角色精确授权。
-
单击精确授权。
-
在添加权限面板中,勾选选择权限类型为系统策略。
-
在输入策略名称下方的文本框中,输入AliyunDTSRolePolicy。
-
单击确定。
-
精确授权成功后,单击关闭。
-
-
修改信任策略。
-
在角色页面,单击对应的RAM角色名称。
-
在RAM角色的基本信息页面,单击信任策略管理页签。
-
单击修改信任策略。
-
将下述代码复制至策略框中。
{ "Statement": [ { "Action": "sts:AssumeRole", "Effect": "Allow", "Principal": { "RAM": [ "acs:ram::1373789823388923:root" ], "Service": [ "1373789823388923@dts.aliyuncs.com" ] } } ], "Version": "1" } -
单击确定。
-
步骤二:创建同步链路
-
登录PolarDB控制台。
-
在页面左上角,选择集群所在地域为华北2 (北京)。
-
在左侧导航栏选择联邦分析。
-
单击新建链路,在弹出的新建链路面板中配置如下参数:
参数
说明
任务名称
您可以自定义任务名称。任务名称默认为zero-etl-时间戳。
PolarDB MySQL集群
源PolarDB MySQL实例ID。
源数据库账号名
联邦分析会自动为PolarDB MySQL实例创建 数据库账号,执行数据同步操作。数据库账号以zetl开头,请勿删除或修改该数据库账号名称。
AnalyticDB MySQ实例
目标AnalyticDB for MySQL集群ID。您可以选择已有的AnalyticDB for MySQL集群或单击点击新建AnalyticDB MySQL实例,新建AnalyticDB for MySQL集群。
重要新建AnalyticDB for MySQL集群时,仅支持创建企业版、基础版及湖仓版集群。
高级设置
默认关闭。开启高级配置后可配置同步库表选择和大表分区键设置参数。
同步库表选择
您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。AnalyticDB for MySQL每个集群最多可创建2048个数据库。更多信息,请参见使用限制。
重要不支持同步无主键的表,无主键的表会被自动过滤。
大表分区键设置
为了提高数据的写入和查询性能,建议您设置分区键。如何设置分区键,请参见表结构设计。
支持设置的分区格式如下:
-
value:按值进行分区。
-
yyyyMMdd:按年、月、日进行分区。
-
yyyyMM:按年、月进行分区。
-
yyyy:按年进行分区。
-
-
单击确定。
-
在联邦分析页面,可通过搜索任务ID或设置筛选日期,查看所有已创建的任务。
其中,任务状态分为4种,包括:ADB实例创建中、初始化中、全量同步中、增量同步中。
-
(可选)在任务列表中找到目标任务,在操作列中选择需要进行的操作,包括以下操作:
查看:查看任务的详细信息。
编辑:仅支持编辑同步库表选择参数。
删除:删除任务后无法恢复,只能重新创建。
暂停:暂停任务。
启动:启动任务。