随着业务发展，线上数据库数据量越来越多，影响表的查询性能与业务运作，为解决该问题，DMS推出数据归档功能，定时将大表的数据归档至OSS或Lindorm。本文介绍如何将大表数据归档至DBS内置OSS中。

前提条件

  • 支持如下类型的源数据库：
    • RDS MySQL
    • PolarDB MySQL版
    说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。
  • 您的用户角色为管理员、DBA、普通用户。
    说明 普通用户需要有业务数据库的导出权限。关于权限，请参见权限管理。
  • 已开通数据库备份DBS服务。具体操作，请参见如何开通数据库备份DBS服务。

费用说明

  • 数据管理DMS会在DBS中创建一个备份计划，定时将数据归档至OSS。DBS会根据备份的数据量收取备份、存储等费用。更多信息，请参见DBS费用概述。
    说明 数据归档创建的DBS备份计划规格为xlarge。
  • 如果您想要查看归档后的数据，需要开通云原生数据湖分析DLA服务。费用请参见计费概述。

操作步骤

  1. 登录数据管理DMS 5.0。
  2. 在顶部菜单栏中，选择解决方案 > 数据归档。
  3. 在新建数据归档工单页面，配置工单信息。
    配置项说明
    任务名请输入明确、清晰的任务名，以减少沟通成本。
    归档目标选中DBS内置OSS。
    数据库搜索并选择待归档的业务数据库。
    归档配置
    1. 选择需要归档数据的表。
    2. 可选：输入归档数据的过滤条件。
      说明 如果您需要使用时间变量，例如，归档6个月前的数据，可以先进行变量配置。
    变量配置（可选）配置时间变量，请参见配置时间变量。
    运行方式选择运行方式，当前支持：
    • 单次执行：工单审核通过后，仅单次运行归档任务。
    • 周期调度：工单审核通过后，可根据部署的周期调度执行归档任务。具体配置，请参见周期调度。
  4. 单击提交申请。
    工单审批通过后，自动执行数据归档任务。
    说明 数据归档功能将以0时区进行数据归档与后置行为（与数据库实际时区无关）。
  5. 可选：查看已归档数据。
    1. 在DBS中将备份集创建数据湖。更多信息，请参见创建数据湖。
    2. 可选：将数据湖录入至DMS实例中。您可以在SQL窗口中进行数据查询，在任务编排中进行数据分析与数据开发。
      说明 录入DMS实例，请参见云数据库录入。
  6. 可选：数据归档成功后，您可以进行源表数据删除和空间优化。
    1. 清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见普通数据变更。
    2. 源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见通过无锁变更工单实现无锁结构变更。

周期调度

表 1. 调度周期配置表
配置项说明
调度周期选择调度任务的周期：
  • 小时：按设定的小时执行任务调度，需要配置定时调度。
  • 日：按每日一次的频率执行任务调度，需要配置每日调度的具体时间。
  • 周：以周为周期，每个指定天执行一次任务调度，需要配置指定时间和具体时间。
  • 月：以月为周期，每个指定天执行一次任务调度，需要配置指定时间和具体时间。
定时调度提供了2种定时调度的方式：
  • 固定间隔时间调度：
    • 开始时间：执行任务的开始时间。
    • 间隔时间：执行任务的间隔时间，单位为小时。
    • 结束时间：执行任务的结束时间。
    例如，配置开始时间为00:00、间隔时间为6小时、结束时间为20:59，系统将在0点、6点、12点、18点执行任务。
  • 指定时间调度：选择执行任务的目标时间点。

    例如选择和0小时和5小时，系统将在0点和5点执行任务。

指定时间
  • 如果调度周期为周，选择星期几执行任务，支持多选。
  • 如果调度周期为月，选择每月几号执行任务，支持多选。
具体时间设置执行任务流的具体时间。

例如配置02:55，系统将在指定天的02时55分执行任务。

cron表达式不需要手动配置，系统会根据您配置的周期、具体时间自动展现。