本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。

背景信息

ETL支持的转换组件如下:
  • 表JOIN
  • 字段计算器
  • 表记录过滤

使用限制

ETL支持的转换组件存在如下限制:
  • 表JOIN:仅支持两个表之间做JOIN操作。
  • 字段计算器表记录过滤:仅支持单个表结构。

前提条件

已完成数据源信息的配置。

配置表JOIN

  1. 进入ETL任务的列表页面
    说明 您也可以通过如下步骤,在DMS数据管理服务的控制台上配置ETL任务。
    • 登录DMS数据管理服务
    • 在顶部菜单栏中,单击传输与加工(DTS) > 数据加工
    • 单击流式加工页签。
    • 单击左上角的新增数据流,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择加工方式流式加工
    • 单击确认
  2. 在页面右上角选择目标任务所在地域。
    说明 当前仅支持在华东1(杭州)、华北2(北京)和华北3(张家口)创建ETL任务,请您根据需求选择其中一种。
  3. 在左侧导航栏中,单击ETL
  4. ETL界面,单击创建任务(后付费)
  5. 完成数据源信息的配置,配置方法请参见配置数据源信息
  6. 在页面左侧的转换区域选择表JOIN,并将其拖拽至页面右侧空白区域。
  7. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表JOIN
  8. 在页面右侧区域,单击表JOIN
  9. 转换 表JOIN页面,根据页面信息配置转换组件。
    1. 单击节点配置页签,设置以下参数,配置节点信息。
      转换 表JOIN_节点配置
      区域 参数 说明
      转换名称 请输入转换名称 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
      Join配置 Join类型符左边的表 选择放置在Join类型符左边的表。
      时态Join时间属性 选择Join的时间属性,默认为Join。
      • 基于事件时间Watermark
      • 基于处理时间ProcTime
      说明 时态Join要求流表均需定义时间属性,右表要有主键;如果右表是维表,要求其主键在equal条件中。
      选择Join操作 选择Join操作方式。
      • Inner Join:数据为两张表的交集。
      • Left Join:左表中的数据不变,右表中的数据为两张表的交集。
      • Right Join:左表中的数据为两张表的交集,右表中的数据不变。
      Join条件 +新增条件 单击+新增条件,从多个数据源中选择Join的条件字段。
      说明 等号(=)左侧为数据源左表字段,右侧为数据源右表字段。
    2. 完成Join条件配置后,单击输出字段页签。根据实际需要,在列名称列勾选需要的字段。
      转换 表JOIN_输出字段

配置字段计算器

  1. 进入新版DTS迁移任务的列表页面
    说明 您也可以登录DMS数据管理服务。在顶部菜单栏中,选择传输与加工(DTS) > 数据迁移
  2. 在页面右上角选择目标任务所在地域。
    说明 当前仅支持在华东1(杭州)、华北2(北京)和华北3(张家口)创建ETL任务,请您根据需求选择其中一种。
  3. 在左侧导航栏中,单击ETL
  4. ETL界面,单击创建任务(后付费)
  5. 完成数据源信息的配置,配置方法请参见配置数据源信息
  6. 在页面左侧的转换区域选择字段计算器,并将其拖拽至页面右侧空白区域。
  7. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和字段计算器
  8. 在页面右侧区域,单击字段计算器
  9. 转换 字段计算器页面,设置以下参数,配置转换组件。
    转换 字段计算器
    1. 转换名称区域,输入转换名称。
      说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
    2. 计算器配置区域,单击+新增字段
    3. 在计算器配置列表中,单击新增字段所在行操作列的计算配置
    4. 取值配置区域,设置以下参数。
      参数 说明
      字段名 DTS会自动生成一个名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
      选择ETL数据类型 选择需要的ETL数据类型。
      目标字段:字段名,取值配置 选择以下任意一种方式为目标字段配置计算方法。
      • 直接输入需要的计算方法。
      • 单击字段输入函数集操作符区域中的选项配置计算方法。

配置表记录过滤

  1. 进入新版DTS迁移任务的列表页面
    说明 您也可以登录DMS数据管理服务。在顶部菜单栏中,选择传输与加工(DTS) > 数据迁移
  2. 在页面右上角选择目标任务所在地域。
    说明 当前仅支持在华东1(杭州)、华北2(北京)和华北3(张家口)创建ETL任务,请您根据需求选择其中一种。
  3. 在左侧导航栏中,单击ETL
  4. ETL界面,单击创建任务(后付费)
  5. 完成数据源信息的配置,配置方法请参见配置数据源信息
  6. 在页面左侧的转换区域选择表记录过滤,并将其拖拽至页面右侧空白区域。
  7. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表记录过滤
  8. 在页面右侧区域,单击表记录过滤
  9. 转换 表记录过滤页面,根据页面信息配置转换组件。
    转换 表记录过滤
    1. 转换名称区域,输入转换名称。
      说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
    2. Where条件区域,您可以选择以下任意一种方法配置Where条件。
      • 直接输入需要的Where条件。
      • 单击字段输入操作符区域中的选项配置Where条件。

执行结果

完成配置的转换组件右侧显示配置成功,说明配置完成。

后续步骤

配置目标库信息