全部产品
Search
文档中心

数据传输服务 DTS:配置转换组件

更新时间:Oct 12, 2023

本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。

背景信息

ETL支持的转换组件如下:

  • 表JOIN

  • 字段计算器

  • 表记录过滤

使用限制

ETL支持的转换组件存在如下限制:

  • 表JOIN:仅支持两个表之间做JOIN操作。

  • 字段计算器表记录过滤:仅支持单个表结构。

前提条件

已完成数据源信息的配置。

配置表JOIN

  1. 进入ETL任务的列表页面。

    1. 登录DMS数据管理服务

    2. 在顶部菜单栏中,单击集成与开发(DTS)

    3. 在左侧导航栏,选择数据集成 > 流式ETL

  2. 单击左上角的新增数据流,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式DAG

  3. 单击确认

  4. 完成数据源信息的配置,配置方法请参见配置源库信息

    重要

    需要配置两个源库。

  5. 在页面左侧,将表 Join节点拖拽至页面右侧画布的空白区域。

  6. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表 Join-1

  7. 单击画布区域的表 Join-1,根据页面信息配置转换组件。

    1. 节点配置页签,设置以下参数,配置节点信息。

      表JOIN_节点配置

      区域

      参数

      说明

      转换名称

      请输入转换名称

      建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

      Join配置

      Join类型符左边的表

      选择放置在Join类型符左边的表。

      时态Join时间属性

      选择Join的时间属性,默认为Join。

      • 基于事件时间Watermark

      • 基于处理时间ProcTime

      说明

      时态Join要求流表均需定义时间属性,右表要有主键;如果右表是维表,要求其主键在equal条件中。

      选择Join操作

      选择Join操作方式。

      • Inner Join:数据为两张表的交集。

      • Left Join:左表中的数据不变,右表中的数据为两张表的交集。

      • Right Join:左表中的数据为两张表的交集,右表中的数据不变。

      Join条件

      +新增条件

      单击+新增条件,从多个数据源中选择Join的条件字段。

      说明

      等号(=)左侧为数据源左表字段,右侧为数据源右表字段。

    2. 完成Join条件配置后,单击输出字段页签。根据实际需要,在列名称列勾选需要的字段。

配置字段计算器

  1. 进入ETL任务的列表页面。

    1. 登录DMS数据管理服务

    2. 在顶部菜单栏中,单击集成与开发(DTS)

    3. 在左侧导航栏,选择数据集成 > 流式ETL

  2. 单击左上角的新增数据流,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式DAG

  3. 单击确认

  4. 完成数据源信息的配置,配置方法请参见配置源库信息

  5. 在页面左侧,将字段计算器节点拖拽至页面右侧画布的空白区域。

  6. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和字段计算器-1

  7. 单击画布区域的字段计算器-1,设置以下参数,配置转换组件。

    字段计算器_节点配置
    1. 转换名称区域,输入转换名称。

      说明

      建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    2. 计算器配置区域,单击+新增字段

    3. 在计算器配置列表中,单击新增字段所在行操作列的计算配置

    4. 取值配置区域,设置以下参数。

      参数

      说明

      字段名

      DTS会自动生成一个名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

      选择ETL数据类型

      选择需要的ETL数据类型。

      目标字段:字段名,取值配置

      选择以下任意一种方式为目标字段配置计算方法。

      • 直接输入需要的计算方法。

      • 单击字段输入函数集操作符区域中的选项配置计算方法。

配置表记录过滤

  1. 进入ETL任务的列表页面。

    1. 登录DMS数据管理服务

    2. 在顶部菜单栏中,单击集成与开发(DTS)

    3. 在左侧导航栏,选择数据集成 > 流式ETL

  2. 单击左上角的新增数据流,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式DAG

  3. 单击确认

  4. 完成数据源信息的配置,配置方法请参见配置源库信息

  5. 在页面左侧,将表记录过滤节点拖拽至页面右侧画布的空白区域。

  6. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表记录过滤-1

  7. 单击画布区域的表记录过滤-1,根据页面信息配置转换组件。

    表记录过滤_节点配置
    1. 转换名称右侧,输入转换名称。

      说明

      建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    2. where条件区域,您可以选择以下任意一种方法配置where条件。

      • 直接输入需要的where条件。

      • 单击右侧字段输入操作符区域中的选项配置where条件。

执行结果

完成配置的转换组件右侧不显示配置源库信息_感叹号时,说明配置完成。

后续步骤

配置目标库信息