本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。
背景信息
ETL支持的转换组件如下:
- 表JOIN
- 字段计算器
- 表记录过滤
使用限制
ETL支持的转换组件存在如下限制:
- 表JOIN:仅支持两个表之间做JOIN操作。
- 字段计算器和表记录过滤:仅支持单个表结构。
前提条件
已完成数据源信息的配置。
配置表JOIN
进入ETL任务的列表页面。
登录DMS数据管理服务。
在顶部菜单栏中,单击集成与开发(DTS)。
在左侧导航栏,选择 。
单击左上角的
,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式为DAG。
单击确认。
- 完成数据源信息的配置,配置方法请参见配置源库信息。
- 在页面左侧,将表 Join节点拖拽至页面右侧画布的空白区域。
- 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表 Join-1。
- 单击画布区域的表 Join-1,根据页面信息配置转换组件。
- 在节点配置页签,设置以下参数,配置节点信息。
区域 参数 说明 转换名称 请输入转换名称 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。 Join配置 Join类型符左边的表 选择放置在Join类型符左边的表。 时态Join时间属性 选择Join的时间属性,默认为Join。 - 基于事件时间Watermark
- 基于处理时间ProcTime
说明 时态Join要求流表均需定义时间属性,右表要有主键;如果右表是维表,要求其主键在equal条件中。选择Join操作 选择Join操作方式。 - Inner Join:数据为两张表的交集。
- Left Join:左表中的数据不变,右表中的数据为两张表的交集。
- Right Join:左表中的数据为两张表的交集,右表中的数据不变。
Join条件 +新增条件 单击+新增条件,从多个数据源中选择Join的条件字段。 说明 等号(=)左侧为数据源左表字段,右侧为数据源右表字段。 - 完成Join条件配置后,单击输出字段页签。根据实际需要,在列名称列勾选需要的字段。
- 在节点配置页签,设置以下参数,配置节点信息。
配置字段计算器
进入ETL任务的列表页面。
登录DMS数据管理服务。
在顶部菜单栏中,单击集成与开发(DTS)。
在左侧导航栏,选择 。
单击左上角的
,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式为DAG。
单击确认。
- 完成数据源信息的配置,配置方法请参见配置源库信息。
- 在页面左侧,将字段计算器节点拖拽至页面右侧画布的空白区域。
- 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和字段计算器-1。
- 在页面右侧区域,单击字段计算器。
- 单击画布区域的字段计算器-1,设置以下参数,配置转换组件。
- 在转换名称区域,输入转换名称。说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
- 在计算器配置区域,单击+新增字段。
- 在计算器配置列表中,单击新增字段所在行操作列的计算配置。
- 在取值配置区域,设置以下参数。
参数 说明 字段名 DTS会自动生成一个名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。 选择ETL数据类型 选择需要的ETL数据类型。 目标字段:字段名,取值配置 选择以下任意一种方式为目标字段配置计算方法。 - 直接输入需要的计算方法。
- 单击字段输入、函数集或操作符区域中的选项配置计算方法。
- 在转换名称区域,输入转换名称。
配置表记录过滤
进入ETL任务的列表页面。
登录DMS数据管理服务。
在顶部菜单栏中,单击集成与开发(DTS)。
在左侧导航栏,选择 。
单击左上角的
,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式为DAG。
单击确认。
- 完成数据源信息的配置,配置方法请参见配置源库信息。
- 在页面左侧,将表记录过滤节点拖拽至页面右侧画布的空白区域。
- 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表记录过滤。
- 单击画布区域的表记录过滤-1,根据页面信息配置转换组件。
- 在转换名称右侧,输入转换名称。说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
- 在where条件区域,您可以选择以下任意一种方法配置where条件。
- 直接输入需要的where条件。
- 单击右侧字段输入或操作符区域中的选项配置where条件。
- 在转换名称右侧,输入转换名称。
执行结果
完成配置的转换组件右侧不显示