创建极速同步管道任务 - 智能数据建设与治理 Dataphin

前提条件

已完成数据源配置。您需要在创建极速同步管道任务前，配置好需要同步的来源数据源与目标数据源，以便在配置输入、输出组件时选择数据源。极速同步管道任务支持以下数据源：

在创建极速同步管道对话框中，配置管道相关参数。

参数	描述
管道名称	填写管道名称。支持最长64个字符，不支持特殊字符：竖线（\|）、正斜线（/）、反斜线（\）、半角冒号（:）、半角问号（？）、尖括号（<>）、星号（*）、半角单引号（''）。
调度类型	选择管道的调度类型。调度类型包括：周期性节点：指需定期执行的任务。手动节点：指没有依赖关系，需手动触发的任务。
描述	填写极速同步管道的简单描述，1000个字符以内。
选择目录	选择任务所存放的目录。若未创建目录，您可以新建文件夹，操作方法如下：在页面左侧计算任务列表上方单击新建文件夹图标，打开新建文件夹对话框。在新建文件夹对话框中输入文件夹名称并根据需要选择目录位置。单击确定。

极速同步管道任务的组件库仅支持输入组件与输出组件，各组件的配置内容与离线管道任务的输入、输出组件一致，同时支持切换为脚本模式。

极速同步管道任务的输入、输出组件按数据源对Arrow的支持程度分为两类：

支持以下输入组件：

输入组件	Arrow能力	Arrow读写模式	说明
配置MySQL输入组件	Apache Arrow适配	JDBC转Arrow列式	通过JDBC读取，结果集批量转换为Arrow列式内存格式后传输。
配置Oracle输入组件	Apache Arrow适配	JDBC转Arrow列式	通过JDBC读取，结果集批量转换为Arrow列式内存格式后传输。
配置PostgreSQL输入组件	Apache Arrow适配	JDBC转Arrow列式	通过JDBC读取，结果集批量转换为Arrow列式内存格式后传输。
配置Microsoft SQL Server输入组件	Apache Arrow适配	JDBC转Arrow列式	通过JDBC读取，结果集批量转换为Arrow列式内存格式后传输。
配置MaxCompute输入组件	Apache Arrow加速	Storage API（Arrow）	通过MaxCompute Storage API以原生Arrow格式读取，零转换、高吞吐。
配置Hive输入组件	Apache Arrow加速	列式文件零拷贝	ORC/Parquet/Text文件直接映射Arrow内存布局，零拷贝读取免反序列化。
配置HDFS输入组件	Apache Arrow加速	列式文件零拷贝	ORC/Parquet/Text按列式布局零拷贝映射到Arrow，向量化扫描。
配置Doris输入组件	Apache Arrow加速	Arrow Flight SQL	通过Doris FE的Arrow Flight SQL高速端口（默认8070）列式流式读取。
配置SelectDB输入组件	Apache Arrow加速	Arrow Flight SQL	通过SelectDB FE的Arrow Flight SQL高速端口（默认8070）列式流式读取，需指定Warehouse（计算集群）。

支持以下输出组件：

输出组件	Arrow能力	Arrow读写模式	说明
配置MySQL输出组件	Apache Arrow适配	Arrow列式转JDBC	将Arrow列式数据转换为行格式后通过JDBC写入。
配置Oracle输出组件	Apache Arrow适配	Arrow列式转JDBC	将Arrow列式数据转换为行格式后通过JDBC写入。
配置PostgreSQL输出组件	Apache Arrow适配	Arrow列式转JDBC	将Arrow列式数据转换为行格式后通过JDBC写入。
配置Microsoft SQL Server输出组件	Apache Arrow适配	Arrow列式转JDBC	将Arrow列式数据转换为行格式后通过JDBC写入。
配置MaxCompute输出组件	Apache Arrow加速	Storage API（Arrow）	通过MaxCompute Storage API以原生Arrow格式写入，零转换、高吞吐。
配置Hive输出组件	Apache Arrow加速	列式文件零拷贝	按Arrow内存布局直接写出ORC/Parquet/Text文件，免序列化开销。 Paimon表需将Arrow列式数据转换为行格式后写入，且仅支持Amazon EMR的Hive数据源。
配置HDFS输出组件	Apache Arrow加速	列式文件零拷贝	按Arrow内存布局直接写出ORC/Parquet/Text文件，免序列化开销。
配置Doris输出组件	Apache Arrow适配	Arrow列式转JDBC	将Arrow列式数据转换为行格式后通过JDBC写入。
配置SelectDB输出组件	Apache Arrow适配	Arrow列式转JDBC	将Arrow列式数据转换为行格式后通过JDBC写入。

单击开发画布菜单栏的调度配置按钮，配置极速同步管道任务的基本信息、调度配置、调度依赖、调度参数、运行配置及资源配置。详情请参见：