DataWorks支持您在数据源管理页面创建与管理数据源,以便您在DataWorks上使用该数据源。例如在配置数据集成同步任务时,通过选择数据源名称来确定同步任务读取与写入的数据库。本文为您介绍如何创建及管理数据源。
背景信息
- 标准模式的工作空间支持数据源隔离功能,您可以分别添加并隔离开发环境和生产环境的数据源,即测试与生产调度操作的数据源隔离,以保护您生产数据安全。详情请参见数据源开发和生产环境隔离。
- 数据源分为引擎绑定时自动生成的引擎数据源(例如绑定MaxCompute引擎将在数据源管理页面默认新增名为
odps_first
的数据源),以及您在数据源管理页面通过新增数据源方式添加至DataWorks的外接数据源。
新增数据源
- 进入管理中心。
- 单击左侧导航栏的数据源管理。
- 创建数据源。您可以单击页面右上角的新增数据源或批量新增数据源,新增相应的数据源。
- 批量新增数据源:目前MySQL、PolarDB、SQLServer、OSS和Oracle数据源支持批量新增数据源。
您可以下载相应数据源的模板,根据模板中的格式填写内容,选择上传文件进行新建操作,文本框中会显示添加详情。
模板内容:显示数据源类型、数据源名称、数据源描述、环境类别(0开发、1生产)、链接地址。
- 新增数据源:在弹出的新增数据源窗口,选择需要新增的数据源类型,各数据源配置详情请参见:支持的数据源列表。
- 开发环境可用的数据源:可以在新建数据同步节点时选择并在开发环境运行,但无法提交到生产环境或在生产环境运行。
- 生产环境可用的数据源:只允许在生产环境运行时使用,不可以在新建数据同步节点时选择。
说明 同一个开发环境和生产环境的数据源名称必须一致。
- 批量新增数据源:目前MySQL、PolarDB、SQLServer、OSS和Oracle数据源支持批量新增数据源。
管理数据源
您可以在数据源管理页面,根据数据源类型、数据源名称等条件筛选需要查看的数据源。同时,支持您对目标数据源进行编辑、删除、克隆、权限管理等操作。
- 编辑:您可以单击编辑按钮,在弹出的数据源配置窗口,修改数据源的配置信息。
- 删除:
- 删除开发环境和生产环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。
如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。请删除同步任务后再删除此数据源。
- 删除开发环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。
如果生产环境在使用此数据源配置的同步任务,删除后,任务编辑时将不能获取到元数据信息,但生产环境任务可以正常运行。
- 删除生产环境的数据源:需确认是否存在生产环境关联的同步任务,删除后,在开发环境使用此数据源配置的同步任务将不能提交生产发布。
如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。
- 删除开发环境和生产环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。
- 克隆:您可以单击克隆,在弹出的克隆数据源窗口,输入新数据源名称,单击克隆,即可生成一个相同数据源类型且连接信息相同的新数据源。
- 权限管理:您可以分享数据源权限给相应的工作空间,并进入被分享的工作空间查看该数据源。详情请参见:管理数据源权限。
支持的数据源列表
目前支持的数据源及配置详情如下表所示:支持的数据源 | 数据源配置详情 |
---|---|
Amazon S3 | Amazon S3数据源 |
AnalyticDB for MySQL 2.0 | AnalyticDB for MySQL 2.0数据源 |
AnalyticDB for MySQL 3.0 | AnalyticDB for MySQL 3.0数据源 |
AnalyticDB for PostgreSQL | AnalyticDB for PostgreSQL数据源 |
ApsaraDB For Oceanbase | ApsaraDB For OceanBase数据源 |
ClickHouse | ClickHouse数据源 |
DataHub | DataHub数据源 |
Data Lake Analytics(DLA) | Data Lake Analytics(DLA)数据源 |
DB2 | DB2数据源 |
DM(达梦) | DM(达梦)数据源 |
DRDS | DRDS(polardb-x)数据源 |
Elasticsearch | Elasticsearch数据源 |
FTP | FTP数据源 |
GBase8a | GBase8a数据源 |
HBase | HBase数据源 |
HDFS | HDFS数据源 |
Hive | Hive数据源 |
Hologres | Hologres数据源 |
HybridDB for MySQL | HybridDB for MySQL数据源 |
Kafka | Kafka数据源 |
KingbaseES(人大金仓) | KingbaseES(人大金仓)数据源 |
LogHub(SLS) | LogHub(SLS)数据源 |
MaxCompute | MaxCompute数据源 |
Memcache | Memcache(OCS)数据源 |
MongoDB | MongoDB数据源 |
MySQL | MySQL数据源 |
Oracle | Oracle数据源 |
OSS | OSS数据源 |
PolarDB | PolarDB数据源 |
PostgreSQL | PostgreSQL数据源 |
Redis | Redis数据源 |
RestAPI(HTTP形式) | RestAPI(HTTP形式)数据源 |
SAP HANA | SAP HANA数据源 |
StarRocks | StarRocks数据源 |
SQL Server | SQL Server数据源 |
Table Store(OTS) | Tablestore(OTS)数据源 |
Vertica | Vertica数据源 |
后续:基于数据源进行开发工作
您可在DataWorks各模块基于数据源开展开发工作,例如通过数据集成模块同步数据源中的数据,通过数据服务模块快速基于数据源生成API。详情请参见通过向导模式配置离线同步任务、通过向导模式生成API。