DataWorks支持您在数据源管理页面创建与管理数据源,以便您在DataWorks上使用该数据源。例如在配置数据集成同步任务时,通过选择数据源名称来确定同步任务读取与写入的数据库。本文为您介绍如何创建及管理数据源。

背景信息

  • 标准模式的工作空间支持数据源隔离功能,您可以分别添加并隔离开发环境和生产环境的数据源,即测试与生产调度操作的数据源隔离,以保护您生产数据安全。详情请参见数据源开发和生产环境隔离
  • 数据源分为引擎绑定时自动生成的引擎数据源(例如绑定MaxCompute引擎将在数据源管理页面默认新增名为odps_first的数据源),以及您在数据源管理页面通过新增数据源方式添加至DataWorks的外接数据源。

新增数据源

  1. 进入管理中心
  2. 单击左侧导航栏的数据源管理
  3. 创建数据源。
    您可以单击页面右上角的新增数据源批量新增数据源,新增相应的数据源。
    • 批量新增数据源:目前MySQL、PolarDB、SQLServer、OSS和Oracle数据源支持批量新增数据源。

      您可以下载相应数据源的模板,根据模板中的格式填写内容,选择上传文件进行新建操作,文本框中会显示添加详情。

      模板内容:显示数据源类型、数据源名称、数据源描述、环境类别(0开发、1生产)、链接地址。

    • 新增数据源:在弹出的新增数据源窗口,选择需要新增的数据源类型,各数据源配置详情请参见:支持的数据源列表
      • 开发环境可用的数据源:可以在新建数据同步节点时选择并在开发环境运行,但无法提交到生产环境或在生产环境运行。
      • 生产环境可用的数据源:只允许在生产环境运行时使用,不可以在新建数据同步节点时选择。
      说明 同一个开发环境和生产环境的数据源名称必须一致。

管理数据源

您可以在数据源管理页面,根据数据源类型数据源名称等条件筛选需要查看的数据源。同时,支持您对目标数据源进行编辑删除克隆权限管理等操作。
  • 编辑:您可以单击编辑按钮,在弹出的数据源配置窗口,修改数据源的配置信息。
  • 删除
    • 删除开发环境和生产环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。

      如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。请删除同步任务后再删除此数据源。

    • 删除开发环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。

      如果生产环境在使用此数据源配置的同步任务,删除后,任务编辑时将不能获取到元数据信息,但生产环境任务可以正常运行。

    • 删除生产环境的数据源:需确认是否存在生产环境关联的同步任务,删除后,在开发环境使用此数据源配置的同步任务将不能提交生产发布。

      如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。

  • 克隆:您可以单击克隆,在弹出的克隆数据源窗口,输入新数据源名称,单击克隆,即可生成一个相同数据源类型且连接信息相同的新数据源。
  • 权限管理:您可以分享数据源权限给相应的工作空间,并进入被分享的工作空间查看该数据源。详情请参见:管理数据源权限

支持的数据源列表

目前支持的数据源及配置详情如下表所示:
支持的数据源数据源配置详情
Amazon S3Amazon S3数据源
AnalyticDB for MySQL 2.0AnalyticDB for MySQL 2.0数据源
AnalyticDB for MySQL 3.0AnalyticDB for MySQL 3.0数据源
AnalyticDB for PostgreSQLAnalyticDB for PostgreSQL数据源
ApsaraDB For OceanbaseApsaraDB For OceanBase数据源
ClickHouseClickHouse数据源
DataHubDataHub数据源
Data Lake Analytics(DLA)Data Lake Analytics(DLA)数据源
DB2DB2数据源
DM(达梦)DM(达梦)数据源
DRDSDRDS(polardb-x)数据源
ElasticsearchElasticsearch数据源
FTPFTP数据源
GBase8aGBase8a数据源
HBaseHBase数据源
HDFSHDFS数据源
HiveHive数据源
HologresHologres数据源
HybridDB for MySQLHybridDB for MySQL数据源
KafkaKafka数据源
KingbaseES(人大金仓)KingbaseES(人大金仓)数据源
LogHub(SLS)LogHub(SLS)数据源
MaxComputeMaxCompute数据源
MemcacheMemcache(OCS)数据源
MongoDBMongoDB数据源
MySQLMySQL数据源
OracleOracle数据源
OSSOSS数据源
PolarDBPolarDB数据源
PostgreSQLPostgreSQL数据源
RedisRedis数据源
RestAPI(HTTP形式)RestAPI(HTTP形式)数据源
SAP HANASAP HANA数据源
StarRocksStarRocks数据源
SQL ServerSQL Server数据源
Table Store(OTS)Tablestore(OTS)数据源
VerticaVertica数据源

后续:基于数据源进行开发工作

您可在DataWorks各模块基于数据源开展开发工作,例如通过数据集成模块同步数据源中的数据,通过数据服务模块快速基于数据源生成API。详情请参见通过向导模式配置离线同步任务通过向导模式生成API