Simple Storage Service(简称S3)是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储,您可以使用S3数据源配置同步任务同步数据。本文为您介绍如何创建S3数据源。

前提条件

已准备好用于对接S3数据的数据集成资源组。

读取S3数据库时,您需要使用数据集成资源组,并在配置数据源过程中调测数据集成资源组与数据源之间的网络连通性,保障所用的数据集成资源组与数据源间网络是连通的。仅支持您使用独享数据集成资源组,详情可见独享数据集成资源组

背景信息

标准模式的工作空间支持数据源隔离功能,您可以分别添加并隔离开发环境和生产环境的数据源,以保护您的数据安全。详情请参见数据源开发和生产环境隔离

新增数据源

  1. 进入数据源管理页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据集成
    4. 在左侧导航栏,单击数据源 > 数据源列表,进入工作空间管理 > 数据源管理页面。
  2. 数据源管理页面,单击右上角的新增数据源
  3. 新增数据源对话框中,选择数据源类型为S3
  4. 新增S3数据源对话框中,配置各项参数。
    1. 配置数据源的基本信息。
      配置基本信息
      参数 描述
      数据源名称

      数据源名称必须以字母、数字、下划线(_)组合,且不能以数字和下划线(_)开头。

      数据源描述

      对数据源进行简单描述,不得超过80个字符。

      Endpoint S3的地址信息,格式为http://s3.ap-northeast-1.amazonaws.com。您可以在S3管控台查询。
      Bucket 相应的S3 Bucket信息,指存储空间,是用于存储对象的容器。

      您可以创建一个或多个存储空间,每个存储空间可添加一个或多个文件。

      您可以在数据同步任务中查找此处输入的存储空间中相应的文件,没有添加的存储空间,则不能查找其中的文件。
      AccessKey ID 访问密钥中的AccessKey ID。
      AceessKey Secret 访问密钥中的AccessKey Secret,相当于登录密码。
  5. 测试数据源与资源组的连通性。
    1. 选择资源组连通性类型为数据集成
    2. 在资源组列表,单击相应资源组后的测试连通性
      数据同步时,一个任务只能使用一种资源组。您需要测试每种资源组的连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组,请选中相应资源组后,单击批量测试连通性。详情请参见选择网络连通方案
      说明
      • (推荐)资源组列表默认仅显示独享数据集成资源组,为确保数据同步的稳定性和性能要求,推荐使用独享数据集成资源组。
      • 如果您需要测试公共资源组或自定义资源组的连通性,请在资源组列表右下方,单击更多选项,在警告对话框单击确定,资源组列表会显示可供选择的公共资源组和自定义资源组。
  6. 测试连通性通过后,单击完成

后续步骤

现在,您已经学习了如何配置S3数据源,您可以继续下一个教程。在该教程中,您将学习如何配置S3插件。详情请参见S3 Reader