对象存储Object Storage Service(简称OSS),是阿里云对外提供的海量、安全和高可靠的云存储服务。
背景信息
标准模式的工作空间支持数据源隔离功能,您可以分别添加并隔离开发环境和生产环境的数据源,以保护您的数据安全。详情请参见数据源开发和生产环境隔离。如果您想对OSS产品有更深了解,请参见OSS产品概述。
OSS Java SDK请参见Aliyun OSS Java SDK。
操作步骤
- 进入数据源管理页面。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,鼠标悬浮至
图标,单击工作空间配置。
- 在左侧导航栏,单击 ,进入 页面。
说明 您也可以在数据集成页面进入数据源管理配置数据源,但此方式只支持生产环境的数据源。 - 在数据源管理页面,单击右上角的新增数据源。
- 在新增数据源对话框中,选择数据源类型为OSS。
- 在新增OSS数据源对话框中,配置各项参数。
参数 描述 数据源名称 数据源名称必须以字母、数字、下划线(_)组合,且不能以数字和下划线(_)开头。 数据源描述 对数据源进行简单描述,不得超过80个字符。 适用环境 可以选择开发或生产环境。 说明 仅标准模式工作空间会显示该配置。Endpoint OSS Endpoint信息,内网Endpoint格式为 http://oss-{regionId}-internal.aliyuncs.com
,外网Endpoint格式为http://oss-{regionId}.aliyuncs.com
,OSS服务的Endpoint和区域有关。访问不同的区域时,需要填写不同的域名。例如,访问上海Region的OSS Bucket,OSS内网Endpoint格式为http://oss-cn-shanghai-internal.aliyuncs.com
。公共云下OSS Region和Endpoint对照表请参见访问域名和数据中心。说明- 这里的外网指的是互联网。通过外网访问OSS产生的流入流量(写)是免费的,流出流量(读)是收费的。OSS费用详情请参见OSS产品定价和计费项。
- 内网指的是阿里云同地域产品之间的内部通信网络。例如您可以通过数据集成资源组访问同地域的OSS服务。内网产生的流入和流出流量均免费,如果您读写与数据集成资源组同地域的OSS Bucket,您可配置内网访问端口,否则,建议您配置外网访问端口。
- Endpoint的正确的填写格式为
http://oss-{regionId}-internal.aliyuncs.com
,但http://oss-{regionId}-internal.aliyuncs.com
在OSS前加上Bucket值,以点号的形式连接。例如http://xxx.oss-{regionId}-internal.aliyuncs.com
,测试连通性可以通过,但同步会报错。
Bucket 相应的OSS Bucket信息,指存储空间,是用于存储对象的容器。 您可以创建一个或多个存储空间,每个存储空间可添加一个或多个文件。
您可以在数据同步任务中查找此处输入的存储空间中相应的文件,没有添加的存储空间,则不能查找其中的文件。
AccessKey ID 访问密钥中的AccessKey ID,您可以进入用户信息管理页面进行复制。 AceessKey Secret 访问密钥中的AccessKey Secret,相当于登录密码。 访问模式 您可以选择RAM角色授权模式或Access Key模式 说明- RAM角色授权模式:统一通过某RAM角色访问OSS服务,此模式下您需要先创建RAM角色,详情请参见通过RAM角色授权模式配置数据源。
- Access Key模式:通过AK(AccessKeyID和AccessKeySecret)模式访问OSS服务。
重要 准备OSS数据时,如果数据为CSV文件,则必须为标准格式的CSV文件。例如,如果列内容在半角引号(")内,需要替换成两个半角引号(""),否则会造成文件被错误分割。 - 选择资源组连通性类型为数据集成。
- 在资源组列表,单击相应资源组后的测试连通性。数据同步时,一个任务只能使用一种资源组。您需要测试每个资源组的连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组,请选中相应资源组后,单击批量测试连通性。详情请参见配置资源组与网络连通。说明
- (推荐)资源组列表默认仅显示独享数据集成资源组,为确保数据同步的稳定性和性能要求,推荐使用独享数据集成资源组。
- 如果您需要测试公共资源组或自定义资源组的连通性,请在资源组列表右下方,单击更多选项,在警告对话框单击确定,资源组列表会显示可供选择的公共资源组和自定义资源组。
- 测试连通性通过后,单击完成。