您可以在工作空间配置页面,对当前工作空间的属性进行管理和配置。您还可以绑定MaxCompute、E-MapReduce、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL及ClickHouse等类型的计算引擎。

进入工作空间配置

  1. 登录DataWorks控制台
  2. 在左侧导航栏,单击工作空间列表
  3. 进入工作空间配置页面。
    您可以通过以下两种方式进入工作空间配置
    • 单击相应工作空间后的工作空间配置。在工作空间配置对话框中,单击更多设置,进入工作空间配置页面。更多设置
    • 单击相应工作空间后的进入数据开发。在数据开发页面,单击右上角的工作空间管理工作空间管理图标,进入工作空间配置页面。工作空间配置
  4. 根据自身需求,您可以在该页面进行基本属性安全设置计算引擎信息等配置。

基本属性

基本属性
参数 描述
工作空间ID 当前工作空间的ID。
工作空间名称 当前工作空间的名称,仅支持字母或者数字(必须字母开头),不区分大小写。它是该工作空间的唯一标识,创建后无法修改。
状态 工作空间包括正常已删除初始化初始化失败手动禁用删除中删除失败欠费冻结更新中更新失败等状态。
说明
  • 如果工作空间新建失败,状态为初始化失败。您可以重试新建操作。
  • 正常状态的工作空间可以被管理员禁用。禁用后该工作空间所有功能无法使用,数据保留,已经提交的任务正常执行。
  • 被禁用的工作空间可以通过恢复,将工作空间重新置于正常状态。
显示名 当前工作空间的显示名称,用于标识工作空间。支持字母、数字或中文,可以修改。
创建日期 当前工作空间的创建日期,中国站以东八区为准,无法变更。
模式 包括简单模式标准模式
说明

DataWorks简单模式和标准模式工作空间的配置不同。DataWorks标准模式的工作空间需要分别配置生产环境和开发环境的参数。

如果当前的工作空间为简单模式,阿里云主账号可以进行工作空间模式升级的操作,将简单模式升级为标准模式,升级入口仅阿里云主账号可见,详情请参考:工作空间模式升级,本文以标准模式的工作空间为例。

负责人 当前工作空间的所有者,拥有删除、禁用工作空间的权限,并且该身份无法变更。
描述 当前工作空间的描述信息,用于备注工作空间的相关信息,可以编辑。支持128位中文、字母、符号或数字。

安全设置

安全设置
名称 描述
能下载select结果 设置是否能够下载数据开发中查询的数据结果。如果关闭,则无法下载select的数据查询结果。
说明 仅空间管理员权限可以开启或关闭下载select结果功能。
允许子账号变更自己的节点责任人 设置是否允许子账号变更自己的节点责任人。
沙箱白名单(配置Shell任务可以访问的IP地址或域名) 设置Shell任务运行在默认资源组上,也可以直接访问的IP(此处白名单可以配置IP和域名)。
说明 必须填写可以被访问到的公网地址或域名。如果是内部服务, 建议使用独享资源保证网络可达,详情请参见独享资源组模式

添加沙箱白名单的操作如下:

  1. 安全设置区域,单击添加沙箱白名单
  2. 添加沙箱白名单对话框中,输入地址端口
  3. 单击确定

绑定MaxCompute计算引擎

  1. 计算引擎信息区域,单击MaxCompute,查看当前工作空间下,所有MaxCompute计算引擎的信息。
  2. 单击增加实例
  3. 新增MaxCompute实例对话框中,配置各项参数。
    新增MaxCompute实例
    参数 描述
    新增方式 您可以创建MaxCompute项目或者绑定已有MaxCompute项目
    实例显示名称 实例名称长度需要控制在3~28个字符,仅支持字母开头,仅包含字母、下划线(_)和数字。
    地域 默认当前工作空间所在的地域。
    付费模式 包括按量付费包年包月开发者版本
    说明 标准模式下不支持添加开发者版本的实例。
    Quota组 Quota用来实现计算资源和磁盘配额。
    MaxCompute数据类型 包括2.0数据类型(推荐)1.0数据类型(面向已有使用1.0数据类型用户)Hive兼容类型(面向Hive迁移用户),详情请参见:数据类型版本说明
    是否加密 根据实际情况选择是否需要加密当前实例。
    生产环境 生产环境下的配置项包括MaxCompute项目名称访问身份
    • MaxCompute项目名称:当前DataWorks工作空间底层使用的MaxCompute生产环境的项目名称。
    • 访问身份:支持您通过阿里云主账号阿里云子账号阿里云RAM角色角色访问MaxCompute。
    开发环境 开发环境下的配置项包括MaxCompute项目名称访问身份
    • MaxCompute项目名称:当前DataWorks工作空间底层使用的MaxCompute开发环境的项目名称。
      说明 该MaxCompute项目是计算和存储资源。
    • 访问身份:默认是任务执行者,不可以修改。
  4. 单击确定
    创建完成后,您可以将相应的计算引擎设置为默认实例,您还可以单击右上角的解绑按钮,解绑对应的引擎实例。
    说明

    只有空间管理员才可以执行解绑操作。

    解绑后DataWorks各模块将产生如下影响:
    • 调度任务:基于该引擎运行的任务(实例)即将失败,建议您通过DataStudio中的任务列表单击转移到可用的引擎实例修改引擎实例后执行提交、发布,以恢复任务运行。
    • 数据集成:涉及该引擎的同步任务将运行失败,建议您及时到DataSstudio更换相关任务的数据源。
    • 数据服务:涉及该引擎的数据服务API将调用失败,建议您及时更换数据服务相关数据源。
    • 数据分析:涉及该引擎的查询将不可用,建议您及时更换相关数据源。
    • 数据地图、资源优化、综合治理、安全中心将不再展示该引擎的相关信息。

绑定E-MapReduce计算引擎

注意
  • DataWorks已暂停绑定E-MapReduce计算引擎,如您有相关需求,请提交工单申请。

  • E-MapReduce任务实例仅支持运行在独享调度资源组上。
  1. 计算引擎信息区域,单击E-MapReduce,查看当前工作空间下,所有E-MapReduce计算引擎的信息。
  2. 单击增加实例
  3. 新增EMR集群对话框中,配置各项参数。
    DataWorks为您提供快捷模式安全模式两种绑定EMR引擎的模式,以实现不同类型的企业、安全要求场景。您可以基于快捷模式快速开展各类数据的工作,也可以基于安全模式实现更具安全性的数据权限管理。
    快捷模式
    参数 描述
    实例显示名称 自定义实例的名称。
    地域 默认当前工作空间所在的地域。
    访问模式
    • 当EMR计算引擎的绑定模式为快捷模式时,阿里云主账号RAM用户在DataWorks运行代码或自动调度任务,都只是下发代码至EMR集群,实际运行的身份为集群内的Hadoop用户。
    • 当EMR计算引擎的绑定模式为安全模式时,阿里云主账号RAM用户在下发代码的同时,EMR集群内会匹配对应的同名用户来运行任务。管理者可以使用EMR集群内的Ranger组件对每个用户进行权限管控,最终实现不同阿里云主账号任务责任人阿里云子账号在DataWorks上运行EMR任务时,拥有对应不同数据权限的目的,进行更安全的数据权限隔离。
    调度访问身份
    • 如果访问模式选择快捷模式,当提交任务至调度系统后,DataWorks调度系统自动运行任务时,您可以选择阿里云主账号阿里云子账号提交代码至EMR集群。
    • 如果访问模式选择安全模式,当任务被提交、发布至生产环境后,DataWorks调度系统自动运行任务时,您可以选择任务责任人阿里云主账号阿里云子账号提交代码至EMR集群,同时该身份对应的Hadoop用户将实际运行代码。
    说明
    • 仅生产环境涉及配置该参数。
    • 为保证工作空间成员可以在DataStudio内正常运行EMR类的任务,请确保开发、管理员等相关角色拥有AliyunEMRDevelopAccess权限策略。
      • 如果您使用阿里云主账号运行任务,该账号天然拥有AliyunEMRDevelopAccess权限策略。
      • 如果您使用RAM用户运行任务,则需要授予该用户AliyunEMRDevelopAccess权限策略,详情请参见为RAM用户授权
    访问身份 在开发环境运行任务时,提交代码至EMR引擎所使用的身份。此处默认为任务执行者
    说明
    • 仅DataWorks标准模式的工作空间会显示该参数,并且仅开发环境涉及配置该参数。
    • 任务执行者可以为阿里云主账号或RAM用户。
      为保证工作空间成员可以在DataStudio内正常运行EMR类的任务,请确保开发、管理员等相关角色拥有AliyunEMRDevelopAccess权限策略。
      • 如果您使用阿里云主账号运行任务,该账号天然拥有AliyunEMRDevelopAccess权限策略。
      • 如果您使用RAM用户运行任务,则需要授予该用户AliyunEMRDevelopAccess权限策略。
    集群ID 从下拉列表中选择调度访问身份账户所在的EMR集群,作为任务的运行环境。
    项目ID 从下拉列表中选择调度访问身份账户所在的EMR项目,作为任务的运行环境。
    说明 如果EMR项目开启访问模式安全模式,则无法被选择。
    YARN资源队列 当前集群下的队列名称。如果无特殊需求,请输入default
    覆盖DataStudio任务队列映射
    • 勾选覆盖DataStudio任务队列时:所有任务将按照当前指定的队列运行。
    • 未勾选覆盖DataStudio任务队列时:
      • 如果节点高级配置中配置了queue,则按照节点的queue配置运行。
      • 如果节点高级配置中没有配置queue(自己删除了该配置),任务将按照当前界面指定的队列运行。
    说明 如果您看不到覆盖DataStudio任务队列功能,可以提交工单联系我们进行升级。
    Endpoint EMR的Endpoint,不可以修改。
    选择资源组 选择已与当前DataWorks工作空间配置网络连通性的独享调度资源组。如果您没有可用的独享调度资源组则需要新建。新建独享调度资源组并配置网络连通性,详情请参见新增和使用独享调度资源组

    选择后,单击测试连通性进行测试,以验证独享调度资源组和E-MapReduce实例的网络连通性。验证后会对资源组进行初始化。

    说明 当EMR集群配置变更时,需要对资源组重新进行初始化。
  4. 单击确定
    创建完成后,您可以将相应的计算引擎设置为默认实例,并可以进行编辑

绑定Hologres计算引擎

  1. 计算引擎信息区域,单击Hologres,查看当前工作空间下,所有Hologres计算引擎的信息。
  2. 单击绑定HologresDB
  3. 绑定HologresDB对话框中,配置各项参数。
    Hologres
    参数 描述
    实例显示名称 实例的显示名称。
    访问身份
    • DataWorks任务提交调度后,作为在Hologres引擎内执行代码的账号。包括阿里云主账号阿里云子账号
      说明 仅生产环境涉及配置该参数。
    • 在开发环境运行任务时,此处默认为任务执行者
    Hologres实例名称 选择需要绑定的Hologres实例。
    数据库名称 输入在SQL Console中新建的数据库的名称。例如,testdb
  4. 单击测试连通性
  5. 测试连通性通过后,单击确定

绑定AnalyticDB for PostgreSQL计算引擎

注意
  • 您需要开通DataWorks标准版及以上版本,当前页面才会显示AnalyticDB for PostgreSQL
  • AnalyticDB for PostgreSQL任务实例仅支持运行在独享调度资源组上。
  1. 计算引擎信息区域,单击AnalyticDB for PostgreSQL
  2. 单击增加实例
    标准模式的工作空间,开发环境和生产环境隔离。如果您使用的是标准模式的工作空间,则需要分别为开发环境和生产环境添加实例。
  3. 新增AnalyticDB for PostgreSQL实例对话框中,配置各项参数。以下以标准模式的环境为您展示。
    ADB
    参数 描述
    实例显示名称 实例的显示名称,请注意名称需要保持唯一性。
    实例名称 选择需要在工作空间中使用的AnalyticDB for PostgreSQL实例。
    数据库名称 AnalyticDB for PostgreSQL实例下需要绑定使用的数据库的名称。
    用户名 拥有数据库操作权限的Username。,详情请参见创建数据库账号,进入AnalyticDB for PostgreSQL的账号管理页面获取。
    密码 拥有数据库操作权限的Password。,详情请参见创建数据库账号,进入AnalyticDB for PostgreSQL的账号管理页面获取。
    连通性测试 AnalyticDB for PostgreSQL任务实例需要运行在独享调度资源组上,请在此处选择需要使用的独享调度资源组,详情请参见独享资源组模式

    选择后,单击测试连通性进行测试,以验证独享调度资源组和AnalyticDB for PostgreSQL实例的网络连通性。如果您没有可用的独享调度资源组,请单击新建独享资源组创建。

  4. 测试连通性通过后,单击确定

绑定AnalyticDB for MySQL计算引擎

注意
  • 您需要开通DataWorks标准版及以上版本,当前页面才会显示AnalyticDB for MySQL
  • AnalyticDB for MySQL任务实例仅支持运行在独享调度资源组上。
  • 阿里云RAM子账号绑定引擎时,需要拥有引擎实例的DescribeDBClusters权限,授权详情可参考AnalyticDB MySQL文档:RAM子账号和权限
  1. 计算引擎信息区域,单击AnalyticDB for MySQL
  2. 单击增加实例
    标准模式的工作空间,开发环境和生产环境隔离。如果您使用的是标准模式的工作空间,则需要分别为开发环境和生产环境添加实例。
  3. 添加AnalyticDB for MySQL实例对话框中,配置各项参数。以下以标准模式的环境为您展示。
    AnalyticDB for MySQL
    参数 描述
    实例显示名称 实例的显示名称,请注意名称必须唯一。
    实例名称 选择需要在工作空间中使用的AnalyticDB for MySQL实例。
    数据库名称 AnalyticDB for MySQL实例下绑定的需要使用的数据库名称。
    用户名 拥有数据库操作权限的Username。,详情请参见数据库账号和权限,进入AnalyticDB for MySQL的账号管理页面获取。
    密码 拥有数据库操作权限的Password。,详情请参见数据库账号和权限,进入AnalyticDB for MySQL的账号管理页面获取。
    连通性测试 AnalyticDB for MySQL任务实例需要运行在独享调度资源组上,请在此处选择需要使用的独享调度资源组,详情请参见独享资源组模式

    选择后,单击测试连通性进行连通性测试,以验证独享调度资源组和AnalyticDB for MySQL实例的网络连通性。如果您没有可用的独享调度资源组,请单击新建独享资源组创建。

  4. 测试连通性通过后,单击确定

绑定CDH计算引擎

  1. 计算引擎信息区域,单击CDH
  2. 单击增加实例
    标准模式的工作空间,开发环境和生产环境隔离。如果您使用的是标准模式的工作空间,则需要分别为开发环境和生产环境添加实例。
  3. 新增CDH引擎实例对话框中,配置各项参数。
    新增引擎实例时,可选择使用快捷模式安全模式访问模式,安全模式可以实现不同云账号运行任务时的数据权限隔离。配置界面如下:
    快捷模式
    参数 描述
    实例显示名称 自定义的实例显示名称,请注意名称必须唯一。
    访问模式
    • 快捷模式:该访问模式使用便捷,多个云账号对应一个集群账号,多个账号均可访问同一个集群账号内的数据,无法实现不同云账号运行任务时的数据权限隔离。
    • 安全模式:该访问模式允许您配置云账号与CDH集群账号的身份映射关系,实现不同云账号运行任务时的数据权限隔离。
    选择集群
    • 如果访问模式选择快捷模式,则此处需要选择未开启Kerberos认证的CDH集群。如果您当前无CDH集群,请先创建集群,请参见:在DataWorks中新增CDH集群配置
    • 如果访问模式选择安全模式,则此处需要选择已开启Kerberos认证的CDH集群。您可以查看CDH集群是否开启Kerberos认证(在工作空间管理页面,单击CDH集群配置,找到需要查看的集群,单击修改,进入后下拉查看映射配置中的认证类型)。如果您当前无CDH集群,请先创建集群。
    访问身份
    • 快捷模式无认证方式,仅支持指定特定账号,建议使用admin或hadoop账号。该账号仅用于下发任务。
    • 安全模式
      • 您可以根据需求选择调度访问身份。该身份用于在任务提交调度后自动调度运行任务,并且需要配置云账号与CDH集群账号的身份映射,请参见 配置访问身份的映射关系。您可以选择任务责任人阿里云主账号阿里云子账号
        说明
        • 仅生产环境涉及配置该参数。
        • 在DataStudio页面,运行任务所使用的身份均为当前已登录云账号映射的集群访问身份。因此,除了需要为调度访问身份配置身份映射外,建议为项目空间开发成员也配置身份映射,避免页面运行任务失败。
      • 在开发环境运行任务时,此处默认为任务执行者
    独享调度资源组

    选择已与当前DataWorks工作空间配置网络连通性的独享调度资源组。如果您没有可用的独享调度资源组,则需要新建。新建独享调度资源组并配置网络连通性,详情请参见新增和使用独享调度资源组

    选择后,单击测试连通性进行测试,以验证独享调度资源组和CDH实例的网络连通性。

  4. 测试连通性通过后,单击确定创建计算引擎实例。

绑定ClickHouse计算引擎

绑定ClickHouse计算引擎之前,您需要完成以下准备工作:
  • 已创建ClickHouse集群。
    • 您可以在E-MapReduce上创建ClickHouse集群。
    • 您可以在云数据库ClickHouse上创建ClickHouse集群。
  • 已开通DataWorks并创建好对接使用ClickHouse的工作空间。对接使用ClickHouse的工作空间无需绑定计算引擎,在创建工作空间时可跳过选择引擎步骤,创建工作空间的其他步骤,详情请参见创建工作空间
  • 已开通独享调度资源组,并绑定至所用的DataWorks工作空间,详情请参见新增和使用独享调度资源组
    说明 建议独享调度资源组与部署的ClickHouse集群绑定同一地域的同一个VPC网络。如果您需要将独享调度资源组与部署的ClickHouse集群绑定于不同地域或不同的VPC网络,则需要执行较复杂的网络连通流程,详情请参见选择网络连通方案
  1. 计算引擎信息区域,单击ClickHouse
  2. 单击增加实例
    标准模式的工作空间,开发环境和生产环境隔离。如果您使用的是标准模式的工作空间,则需要分别为开发环境和生产环境添加实例。
  3. 新增ClickHouse集群对话框中,配置各项参数。
    您可以使用连接串模式EMR集群模式连接ClickHouse集群,以下以标准模式的环境为您展示如何使用两种模式新增ClickHouse集群。clickhouse
    参数 描述
    实例显示名称

    自定义的实例显示名称,请注意名称必须唯一。

    集群类型 选择连接串模式EMR集群模式新增ClickHouse集群。
    访问模式

    目前仅支持快捷模式。当ClickHouse计算引擎的绑定模式为快捷模式时,阿里云主账号RAM用户在DataWorks运行代码或自动调度任务,都只是下发代码至ClickHouse集群,实际运行任务的身份为配置项访问身份内所输入的用户。

    集群信息
    • 连接串模式需要配置JDBC URL为接入ClickHouse集群的JDBC连接串。
    • EMR集群模式选择需要绑定的EMR ClickHouse集群ID。
      说明 如果您当前使用的是RAM用户登录,请先授予该用户AliyunEMRDevelopAccess策略后再选择集群。授权RAM用户AliyunEMRDevelopAccess权限策略,详情请参见为RAM用户授权
    用户名 访问ClickHouse集群所使用的用户名。

    如果您使用的是EMR(E-MapReduce)的ClickHouse集群,则可以登录EMR管理控制台进入集群管理集群服务页面,查看目标集群的用户名,如下图配置信息所示。

    密码 访问ClickHouse集群所使用的密码。

    如果您使用的是EMR(E-MapReduce)的ClickHouse集群,则可以登录EMR管理控制台进入集群管理集群服务页面,查看目标集群的密码,如下图配置信息所示。

    独享调度资源组

    选择已与当前DataWorks工作空间配置网络连通性的独享调度资源组。如果您没有可用的独享调度资源组,则需要新建。新建独享调度资源组并配置网络连通性,详情请参见新增和使用独享调度资源组

    EMR(E-MapReduce)的ClickHouse集群,配置信息如下图所示。查看集群信息
  4. 测试连通性通过后,单击确定