Data Agent 沙箱管理 - 大数据开发治理平台 DataWorks

功能概述

Data Agent 执行任务时，需要一个可运行代码、读写文件、访问数据源的执行环境。沙箱将底层的计算资源和运行环境封装为一个可直接使用的对象：您无需了解专有网络、交换机等云资源概念，在会话中选择一个沙箱即可开始工作；管理员可在控制台统一管理所有沙箱的成本与权限。

Data Agent 提供两类沙箱，分别适用于不同的使用场景：

会话式沙箱：随会话自动创建和释放的临时执行环境，无需手动操作，目前仅支持数据集成、数据治理、数据质量、运维中心、语义图谱模块。
持久化沙箱：面向主 Data Agent的长期执行环境，支持自定义 CU、网络等配置，可反复启停。

两类沙箱及相关术语的详细说明，请参见下文核心概念。

核心概念

术语	说明
沙箱（Sandbox）	将底层计算资源和运行环境封装为可直接使用的对象，是用户在会话中选择和执行任务的承载单元。
会话式沙箱	在各模块启用 Data Agent 时使用的临时沙箱，开启会话后系统自动创建，会话结束后自动释放。目前仅支持数据集成、数据治理、数据质量、运维中心、语义图谱模块。
持久化沙箱	长期存在的沙箱（含默认沙箱与用户主动创建的自定义沙箱），创建时可指定 CU、专有网络（VPC）和交换机（vSwitch），可反复启停；启用空闲自动停机后，停机期间不计费，再次启动时配置与文件保留。持久化沙箱面向主 Data Agent。
默认沙箱	用户首次进入 Data Agent 时系统自动创建的持久化沙箱（默认 4 CU、30 分钟空闲停机），用于承接首个任务，免去手工配置。创建后与用户自建的持久化沙箱一致，可修改或删除。
CU	计算单元（Compute Unit），沙箱的算力规格和计费单位。
空闲自动停机	自最后一次活跃心跳起，无活动达到设定时长后自动停止沙箱实例并停止计费。最低 10 分钟；填 0 或留空表示不启用。

创建沙箱

沙箱有三种获取方式：会话式沙箱由系统随会话自动创建；首次进入主 Data Agent 时，系统自动创建默认持久化沙箱；如需自定义规格，您也可以手动创建自定义持久化沙箱。

会话式沙箱（自动创建）

会话式沙箱在各模块启用 Data Agent 时自动创建，全程无需手动操作：当您在模块的 Data Agent 下开启会话后，系统会自动创建一个会话式沙箱作为任务执行环境；会话结束后自动释放。

重要

目前仅支持数据集成、数据治理、数据质量、运维中心、语义图谱模块。

持久化沙箱

重要

持久化沙箱功能目前仅在西南1（成都）地域开放，其他地域将陆续开通并另行通知。

当您开通 Data Agent 后首次进入时，如果名下没有任何可用沙箱，系统会在后台自动创建一个默认持久化沙箱（默认 4 CU、30 分钟空闲自动停机）用于承接首个任务，全程无需手工配置。如果默认沙箱无法满足需求，您可以手动创建自定义持久化沙箱。

操作步骤

在主 Data Agent 会话输入框的底栏，单击沙箱选择器，然后单击新建沙箱。

在弹出的创建对话框中，配置以下参数：

参数	是否必填	说明
沙箱名称	是	沙箱的显示名称，默认为 `Sandbox_data_dev`。创建后可修改。
空闲自动停机	否	空闲多少分钟后自动停机（单位：分钟）。默认 30 分钟，最低 10 分钟。填 0 或留空表示不启用空闲停机。停机后不再计费，配置与文件保留。
规格（CU）	是	沙箱的计算单元配额。默认 4 CU，不能超过管理员设定的单沙箱 CU 上限。

单击创建。

说明
创建自定义持久化沙箱需要管理员为您开通沙箱创建权限。如果创建入口置灰，请联系管理员开通。

使用沙箱

在主 Data Agent 会话中执行任务时，您可以通过沙箱选择器选用合适的持久化沙箱；会话式沙箱由系统自动创建和承接，无需选择。

在会话中选择和切换沙箱

通过主 Data Agent 进行会话时，可在输入框底栏的沙箱选择器中查看和切换当前可用的持久化沙箱：

沙箱列表：下拉列表展示当前可用的持久化沙箱，包括名称、运行状态和 CU 规格。
状态指示：通过颜色区分沙箱状态——绿色表示运行中、灰色表示已停机、黄色脉冲表示启动中/停止中/变配中、红色表示失败、橙色表示删除中。
新建入口：在下拉列表中单击新建沙箱可快速创建持久化沙箱。

管理沙箱

登录 DataWorks 控制台，在左侧导航栏选择沙箱管理 > 沙箱，即可进入沙箱列表页面。
在沙箱管理页面，您可以查看和管理自己的沙箱、查看沙箱监控。管理员还可查看团队所有沙箱并配置资源策略。

沙箱生命周期

在沙箱列表中，您可以查看每个沙箱当前的运行状态。沙箱在其生命周期中可能处于以下状态：

状态	说明
创建中	沙箱正在创建底层资源，创建完成后自动转为启动中。
启动中	沙箱正在启动运行环境，就绪后转为运行中。
运行中	沙箱已就绪，可承接和执行任务。运行态下可查看 CPU、内存、磁盘等监控数据。
停止中	沙箱正在停止，通常由手动停机或空闲自动停机触发。
已停机	沙箱已停止运行，不再计费。配置与文件保留，可随时再次启动。
删除中	沙箱正在删除，底层资源正在释放。删除完成后沙箱将从列表中移除。
变配中	沙箱正在变更 CU 规格。变配实质为重建底层沙箱，完成后按新规格启动。
失败	沙箱创建或启动失败，可查看错误信息或联系管理员。

说明

运行中的沙箱在空闲达到设定时长（默认 30 分钟）后会自动停机，停机后不再计费。停机沙箱被再次选择或发起任务时，将自动重新启动，配置与上下文保留。

查看沙箱列表

在沙箱页签下，您可以查看三个关键指标：沙箱总数（团队累计的持久化沙箱数量）、运行中沙箱数（当前处于运行状态的沙箱数量）、总占用 CU（所有运行中沙箱的 CU 之和）。

下方的沙箱列表展示所有沙箱的名称、拥有者、状态、CU 和最后活动时间。您可以通过名称或拥有者搜索沙箱，并在操作列对沙箱执行以下动作：

操作	说明
查看	进入沙箱详情页，查看基本信息、监控指标、会话列表和操作日志。
停机/启动	手动停止运行中的沙箱，停机后不再计费，配置与文件保留；已停机的沙箱可再次启动，恢复承接任务。
删除	永久删除沙箱，释放底层资源。删除操作不可撤回。运行中的沙箱需先停机后再删除。

查看沙箱详情

在沙箱列表中单击查看，可进入沙箱详情页。在该页面中，您可以查看以下信息：

基本信息：沙箱名称、ID、拥有者、状态、计费方式、当前占用 CU、创建日期、空闲停机时长、专有网络和交换机。
监控指标：展示 CPU 使用率、内存使用率和磁盘使用率的实时数值，并以时间序列曲线图呈现历史趋势，支持自定义时间范围。页面右上角提供删除沙箱的快捷入口。
会话列表：展示该沙箱当前承接的会话（会话名称、发起人、占用 CU、开始时间等），支持查看或终止会话。
操作日志：记录沙箱的创建、启停、变配、转交等操作历史，保留近 90 天。

说明

CU 规格变更在下次启动时生效；空闲停机时长保存后即时生效。

配置策略

在左侧导航栏单击配置策略，管理员可设置团队成员的沙箱资源上限。您可配置以下两类策略：

单账号默认策略：设定团队级默认边界，单击编辑可修改以下参数：

参数	说明
最大沙箱数	每个用户可拥有的沙箱总数上限。
最大运行 CU	每个用户所有运行中沙箱的 CU 总和上限。
单沙箱 CU 上限	单个沙箱允许配置的最大 CU 数。新建或变更沙箱时以此为上限校验基准。
默认空闲停机（分钟）	沙箱无活动后自动停机的默认时长，停机后不再计费。

单账号例外策略：为特定子账号单独设置与默认策略不同的参数，覆盖团队默认值。单击添加单账号例外即可添加。未配置例外的账号均使用单账号默认策略。

重要

管理员对默认策略和单账号例外的修改即时生效，会影响后续的新建和变更操作。

RAM IP 白名单放行

除控制台中的沙箱资源策略外，如果您已通过 RAM 自定义权限策略限制 RAM 用户只能从特定 IP 访问 DataWorks（即启用了 RAM IP 白名单），还需将沙箱网段一并加入白名单，以确保沙箱能够正常调用 DataWorks 服务执行任务。由于沙箱以自身网段的 IP 访问 DataWorks，当白名单未包含这些网段时，相关请求会落在 Deny 语句的限制范围内，任务会因权限校验未通过而无法执行。

需放行的网段如下，两个网段均需添加：

网段	说明
21.80.0.0/12	Data Agent 沙箱出口网段
21.224.0.0/12	Data Agent 沙箱出口网段

说明

会话式沙箱与持久化沙箱均从上述网段发起请求，无需为单个沙箱单独放行。
沙箱的启停、变配、删除不会改变该网段，一次放行后无需随沙箱变更维护。

配置示例

在原有办公网 IP 白名单的基础上追加沙箱网段，其中 203.0.113.10 为允许访问 DataWorks 的办公网出口 IP，请替换为您的实际 IP：

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Deny",
            "Action": [
                "dataworks:*"
            ],
            "Resource": [
                "acs:dataworks:*:*:*"
            ],
            "Condition": {
                "NotIpAddress": {
                    "acs:SourceIp": [
                        "203.0.113.10",
                        "21.80.0.0/12",
                        "21.224.0.0/12"
                    ]
                }
            }
        }
    ]
}

重要

请以追加方式修改策略，不要用沙箱网段替换原有的办公网 IP，否则您将无法从本地访问 DataWorks。权限策略的创建与授权步骤，请参见RAM用户仅从特定IP登录DataWorks。

计费说明

沙箱沿用 Data Agent 现有的按量计费口径，不单独生成计费账单。

运行期间：沙箱从创建或启动时刻开始计费，到停止或删除时刻结束，按实际运行时长和 CU 规格计费。
停机期间：沙箱停机后不再计费。多次启停产生的多个活跃时间段累计计费。
空闲自动停机：开启空闲自动停机后，沙箱在空闲达到设定时长后自动停机并停止计费，有效降低闲置成本。
规格变更：变配 CU 后，新规格在下次启动时生效，并按新规格的单价计费。

详细的计费规则和单价，请参见Data Agent 费用。