大数据开发治理平台 DataWorks：节点开发问题诊断和治理

开启配置项

根据个人习惯，对问题诊断功能进行精细化配置。所有配置项仅对当前登录账号生效。

1. 进入 DataWorks工作空间列表页，选择目标工作空间，单击 操作 列的 快速进入 > Data Studio。

2. 单击左侧导航栏底部 > 设置，进入设置页面的用户页签。

内置规则库管理

数据治理插件的检查行为由规则库驱动，分成内置规则和自定义规则。您可按需启用或禁用特定规则。

1. 在 Data Studio 页面左侧导航栏中，单击治理图标，进入数据资产治理插件配置。

2. 在数据资产治理插件面板的内置规则库中，找到目标治理规则，单击其后面的开关图标即可启用或禁用。

   • 启用（默认）：保存节点时，会触发此规则的检查。

   • 禁用：保存节点时，将不再触发此规则的检查。

自定义规则库

当内置规则无法满足您团队特定的业务逻辑或编码规范时，数据资产治理插件提供自定义规则库，允许使用自然语言描述和正/反示例来定义新检查规则。

深度检查

除了快速入门章节提到的单文件检查之外，还支持批量深度检查。

1. 在 Data Studio 页面左侧导航栏中，单击治理图标，进入数据资产治理插件配置。

2. 在数据资产治理插件面板的深度检查中，选择批量待检查文件和需要规则，发起深度检查。

   重要

   • 批量检查范围仅限于当前在编辑器中已打开的文件页签，最多可选5个文件，暂不支持选择未打开的文件。

   • 批量检查时，同一时间仅支持执行一个深度检查。

   

3. 在深度检查结果栏，单击右上角的查看日志，可查询大模型对检查规则的深度判断过程。

分区表查询必须带分区

• 风险说明：查询 MaxCompute 分区表时不指定分区，将触发全表扫描，消耗大量计算资源并产生高昂的计算费用。

• 错误代码示例：

  SELECT user_id, order_amount
  FROM user_orders
  WHERE status = 'paid';

• 正确代码示例：

  SELECT user_id, order_amount
  FROM user_orders
  WHERE status = 'paid'
  AND pt = '${bizdate}'; -- 添加分区过滤条件

• 自动修复逻辑：支持一键修复。系统会在 WHERE 子句中自动添加分区条件，例如 AND pt = '${bizdate}'。

禁止使用INSERT INTO+重跑属性

• 风险说明：如果 SQL 任务仅包含 INSERT INTO 逻辑且在调度配置中允许任务重跑，那么每次重跑都会向目标表追加数据，极易导致数据重复，影响数据正确性。

• 错误代码示例：

  -- 任务属性设置为“可重跑”
  INSERT INTO target_table SELECT * FROM source_table;

• 正确代码示例：

  -- 任务属性设置为“可重跑”
  INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;

• 自动修复逻辑：支持一键修复。系统会将 INSERT INTO 修改为 INSERT OVERWRITE，确保重跑时覆盖数据而非追加。

JOIN字段类型必须一致

• 风险说明：在 MaxCompute SQL 中，JOIN 操作的关联字段类型不一致，会导致隐式类型转换，可能引发计算错误、性能下降，影响数据质量。

• 错误代码示例：

  -- a.user_id 是 BIGINT, b.uid 是 STRING
  SELECT * FROM table_a a JOIN table_b b ON a.user_id = b.uid;

• 正确代码示例：

  -- a.user_id 是 BIGINT, b.uid 是 STRING
  SELECT * FROM table_a a JOIN table_b b ON a.user_id = CAST(b.uid AS BIGINT);

• 自动修复逻辑：支持一键修复。系统会自动检测并对其中一个字段使用 CAST 函数进行显式类型转换，使其与另一个字段类型匹配。

INSERT非本项目的表

• 风险说明：在 A 项目的任务中向 B 项目的表写入数据，被视为高危操作。这破坏了项目间的隔离性，可能导致数据访问越权和数据泄漏风险。

• 错误代码示例：

  -- 在 project_A 的任务中执行
  INSERT INTO project_B.some_table SELECT * FROM my_table;

• 正确代码示例：

  -- 建议方案：数据应由表的归属项目（project_B）的任务来写入。
  -- 在 project_A 中应避免此操作。

• 自动修复逻辑：不支持自动修复。需要您根据业务需求，调整数据同步链路，确保由目标项目自身任务完成数据写入。

禁止线上周期任务写开发环境的表

• 风险说明：生产环境的周期任务将数据写入开发环境的表中，会降低数据的防护等级，带来数据安全隐患。

• 错误代码示例：

  -- 在生产环境（PROD）的任务中执行
  INSERT OVERWRITE TABLE user_dev.temp_data SELECT * FROM user_prod.source_data;

• 正确代码示例：

  -- 生产任务应写入生产环境的表
  INSERT OVERWRITE TABLE user_prod.result_data SELECT * FROM user_prod.source_data;

• 自动修复逻辑：不支持自动修复。需要您手动修改目标表，确保数据流向符合环境隔离规范。

SQL中禁止创建表

• 风险说明：在调度执行的 SQL 任务中直接使用 CREATE TABLE，会导致表的归属混乱（通常归属于主账号或调度账号），增加管理成本，并存在数据被意外清除的风险。

• 错误代码示例：

  CREATE TABLE my_temp_table (id INT);
  INSERT INTO my_temp_table VALUES (1);

• 正确代码示例：

  -- 应在 DataWorks 的表管理模块预先创建表，然后在 SQL 任务中直接使用。
  INSERT INTO my_temp_table VALUES (1);

• 自动修复逻辑：不支持自动修复。建议您在 DataWorks 的元数据管理中创建表，或使用 CREATE TABLE IF NOT EXISTS 规避部分场景的报错。

调度参数遗漏检查器

• 风险说明： 周期性调度任务的核心是按时间维度增量处理数据。如果在 WHERE 条件中遗漏了调度参数（如 ${bizdate}），任务可能会每天处理全量数据，或处理错误的日期范围，导致数据遗漏、错乱和巨大的资源浪费。

• 错误代码示例：

  -- 错误：缺少调度参数，无法按天增量处理
  INSERT OVERWRITE TABLE users_active_today PARTITION (pt = '${bizdate}')
  SELECT    user_id  FROM    login_log; -- 缺少 WHERE pt = '...'

• 正确代码示例：

  -- 正确：使用调度参数作为过滤条件，实现每日增量处理
  INSERT OVERWRITE TABLE users_active_today PARTITION (pt = '${bizdate}')
  SELECT    user_id FROM    login_log
  WHERE    pt = '${bizdate}';

• 自动修复逻辑： 不完全支持自动修复。插件会高亮提示此处可能缺少调度参数过滤，但由于业务逻辑复杂，建议您根据实际需求手动添加正确的过滤条件。