すべてのプロダクト
Search
ドキュメントセンター

DataWorks:開発リファレンス:イベント一覧とメッセージフォーマット

最終更新日:Jul 03, 2026

このトピックでは、DataWorks のイベントタイプ、メッセージフォーマット、およびフィールドの意味について説明します。このドキュメントを使用して、イベント一覧とメッセージフォーマットに関する情報を迅速に検索および照会できます。

概要

DataWorks では、イベントは DataWorks 内でチェックポイントを作成できるかどうか、およびセルフマネージドサービスによるサブスクライブ後に処理結果を返すことができるかどうかに基づいて、標準イベントまたは拡張ポイントイベントに分類されます。

  • 標準イベント:これらのイベントメッセージをサブスクライブできますが、DataWorks 内での操作をブロックすることはできません。これらのイベントは OpenEvent を使用してサブスクライブします。詳細については、「OpenEvent」をご参照ください。

  • 拡張ポイントイベント:これらのイベントメッセージをサブスクライブした後、DataWorks Open Platform の Extensions 機能を使用してイベントメッセージへの応答をカスタマイズできます。DataWorks プラットフォームユーザーが拡張ポイントで操作を実行する際、Extensions を使用して拡張ポイントでの操作を管理すると、カスタム拡張機能が処理結果を返すまで、その拡張ポイントでの操作が中断されます。

以下のリストでは、サポートされているイベントをモジュール別に分類し、各イベントが 標準イベント または 拡張ポイントイベント のいずれであるかを示しています。また、EventBridge イベントタイプ (Type) および 拡張イベントコード (eventCode) も記載されています。

  • EventBridge イベントタイプ (Type): イベントメッセージをフィルタリングするために使用されるフィールドです。詳細については、「メッセージサブスクリプションの有効化」をご参照ください。

  • 拡張イベントコード (eventCode):イベントタイプに対応するイベントコードです。ローカル開発中は、DataWorks から送信されたメッセージコンテンツからこのコードを取得し、対象のイベントタイプを識別します。

ワークスペースレベルのイベント

ワークスペースレベルのモジュールによって生成されるイベントは ワークスペースレベルのイベント です。たとえば、Data Studio のノード実行やオペレーションセンターのスケジュールインスタンスステータス変更などがあります。イベント一覧 を使用して、どのイベントが標準イベントであり、どのイベントが拡張ポイントイベントであるかを識別し、それらのメッセージフォーマットを確認してください。

以下の メッセージフォーマットタブ には一部のコンテンツのみが含まれています。EventBridge または Function Compute に送信される完全なメッセージについては、「付録:メッセージフォーマット」をご参照ください。

Data Studio イベント一覧

イベント一覧

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ (Type)

拡張イベントコード (eventCode)

ノード変更

ノード作成

  • 新規ノードを本番環境にデプロイ

image

image

dataworks:NodeChange:NodeChangeCreated

node-change-created

ノード更新

  • 開発環境でノードを変更

  • 変更内容を本番環境にデプロイ

image

image

dataworks:NodeChange:NodeChangeUpdated

node-change-updated

ファイル変更

  • ノード

  • リソース

  • 関数

ファイル削除の事前イベント

開発環境でノードを削除

説明

削除されたファイルはゴミ箱に移動されます。

image

image

dataworks:FileChange:DeleteFile

delete-file

ファイルコミットの事前イベント

image

image

dataworks:FileChange:CommitFile

commit-file

ファイルデプロイの事前イベント

image

image

dataworks:FileChange:DeployFile

deploy-file

コード実行の事前イベント

image

image

dataworks:FileChange:RunFile

run-file

テーブル変更

開発環境へのテーブルコミットの事前イベント

image

image

dataworks:TableChange:CommitTable

commit-table

本番環境へのテーブルデプロイの事前イベント

image

image

dataworks:TableChange:DeployTable

deploy-table

メッセージフォーマット

ノード変更イベント (作成および更新)

以下は、ノード作成、変更、および削除イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "nodeName": "****",
    "programType": "ODPS_SQL",
    "cronExpress": "00 04 00 * * ?",
    "blockBusiness": false,
    "schedulerType": "NORMAL",
    "ownerId": "19****735",
    "priority": 1,
    "baselineId": 70***287,
    "operator": "19***735", //Operator of this action
    "eventCode": "node-change-created",
    "repeatability": true,
    "modifyTime": 17***864,
    "createTime": 17***864,
    "tenantId": 28***656,
    "nodeId": 70***003,
    "projectId": 9***4
  }
}

フィールドの説明は以下のとおりです。

フィールド

タイプ

説明

nodeName

String

ノード名。

programType

String

ファイルのコードタイプ。ファイルのコードタイプを照会するには、ListFileType 操作を呼び出すか、「ファイルコードタイプ」を参照してください。

cronExpress

String

定期スケジューリングの cron 式。

このパラメーターは、DataWorks コンソールData Studio タスクの に対応しています。

スケジュールスケジュール時刻 を設定すると、DataWorks は自動的に対応する cron 式を生成します。例:

  • 毎日 05:30 にスケジュール: 00 30 05 * * ?

  • 毎時 15 分にスケジュール: 00 15 * * * ?

  • 10 分ごとにスケジュール: 00 00/10 * * * ?

  • 毎日 08:00 から 17:00 までの間、10 分ごとにスケジュール: 00 00-59/10 8-17 * * * ?

  • 毎月 1 日の 00:20 にスケジュール: 00 20 00 1 * ?

  • 1 月 1 日の 00:10 から 3 ヶ月ごとにスケジュール: 00 10 00 1 1-12/3 ?

  • 毎週火曜日と金曜日の 00:05 にスケジュール: 00 05 00 * * 2,5

説明

cron 式には以下の制限があります。

  • 最小スケジューリング間隔は 5 分です。

  • 1 日の最も早いスケジューリング時刻は 00:05 です。

schedulerType

String

タスクインスタンスのスケジューリングタイプ。有効値:

  • 0: NORMAL。通常のスケジュールタスク。定期スケジューリングに含まれます。

  • 1: MANUAL。手動タスク。定期スケジューリングには含まれません。

  • 2: PAUSE。フリーズされたタスク。定期スケジューリングに含まれますが、スケジューリング開始時に失敗ステータスに設定されます。

  • 3: SKIP。ドライランタスク。定期スケジューリングに含まれますが、スケジューリング開始時に成功ステータスに設定されます。

  • 4: SKIP_UNCHOOSE。一時的なワークフローで選択されていないタスク。一時的なワークフロー内でのみ存在し、スケジューリング開始時に成功ステータスに設定されます。

  • 5: SKIP_CYCLE。スケジューリング周期がまだ到達していない週次または月次のタスク。定期スケジューリングに含まれますが、スケジューリング開始時に成功ステータスに設定されます。

  • 6: CONDITION_UNCHOOSE。上流インスタンスにブランチ (IF) ノードが含まれていますが、この下流ノードはブランチノードによって選択されず、直接ドライランタスクに設定されます。

  • 7: REALTIME_DEPRECATED。リアルタイムで生成され、期限切れとなったスケジュールインスタンス。このタイプのタスクは直接成功ステータスに設定されます。

ownerId

String

ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。

priority

Integer

タスクの優先度。有効値: 1357、および 8。値が大きいほど優先度が高くなります。

baselineId

Long

ベースライン ID。

repeatability

Boolean

ノードを再実行できるかどうかを示します。

  • true: ノードを再実行できます。

  • false: ノードを再実行できません。

modifyTime

Long

ノードが最後に変更された時刻。

createTime

Long

ノードが作成された時刻。

nodeId

Long

ノード ID。

projectId

Long

ノードが属するワークスペースの ID。

tenantId

Long

ノードが属するテナントの ID。

operator

String

ノードを作成、変更、または削除したユーザーの UID。

eventCode

String

拡張イベントコード

ファイル変更イベント (コミット、デプロイ、実行、および削除)

  • 以下は、ファイル コミット および デプロイ イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "******",
        "extensionBizId": "eb******9ce",
        "changeType": "0",
        "blockBusiness": false,
        "dataSourceName": "0_******engine",
        "operator": "19***735",
        "eventCode": "commit-file",
        "fileCreateTime": "2024-07-12 11:08:50",
        "tenantId": 28***656,
        "fileOwner": "19***735",
        "fileVersion": 1,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    フィールドの説明は以下のとおりです。

    フィールド

    タイプ

    説明

    operator

    String

    ファイルをコミットまたはデプロイしたユーザーの UID。

    projectId

    Long

    ファイルが属するワークスペースの ID。

    tenantId

    Long

    テナント ID。

    nodeId

    Long

    スケジューリングノード ID。

    fileType

    Long

    ファイルのコードタイプ。ファイルのコードタイプを照会するには、ListFileType 操作を呼び出すか、「ファイルコードタイプ」を参照してください。

    fileName

    String

    ファイル名。

    fileOwner

    String

    ファイル所有者。

    extensionBizId

    String

    拡張チェックポイントプロセスの ID。

    changeType

    String

    ファイルの変更タイプ:

    • 0: ファイルを作成。

    • 1: ファイルを更新。

    • 2: ファイルを削除。

    fileCreateTime

    String

    ファイルが作成された時刻。形式は yyyy-MM-dd HH:mm:ss

    fileId

    Long

    ファイル ID。

    fileVersion

    Long

    ファイルバージョン。

    dataSourceName

    String

    データソース名。

    eventCode

    String

    拡張イベントコード。

  • 以下は、ファイル削除および実行イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "***",
        "extensionBizId": "bf******6e3",
        "blockBusiness": false,
        "operator": "19***735",
        "eventCode": "delete-file",
        "fileCreateTime": "2024-07-12 11:08:50", //File creation time
        "tenantId": 28***656,
        "fileOwner": "19***735", //File owner
        "nodeId": 70***003,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    フィールドの説明は以下のとおりです。

    フィールド

    タイプ

    説明

    operator

    String

    ファイルを削除または実行したユーザーの UID。

    projectId

    Long

    ファイルが属するワークスペースの ID。

    tenantId

    Long

    テナント ID。

    nodeId

    Long

    スケジューリングノード ID。

    fileType

    Long

    ファイルのコードタイプ。ファイルコードタイプを照会するには、ListFileType 操作を呼び出すか、「ファイルコードタイプ」を参照してください。

    fileName

    String

    ファイル名。

    fileOwner

    String

    ファイル所有者。

    extensionBizId

    String

    Extensions チェックポイントプロセス ID。

    fileCreateTime

    String

    ファイルが作成された時刻。形式は yyyy-MM-dd HH:mm:ss

    fileId

    Long

    ファイル ID。

    eventCode

    String

    Extensions イベントコード。

テーブル変更イベント (開発環境へのテーブルコミットまたは本番環境へのテーブルデプロイ)

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "operator": "**************",
    "projectId": 12*****56,
    "tenantId": 12******56,
    "extensionBizId": "12***56",
    "tableName":"table1",
    "tableType":"ODPS",  
    "maxComputeProject":"project1"
  }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

operator

String

テーブルをコミットまたはデプロイしたユーザーの UID。

projectId

Long

ワークスペース ID。

tenantId

Long

テナント ID。

extensionBizId

String

Extensions チェックポイントプロセス ID。

tableName

String

テーブル名。

tableType

String

テーブルタイプ。値は ODPS です。

maxComputeProject

String

対応する MaxCompute プロジェクトの名前。

Data Integration イベント一覧

イベント一覧

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントコード (eventCode)

ノード変更イベント

タスク開始

image

image

dataworks:NodeChange:StartDiJob

start-diJob

タスクの一括開始

image

image

dataworks:NodeChange:BatchStartDiJob

batch-start-diJob

メッセージフォーマット

ノード変更イベント- タスク開始

以下は、ノード変更イベント - タスク開始イベント のメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

## message v1 task started with no more than 500 tables
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "extensionBizId": "0a4***b8ae",
        "extensionBizName": "sync_mysql_to_odps_20240726_192307",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "id": 5280,
        "projectId": 9***4,
        "tableMapping": [
            {
                "srcTable": "xb_test_116",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_116"
            },
            {
                "srcTable": "xb_test_117",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_117"
            },
            {
                "srcTable": "xb_test_118",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_118"
            },
            {
                "srcTable": "xb_test_135",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_135"
            }
        ],
        "operator": "1504650005316516"
    }
}

## message v2 task started with no more than 500 tables
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "extensionBizId": "59d***50fc",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801",
        "blockBusiness": true,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-09-11 12:00:00"
        },
        "eventCode": "start-diJob",
        "jobId": 5777,
        "forceRun": false,
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test_verify1",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1"
            },
            {
                "srcTable": "test_verify1_dst",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1_dst"
            },
            {
                "srcTable": "mysql_0_timetest2",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "mysql_0_timetest2"
            }
        ]
    }
}

##message v2 task started with more than 500 tables, "showTableMapping": false
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5502,
        "forceRun": false,
        "extensionBizId": "f4c***7cbc",
        "extensionBizName": "sync_mysql_to_holo_20240412_213634",
        "appId": 330914,
        "showTableMapping": false,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-04-12 22:07:02",
            "startDateTime": "2024-09-10 17:00:00",
            "timeZone": "Asia/Shanghai"
        }
    }
}

##Regex
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5778,
        "forceRun": false,
        "extensionBizId": "a5d***75ba",
        "extensionBizName": "sync_mysql_to_holo_20240912_170517",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "aaa"
            },
            {
                "srcTable": "shard.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "vvv"
            }
        ],
        "operator": "19***735"
    }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

projectId

Long

DataWorks ワークスペース ID。

operator

String

オペレーターの UID。

extensionBizName

String

ソリューション名。

showTableMapping

Boolean

テーブルマッピング情報が返されるかどうかを示します。

  • true: 返されます。

  • false: 返されません。

テーブル数が 500 を超える場合、showTableMapping はデフォルトで false になります。

tableMapping

JSONArray

テーブルマッピング。

srcDatasourceName

String

ソースデータソースの名前。

srcDatabaseName

String

ソースデータベースの名前。

srcTable

String

ソーステーブルの名前。

dstDatasourceName

String

送信先データソースの名前。

dstTable

String

送信先テーブルの名前。

tenantId

Long

テナント ID。

eventCode

String

Extensions イベントコード。

ノード変更イベント- タスクの一括開始

以下は、ノード変更イベント - タスクの一括開始イベント のメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "needErrorMessage": false,
        "extensionBizId": "2de***c4c6",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801,sync_mysql_to_odps_20240726_192307",
        "errorMessageOnlyFailedFileIds": false,
        "blockBusiness": true,
        "env": "prod",
        "operator": "15***516",
        "setting": {
            "startDateTime": "2024-09-12 14:00:00",
            "timeZone": "Asia/Shanghai"
        },
        "jobIds": [
            5777,
            5679
        ],
        "eventCode": "batch-start-diJob",
        "tableMappings": [
            {
                "extensionBizName": "sync_mysql_to_holo_20240911_170801",
                "id": 5777,
                "tableMapping": [
                    {
                        "srcTable": "test_verify1",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1"
                    },
                    {
                        "srcTable": "test_verify1_dst",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1_dst"
                    },
                    {
                        "srcTable": "mysql_0_timetest2",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "mysql_0_timetest2"
                    }
                ]
            },
            {
                "extensionBizName": "sync_mysql_to_odps_20240726_192307",
                "id": 5679,
                "tableMapping": [
                    {
                        "srcTable": "xb_test_116",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_116"
                    },
                    {
                        "srcTable": "xb_test_117",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_117"
                    },
                    {
                        "srcTable": "xb_test_118",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_118"
                    },
                    {
                        "srcTable": "xb_test_135",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_135"
                    }
                ]
            }
        ],
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 52***018,
        "projectId": 9***4
    }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

projectId

Long

DataWorks ワークスペース ID。

operator

String

オペレーターの UID。

extensionBizName

String

ソリューション名。

setting

JSONObject

起動構成。

startDateTime

String

開始時刻。

timeZone

String

開始タイムゾーン。

tableMapping

JSONArray

テーブルマッピング。

srcDatasourceName

String

ソースデータソースの名前。

srcDatabaseName

String

ソースデータベースの名前。

srcTable

String

ソーステーブルの名前。

dstDatasourceName

String

送信先データソースの名前。

dstTable

String

送信先テーブルの名前。

showTableMapping

Boolean

テーブルマッピング情報が返されるかどうかを示します。

  • true: 返されます。

  • false: 返されません。

テーブル数が 500 を超える場合、showTableMapping はデフォルトで false になります。

tenantId

Long

テナント ID。

eventCode

String

Extensions イベントコード。

オペレーションセンターイベント一覧

イベント一覧

重要

スケジューリングリソースグループを変更するか、所有者を変更すると、node-change-updated がトリガーされます。

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントコード (eventCode)

ノード変更

ノード削除

  • 本番ノードをアンデプロイするために削除操作をデプロイ

  • ゴミ箱からノードを削除

image

image

dataworks:NodeChange:NodeChangeDeleted

node-change-deleted

ノードアンデプロイの事前イベント

本番環境のスケジュールタスクから直接ノードをアンデプロイ

説明

この操作により、Data Studio のノードも削除され、ゴミ箱に移動します。

image

image

dataworks:NodeChange:UndeployNode

undeploy-node

ノードフリーズの事前イベント

重要

このイベントは node-change-updated イベントもトリガーします。

image

image

dataworks:NodeChange:FreezeNode

freeze-node

ノードアンフリーズの事前イベント

重要

このイベントは node-change-updated イベントもトリガーします。

image

image

dataworks:NodeChange:UnFreezeNode

unfreeze-node

ノードバックフィルデータ

バックフィルデータの事前イベント

image

image

dataworks:BackfillDataOperate:BackfillData

backfill-data

タスクステータス変更

スケジュールタスクステータス変更

image

image

dataworks:InstanceStatusChanges:InstanceStatusChanges

instance-status-changes

インスタンス変更

インスタンスフリーズ

image

image

dataworks:InstanceChange:FreezeInstance

freeze-instance

インスタンスアンフリーズ

image

image

dataworks:InstanceChange:UnfreezeInstance

unfreeze-instance

インスタンス終了

image

image

dataworks:InstanceChange:KillInstance

kill-instance

インスタンス再実行

  • 再実行

  • 下流を再実行

image

image

dataworks:InstanceChange:RerunInstance

rerun-instance

インスタンスを成功に設定

image

image

dataworks:InstanceChange:SetInstanceSuccess

set-instance-success

インスタンスの指定された上流依存関係を削除

image

image

dataworks:InstanceChange:DeleteTaskInstanceDependencies

delete-task-instance-dependencies

インスタンスフリーズの事前イベント

image

image

dataworks:InstanceChange:PreFreezeInstance

pre-freeze-instance

インスタンスアンフリーズの事前イベント

image

image

dataworks:InstanceChange:PreUnfreezeInstance

pre-unfreeze-instance

インスタンス再実行の事前イベント

image

image

dataworks:InstanceChange:PreRerunInstance

pre-rerun-instance

インスタンスを成功に設定する事前イベント

image

image

dataworks:InstanceChange:PreSetInstanceSuccess

pre-set-instance-success

インスタンス終了の事前イベント

image

image

dataworks:InstanceChange:PreKillInstance

pre-kill-instance

期限切れインスタンスの削除

image

image

dataworks:InstanceChange:ExpiredTaskInstancesDeleted

expired-task-instances-deleted

ワークフローステータス変更

ワークフローステータス変更

  • バックフィルデータインスタンス

  • 手動ワークフロー

image

image

dataworks:DagStatusChanges:DagStatusChanges

dag-status-changes

監視アラート

監視アラート

image

image

dataworks:MonitorAlert:WorkbenchMonitorAlert

workbench-monitor-alert

メッセージフォーマット

ノード変更イベント (削除、アンデプロイ、フリーズ、およびアンフリーズ)

  • 以下は、ノード削除イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "nodeName": "",
        "programType": "ODPS_SQL",
        "cronExpress": "00 20 00 * * ?",
        "schedulerType": "NORMAL",
        "ownerId": "19****735",
        "priority": 1,
        "baselineId": 117801853,
        "repeatability": true,
        "modifyTime": 1646364549642,
        "createTime": 1646364549642,
        "datasource": "odps_source",
        "tenantId": 28378****10656,
        "nodeId": 100***150,
        "projectId": 30**95,
        "operator": "19***735"  //Operator of this action
      }
    }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    nodeName

    String

    ノード名。

    programType

    String

    ファイルのコードタイプ。ファイルのコードタイプを照会するには、ListFileType 操作を呼び出すか、「ファイルコードタイプ」を参照してください。

    cronExpress

    String

    定期スケジューリングの cron 式。

    このパラメーターは、DataWorks コンソールData Studio タスクの に対応しています。

    スケジュールスケジュール時刻 を設定すると、DataWorks は自動的に対応する cron 式を生成します。例:

    • 毎日 05:30 にスケジュール: 00 30 05 * * ?

    • 毎時 15 分にスケジュール: 00 15 * * * ?

    • 10 分ごとにスケジュール: 00 00/10 * * * ?

    • 毎日 08:00 から 17:00 までの間、10 分ごとにスケジュール: 00 00-59/10 8-17 * * * ?

    • 毎月 1 日の 00:20 にスケジュール: 00 20 00 1 * ?

    • 1 月 1 日の 00:10 から 3 ヶ月ごとにスケジュール: 00 10 00 1 1-12/3 ?

    • 毎週火曜日と金曜日の 00:05 にスケジュール: 00 05 00 * * 2,5

    説明

    cron 式には以下の制限があります。

    • 最小スケジューリング間隔は 5 分です。

    • 1 日の最も早いスケジューリング時刻は 00:05 です。

    schedulerType

    String

    タスクインスタンスのスケジューリングタイプ。有効値:

    • 0: NORMAL。通常のスケジュールタスク。定期スケジューリングによってトリガーされます。

    • 1: MANUAL。手動タスク。定期スケジューリングによってトリガーされません。

    • 2: PAUSE。フリーズされたタスク。定期スケジューリングによってトリガーされますが、スケジューリング時に失敗ステータスに設定されます。

    • 3: SKIP。ドライランタスク。定期スケジューリングによってトリガーされますが、スケジューリング時に成功ステータスに設定されます。

    • 4: SKIP_UNCHOOSE。一時的なワークフローで選択されていないタスク。一時的なワークフロー内でのみ存在し、スケジューリング時に成功ステータスに設定されます。

    • 5: SKIP_CYCLE。スケジューリング周期がまだ到達していない週次または月次のタスク。定期スケジューリングによってトリガーされますが、スケジューリング時に成功ステータスに設定されます。

    • 6: CONDITION_UNCHOOSE。上流インスタンスにブランチ (IF) ノードが含まれており、下流ノードがブランチノードによって選択されていません。タスクは直接ドライランに設定されます。

    • 7: REALTIME_DEPRECATED。リアルタイムで生成され、期限切れとなったスケジュールインスタンス。タスクは直接成功ステータスに設定されます。

    ownerId

    String

    ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。

    priority

    Integer

    タスクの優先度。有効値: 1357、および 8。値が大きいほど優先度が高くなります。

    baselineId

    Long

    ベースライン ID。

    repeatability

    Boolean

    ノードを再実行できるかどうかを指定します。

    • true: ノードを再実行できます。

    • false: ノードを再実行できません。

    modifyTime

    Long

    ノードが最後に変更された時刻。

    createTime

    Long

    ノードが作成された時刻。

    nodeId

    Long

    ノード ID。

    projectId

    Long

    ノードが属するワークスペースの ID。

    tenantId

    Long

    ノードが属するテナントの ID。

    operator

    String

    ノードを作成、変更、または削除したユーザーの UID。

  • 以下は、ノードフリーズ、アンフリーズ、およびアンデプロイイベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "19***735",
        "projectId": 12***56,
        "tenantId": 28***656,
        "nodeIds":[1,2,3],
        "extensionBizId": "12***56"
      }
    }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    operator

    String

    ノードをフリーズ、アンフリーズ、またはアンデプロイしたユーザーの UID。

    projectId

    Long

    ノードが属するワークスペースの ID。

    tenantId

    Long

    テナント ID。

    nodeIds

    Array

    操作されたノード ID のリスト。

    extensionBizId

    String

    Extensions チェックポイントプロセスの ID。

ノードのバックフィルデータ

以下は、バックフィルデータイベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "excludeNodeIds":[],
    "rootNodeId": 1000****271,
    "startFutureInstanceImmediately": false,
    "useMultipleTimePeriods": true,
    "operator": "19***735",
    "eventCode": "backfill-data",
    "multipleTimePeriods": "[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]",
    "parallelGroup": 1,
    "rootNodeProjectId": 12*****8,
    "isParallel": false,
    "name": "P_fff_20220418_215404",
    "tenantId": 16935*****3377,
    "includeNodeIds":
    [
      10***271
    ],
    "projectId": 9***4,
    "order": "asc",
    "extensionBizId": "12***56"
  }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

name

String

バックフィルデータワークフローの名前。

rootNodeId

Long

バックフィルデータワークフローのルートノード ID。

rootNodeProjectId

Long

バックフィルデータワークフローのルートノードが属するワークスペースの ID。

includeNodeIds

Array

バックフィルデータ操作に含まれるノード ID のリスト。

excludeNodeIds

Array

バックフィルデータ操作から除外されるノード ID のリスト。このリスト内のノードはドライランインスタンスを生成し、スケジューリング時にスクリプトコンテンツを実行せずに成功ステータスに設定されます。

bizBeginTime

String

タスクの開始時刻。このパラメーターは、時間単位のスケジュールタスクの場合にのみ必須です。形式は HH:mm:ss です。有効値: 00:00:00 から 23:59:59

bizEndTime

String

タスクの終了時刻。このパラメーターは、時間単位のスケジュールタスクの場合にのみ必須です。形式は HH:mm:ss です。有効値: 00:00:00 から 23:59:59

isParallel

Boolean

バックフィルデータ操作を並列で実行できるかどうかを指定します。

  • true: 並列で実行できます。

  • false: 並列で実行できません。

parallelGroup

Integer

並列グループの数。値が 1 の場合は、グループ化されません。

startFutureInstanceImmediately

Boolean

スケジュール時刻をスキップして、将来のビジネス日付を持つインスタンスをすぐに実行するかどうかを指定します。

  • true: スケジュール時刻をスキップして、将来のインスタンスをすぐに実行します。

  • false: スケジュール時刻をスキップしません。将来のインスタンスはすぐに実行されません。

order

String

バックフィルデータインスタンスをビジネス日付に基づいて実行する順序:

  • acs: ビジネス日付の昇順で実行します。

  • desc: ビジネス日付の降順で実行します。

multipleTimePeriods

String

セグメントで選択されたビジネス日付範囲。例: [{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]

tenantId

Long

テナント ID。

projectId

Long

バックフィルデータ操作が実行されるプロジェクトの ID。

operator

String

バックフィルデータ操作を実行したユーザーの ID。

extensionBizId

String

Extensions チェックポイントプロセス ID。

eventCode

String

Extensions イベントコード。

タスクステータス変更イベント

以下は、スケジュールタスクステータス変更イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "beginWaitTimeTime": 1652700576000,
    "dagId": 446***330,
    "dagType": 0,
    "eventCode": "instance-status-changes",
    "taskType": 0,
    "modifyTime": 1652700577000,
    "createTime": 1652543233000,
    "appId": 3*****2,
    "tenantId": 235454***432001,
    "opCode": 31,
    "flowId": 1,
    "nodeId": 100***219,
    "beginWaitResTime": 1652700577000,
    "taskId": 453***169,
    "status": 3
  }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

finishTime

Long

スケジュールタスクインスタンスの実行が完了した時刻。

beginWaitTimeTime

Long

スケジュールタスクインスタンスが実行を待機し始めた時刻。

beginRunningTime

Long

スケジュールタスクインスタンスが実行を開始した時刻。

dagId

Long

DAG 詳細を取得するために DagId を使用できます。

dagType

Integer

DAG タイプ。有効値:

  • 0: スケジュールタスク

  • 1: 手動タスク

  • 2: スモークテスト

  • 3: バックフィルデータ

  • 4: 一時的なワークフロー

  • 5: 手動ワークフロー

taskType

Integer

タスクインスタンスのスケジューリングタイプ。有効値:

  • 0: NORMAL。通常のスケジュールタスク。このタスクは日次でスケジュールされます。

  • 1: MANUAL。手動タスク。このタスクは日次でスケジュールされません。

  • 2: PAUSE。フリーズされたタスク。このタスクは日次でスケジュールされますが、スケジューリング開始時に失敗ステータスに設定されます。

  • 3: SKIP。ドライランタスク。このタスクは日次でスケジュールされますが、スケジューリング開始時に成功ステータスに設定されます。

  • 4: SKIP_UNCHOOSE。一時的なワークフローで選択されていないタスク。このタスクは一時的なワークフロー内でのみ存在し、スケジューリング開始時に成功ステータスに設定されます。

  • 5: SKIP_CYCLE。スケジューリング周期がまだ到達していない週次または月次のタスク。このタスクは日次でスケジュールされますが、スケジューリング開始時に成功ステータスに設定されます。

  • 6: CONDITION_UNCHOOSE。上流インスタンスにブランチ (IF) ノードが含まれていますが、この下流ノードはブランチノードによって選択されず、直接ドライランタスクに設定されます。

  • 7: REALTIME_DEPRECATED。リアルタイムで生成され、期限切れとなったスケジュールインスタンス。このタイプのタスクは直接成功ステータスに設定されます。

modifyTime

Long

タスクインスタンスの最新の変更時刻。

createTime

Long

タスクインスタンスの作成時刻。

appId

Long

ワークスペース ID。ワークスペース ID 情報を照会するには、ListProjects 操作を呼び出します。

tenantId

Long

スケジュールタスクインスタンスが属するワークスペースのテナント ID。

opCode

Integer

スケジュールタスクインスタンスの操作コード。このフィールドは無視できます。

flowId

Long

ワークフロー ID。

  • スケジュールタスクインスタンス: ワークフロー ID はデフォルトで 1 です。

  • 手動ワークフローおよび内部ワークフロータスクインスタンス: 実際のワークフロー ID。

nodeId

Long

スケジュールタスクインスタンスに対応するノード ID。

beginWaitResTime

Long

スケジュールタスクインスタンスがリソースを待機し始めた時刻。

taskId

Long

スケジュールタスクインスタンスの ID。

status

Integer

タスクステータス。有効値:

  • 1: 実行されていません。

  • 2: スケジュール時刻 dueTime または cycleTime が到着するのを待機中です。

  • 3: リソースを待機中です。

  • 4: 実行中です。

  • 7: データ品質のためにデータ検証に送信されました。

  • 8: ブランチ条件の検証を実行中です。

  • 5: 失敗しました。

  • 6: 成功しました。

eventCode

String

Extensions イベントコード。

インスタンス変更イベント (フリーズ、アンフリーズ、終了、再実行、成功に設定)

以下は、インスタンス変更イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "freeze-instance",
    "operator": "19***735",
    "projectId": 12***8,
    "projectType": "PROD",
    "taskIds": [
      523***9736
    ],
    "tenantId": 28***656
  }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

operator

String

インスタンス操作 (フリーズ、アンフリーズ、終了、再実行、成功に設定など) を実行したユーザーの UID。

projectType

String

実行環境。

  • PROD: 本番環境。

  • DEV: 開発環境。

taskIds

List

インスタンス ID のリスト。

projectId

Long

DataWorks ワークスペース ID。

tenantId

Long

インスタンスが属するワークスペースのテナント ID。

eventCode

String

イベントコード。

インスタンス変更の事前イベント ( フリーズ、アンフリーズ、再実行、成功に設定、インスタンス終了)

以下は、インスタンス変更の事前イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "pre-freeze-instance",
    "extensionBizId": "055***afaa",
    "extensionBizName": "Node name",
    "projectId": 9***4,
    "taskIds": [
      523536569736
    ],
    "tenantId": 28***656,
    "operator": "19***735"
  }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

extensionBizId

String

Extensions チェックポイントプロセス ID。

extensionBizName

String

操作オブジェクトの名前。複数のオブジェクトは「オブジェクト名...」として記述されます。

projectId

Long

DataWorks ワークスペース ID。

taskIds

List

インスタンス ID のリスト。

tenantId

String

インスタンスが属するワークスペースのテナント ID。

operator

Long

インスタンス操作を実行したユーザーの UID。

eventCode

String

拡張ポイントイベントコード。

インスタンス変更イベント - 期限切れインスタンスの削除

以下は、期限切れインスタンス削除イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "expired-task-instances-deleted",
        "deletedTaskInstanceIds": [
            524***035,
            524***498,
            524***637
        ],
        "appId": 307303,
        "tenantId": 28***656,
        "blockBusiness": false,
        "owner": "1107***538",
        "operationTime": 1734505954897
    }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

deletedTaskInstanceIds

List

削除されたインスタンス ID のリスト。

owner

String

インスタンス所有者のユーザー ID。

operationTime

Long

操作時間。

blockBusiness

Boolean

拡張機能が存在する場合にプロセスをブロックするかどうかを指定します。

  • true: ブロックします。

  • false: ブロックしません。

appId

Long

DataWorks ワークスペース ID。

tenantId

String

インスタンスが属するワークスペースのテナント ID。

operator

Long

インスタンス操作を実行したユーザーの UID。

eventCode

String

拡張ポイントイベントコード。

インスタンスから指定された上流依存関係を削除するイベント

以下は、インスタンスから指定された上流依存関係を削除するイベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "110******38",
    "aliyunpublishtime": "2024-12-18T07:12:35.463Z",
    "data": {
        "eventCode": "delete-task-instance-dependencies",
        "upstreamTaskInstanceIds": [
            52******35,
            52******98,
            52******37
        ],
        "appId": 3***03,
        "tenantId": 52******36,
        "blockBusiness": false,
        "taskInstanceId": 52******49,
        "operator": "19***735",
        "operationTime": 1734505954897
    }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

taskInstanceId

Long

下流インスタンス ID。

upstreamTaskInstanceIds

List

依存関係が削除される上流インスタンス ID のリスト。

operator

String

操作を実行したユーザーの UID。

operationTime

Long

操作時間

ワークフローステータス変更イベント

以下は、ワークフローステータス変更イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "bizDate": "2022-11-07 00:00:00",
    "createTime": "2022-11-08 10:56:32",
    "dagId": 500358972116,
    "dagName": "P_test_spark_true_copy_20221108_105631",
    "eventCode": "dag-status-changes",
    "dagType": 3,
    "flowId": 1,
    "flowName": "ATCLOUD_FLOW",
    "operator": "11****538",
    "projectEnv": "PROD",
    "projectId": 25***63,
    "status": 6,
    "tenantId": 52***736
  }
}

以下の表はフィールドの説明です。

フィールド

タイプ

説明

bizDate

String

ワークフローのビジネス日付。形式: yyyy-mm-dd hh24:mi:ss

createTime

String

ワークフローの作成時刻。形式: yyyy-mm-dd hh24:mi:ss

dagId

Long

DAG ID。この ID を使用して DAG 詳細を取得できます。

dagName

String

ワークフローの名前。

dagType

Integer

DAG のタイプ。有効値:

  • 0: スケジュールタスク。

  • 1: 手動タスク。

  • 2: スモークテスト。

  • 3: バックフィルデータ。

  • 4: 一時的なワークフロー。

  • 5: 手動ワークフロー。

flowId

Integer

DAG が属するワークフローの ID。

flowName

String

DAG が属するワークフローの名前。

operator

String

ワークフローを作成したユーザーの UID。

projectEnv

String

ワークフローの環境。有効値:

  • DEV: 開発環境。

  • PROD: 本番環境。

tenantId

Long

スケジュールインスタンスが属するワークスペースのテナント ID。

projectId

Long

ワークスペース ID。

status

Integer

ワークフロー内のタスクのステータス。有効値:

  • 1: 実行されていません。

  • 4: 実行中です。

  • 5: 失敗しました。

  • 6: 成功しました。

eventCode

String

Extensions イベントコード。

監視アラート

  • 以下は、ベースラインアラートのメッセージ本文フォーマット (メッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "eventCode": "workbench-monitor-alert",
        "alarmType": "SLA_ALERT",
        "baselineId": 137***723,
        "baselineName": "ODS 層チェックタスク専用 -- 時間単位",
        "baselineStatus": 3,
        "bizDate": 1654444800000,
        "inGroupId": 14,
        "nodeId": 1000***8734,
        "projectId": 76***34,
        "taskId": 307***3778,
        "tenantId": 28***656
      }
    }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    baselineId

    Long

    ベースライン ID。

    baselineName

    String

    ベースライン名。

    baselineStatus

    Integer

    ベースラインのステータス。有効値:

    • -1: 異常。

    • 1: 安全。

    • 2: 警告。

    • 3: 違反。

    bizDate

    Long

    ビジネス日付のタイムスタンプ。

    inGroupId

    Integer

    ベースラインインスタンスのサイクル番号。日次ベースラインの値は 1 です。時間単位ベースラインの値の範囲は [1,24] です。

    nodeId

    Long

    ベースライン例外を引き起こしたノードの ID。

    projectId

    Long

    ベースラインが属するワークスペースの ID。

    taskId

    Long

    ベースライン例外を引き起こしたインスタンスの ID。

    tenantId

    Long

    テナント ID。

    eventCode

    String

    Extensions イベントコード。

  • 以下は、イベントアラートのメッセージ本文フォーマット (メッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "TOPIC_ALERT",
        "nodeId": 1000***315,
        "projectId": 91***09,
        "taskId": 307***0357,
        "taskStatus": 5,
        "tenantId": 28***656,
        "topicId": 1084769
      }
    }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    topicId

    Long

    イベント ID。

    taskStatus

    String

    イベントをトリガーしたノードインスタンスのステータス。

    nodeId

    Integer

    イベントをトリガーしたノードの ID。

    projectId

    Long

    イベントをトリガーしたノードが属するワークスペースの ID。

    taskId

    Long

    イベントをトリガーしたノードインスタンスの ID。

    tenantId

    Long

    テナント ID。

  • 以下は、タスクルールアラートのメッセージ本文フォーマット (メッセージ内の data フィールドの内容) の例です。

    説明

    通常、ルールオブジェクトには、タスクノード、ベースライン、ワークスペース、およびワークフローが含まれます。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "nodeIds": "1000***5472,1000***5473,1000***5474",
        "projectId": 9***4,
        "remindId": 7605,
        "remindName": "エラーアラート",
        "remindType": "ERROR",
        "remindUnit": "NODE",
        "taskIds": "307***0896,307***0870,307***0855",
        "tenantId": 28***656
      }
    }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    nodeIds

    String

    ルールアラートをトリガーしたノードのリスト。

    remindId

    Long

    ルール ID。

    remindType

    Stirng

    ルールのトリガー条件。有効値:

    • FINISHED: 完了しました。

    • UNFINISHED: 未完了です。

    • ERROR: エラーが発生しました。

    • CYCLE_UNFINISHED: サイクルが未完了です。

    • TIMEOUT: タイムアウトしました。

    projectId

    Long

    ルールをトリガーしたノードが属するワークスペースの ID。

    remindUnit

    String

    ルールをトリガーしたオブジェクトのタイプ。有効値:

    • NODE: タスクノード。

    • GATEWAY_RES: スケジューリング用排他的リソースグループ。

    • DI_RES: Data Integration リソースグループ。

    tenantId

    Long

    テナント ID。

    taskId

    String

    ルールアラートをトリガーしたインスタンスのリスト。

    remindName

    String

    ルール名。

  • 以下は、リソースグループルールアラートのメッセージ本文フォーマット (メッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "projectId": 9***4,
        "remindId": 200***186,
        "remindName": "排他的リソースグループアラート",
        "remindType": "RES_GROUP_THRESHOLD",
        "remindUnit": "GATEWAY_RES",
        "resourceGroupIdentifier": "S_res_group_195820716552192_1650965857744",
        "resourceGroupName": "emr_exclusive_scheduld",
        "resourceGroupType": "GATEWAY",
        "tenantId": 28***656
      }
    }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    remindId

    Long

    ルール ID。

    remindType

    Stirng

    ルールのトリガー条件。有効値:

    • FINISHED: 完了しました。

    • UNFINISHED: 未完了です。

    • ERROR: エラーが発生しました。

    • CYCLE_UNFINISHED: サイクルが未完了です。

    • TIMEOUT: タイムアウトしました。

    • RES_GROUP_THRESHOL: リソースグループの利用率。

    • RES_GROUP_WAIT_AMOUNT: リソースグループ内でリソースを待機しているインスタンスの数。

    projectId

    Long

    ルールをトリガーしたノードが属するワークスペースの ID。

    remindUnit

    String

    ルールをトリガーしたオブジェクトのタイプ。有効値:

    • NODE: タスクノード。

    • GATEWAY_RES: スケジューリング用排他的リソースグループ。

    • DI_RES: Data Integration リソースグループ。

    tenantId

    Long

    テナント ID。

    remindName

    String

    ルール名。

    resourceGroupIdentifier

    String

    リソースグループの一意の識別子。

    resourceGroupName

    String

    リソースグループの名前。

    resourceGroupType

    String

    リソースグループのタイプ。有効値:

    • GATEWAY: スケジューリングリソースグループ。

    • DI: Data Integration リソースグループ。

セキュリティセンターイベントリスト

イベント一覧

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

Extensions イベントコード (eventCode)

承認センター

権限リクエスト作成の事前イベント

image

image

dataworks:ApprovalChange:ApprovalChangeCreated

approval-change-created

リクエスト完了

image

image

dataworks:ApprovalChange:ApprovalChangeFinished

approval-change-finished

セキュリティセンター (テーブル権限リクエスト)

テーブル権限リクエストの事前イベント

image

image

dataworks:ApprovalChange:ApprovalChangeBeforeCreate

approval-change-before-create

メッセージフォーマット

承認センター (リクエストの作成および完了)

  • 以下は、権限リクエスト作成の事前イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":194209,
        "assignee":"286098539641742899",
        "assigneeName":"yupeng.sunyp",
        "createTime":1652094363000,
        "eventType":"approval",
        "process":{
          "applicant":"286098539641742899",
          "applicantName":"yupeng.sunyp",
          "approvalContent":{
            "applyPeriod":"2997964800000",
            "applyReason":"Test",
            "arrayData":[
              {
                "ownerBaseId":"1822***45",
                "objectType":"TABLE",
                "odpsTable":"loghub_070103",
                "envType":1,
                "projectGuid":"odps.b_mc1",
                "objectGuid":"odps.b_mc1.loghub_070103",
                "tenantId":28***656,
                "objectName":"loghub_070103",
                "ownerAccountName":"ALIYUN$******(******)",
                "odpsProject":"B_MC1",
                "projectName":"B_MC1",
                "actions":[
                  "Select",
                  "Describe"
                ],
                "projectId":9***4,
                "workspaceId":"9***4"
              }
            ],
            "contentType":"application/json",
            "granteeAccounts":[
              {
                "granteeId":"2860985***99",
                "granteeTypeSub":103,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
              },
              {
                "granteeId":"237857631119109360",
                "granteeTypeSub":105,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:dev"
              }
            ],
            "odpsProjectName":"B_MC1",
            "projectEnv":"1",
            "resourceSummary":"loghub_070103",
            "tenantId":28***656,
            "workspaceId":194209
          },
          "assignmentCategory":"MaxCompute",
          "createTime":1652094363000,
          "processDefinitionId":"definition-3dcc9ce7-d29d-435d-a908-60d4355ff5e2",
          "processId":"528535869984706",
          "status":"Pending",
          "title":"MaxComputeTable",
          "updateTime":1652094363000
        },
        "processId":"528535869984706",
        "flowId":"867***763",
        "status":"Submit",
        "eventCode": "approval-change-created",
        "taskId":"528535870015424",
        "tenantId":28***656,
        "updateTime":1652094364000
      }
    }{
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":227859,
        "assignee":"286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName":"******.******",
        "comments":"ces",
        "createTime":1652095981000,
        "eventType":"approval",
        "flowId":"867***763",
        "process":{
            "applicant":"286098***2899",
            "applicantName":"yupeng.sunyp",
            "approvalContent":{
                "applyPeriod":"2997964800000",
                "applyReason":"Test",
                "arrayData":[
                    {
                        "ownerBaseId":"2382***884", 
                        "objectType":"TABLE",
                        "odpsTable":"cdd",
                        "objectNameCn":"******",
                        "envType":1,
                        "projectGuid":"odps.da_simple_202112",
                        "objectGuid":"odps.da_simple_202112.cdd",
                        "tenantId":0,
                        "objectName":"cdd",
                        "ownerAccountName":"RAM$******(******)",
                        "odpsProject":"da_simple_202112",
                        "projectName":"da_simple_202112",
                        "actions":[
                            "Select",
                            "Describe"
                        ],
                        "projectId":9***4,
                        "workspaceId":"9***4"
                    }
                ],
                "contentType":"application/json",
                "granteeAccounts":[
                    {
                        "granteeId":"286***899",
                        "granteeTypeSub":103,
                        "granteeType":1,
                        "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
                    }
                ],
                "odpsProjectName":"da_simple_202112",
                "projectEnv":"1",
                "resourceSummary":"cdd",
                "tenantId":28***656,
                "workspaceId":227859
            },
            "assignmentCategory":"MaxCompute",
            "createTime":1652095981000,
            "processDefinitionId":"definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
            "processId":"528***192",
            "status":"Pending",
            "title":"MaxComputeTable",
            "updateTime":1652095981000
        }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    appId

    Long

    ワークスペース ID。

    assignee

    String

    承認ハンドラの BaseId。

    assigneeName

    String

    承認ハンドラの名前。

    comments

    String

    備考。

    createTime

    Long

    承認リクエストが作成されたときのタイムスタンプ。

    flowId

    String

    承認リクエスト ID。

    status

    String

    承認リクエストのステータス。

    taskId

    String

    承認タスク ID。

    tenantId

    String

    テナント ID。

    updateTime

    String

    承認リクエストが更新されたときのタイムスタンプ。

    eventType

    String

    イベントタイプ。

    process

    Object

    承認タスクオブジェクト。

    applicant

    String

    申請者の BaseID。

    applicantName

    String

    申請者の名前。

    assignmentCategory

    String

    リクエストコンテンツのタイプ。

    createTime

    String

    承認リクエストが作成されたときのタイムスタンプ。

    processDefinitionId

    String

    ワークフロー定義 ID。

    processId

    String

    ワークフロー ID。

    status

    String

    ワークフローのステータス。

    title

    String

    ワークフローのタイトル。

    updateTime

    Long

    承認リクエストが更新されたときのタイムスタンプ。

    approvalContent

    Object

    承認コンテンツオブジェクト。

    applyPeriod

    String

    承認リクエストの要求期間。

    applyReason

    String

    承認リクエストの理由。

    contentType

    String

    承認コンテンツのタイプ。

    odpsProjectName

    String

    承認プロジェクトの名前。

    resourceSummary

    String

    リソースの説明。

    tenantId

    Long

    テナント ID。

    workspaceId

    Long

    ワークスペース ID。

    projectEnv

    String

    承認プロジェクトが属する環境。

    granteeAccounts

    Array

    付与されたアクセスのリスト。

    .granteeId

    String

    付与先の ID。

    granteeType

    String

    付与先のタイプ。

    granteeTypeSub

    String

    付与先のサブタイプ。

    granteeName

    String

    付与先の名前。

    arrayData

    Array

    付与されたコンテンツのリスト。詳細については、「付録:メッセージフォーマット」をご参照ください。

    eventType

    String

    イベントタイプ。

  • 以下は、承認リクエスト完了イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId": 227859,
        "assignee": "286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName": "******.******",
        "comments": "ces",
        "createTime": 1652095981000,
        "eventType": "approval",
        "flowId": "867***763",
        "process": {
          "applicant": "2860****899",
          "applicantName": "yupeng.sunyp",
          "approvalContent": {
            "applyPeriod": "2997***0000",
            "applyReason": "Test",
            "arrayData": [
              {
                "ownerBaseId": "2382***8*884",
                "objectType": "TABLE",
                "odpsTable": "cdd",
                "objectNameCn": "******",
                "envType": 1,
                "projectGuid": "odps.da_simple_202112",
                "objectGuid": "odps.da_simple_202112.cdd",
                "tenantId": 0,
                "objectName": "cdd",
                "ownerAccountName": "RAM$******(******)",
                "odpsProject": "da_simple_202112",
                "projectName": "da_simple_202112",
                "actions": [
                  "Select",
                  "Describe"
                ],
                "projectId": 9***4,
                "workspaceId": "9***4"
              }
            ],
            "contentType": "application/json",
            "granteeAccounts": [
              {
                "granteeId": "286***899",
                "granteeTypeSub": 103,
                "granteeType": 1,
                "granteeName": "RAM$dataworks_3h1_1:yupeng.sunyp"
              }
            ],
            "odpsProjectName": "da_simple_202112",
            "projectEnv": "1",
            "resourceSummary": "cdd",
            "tenantId": 28***656,
            "workspaceId": 227859
          },
          "assignmentCategory": "MaxCompute",
          "createTime": 1652095981000,
          "processDefinitionId": "definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
          "processId": "528***192",
          "status": "Pending",
          "title": "MaxComputeTable",
          "updateTime": 1652095981000
        }
      }
    }

    以下の表はフィールドの説明です。

    フィールド

    タイプ

    説明

    appId

    Long

    ワークスペース ID。

    assignee

    String

    承認ハンドラの BaseId。

    assigneeName

    String

    承認ハンドラの名前。

    comments

    String

    備考。

    createTime

    Long

    承認リクエストが作成されたときのタイムスタンプ。

    flowId

    String

    承認リクエスト ID。

    status

    String

    承認リクエストのステータス。

    taskId.

    String

    承認タスク ID。

    tenantId

    String

    テナント ID。

    updateTime

    String

    承認リクエストが最終更新されたときのタイムスタンプ。

    eventType

    String

    イベントタイプ。

    process

    Object

    承認タスクオブジェクト。

    applicant

    String

    申請者の BaseID。

    applicantName

    String

    申請者の名前。

    assignmentCategory

    String

    リクエストコンテンツのタイプ。

    createTime

    String

    承認リクエストが作成されたときのタイムスタンプ。

    processDefinitionId

    String

    ワークフロー定義 ID。

    processId

    String

    ワークフロー ID。

    status

    String

    ワークフローのステータス。

    title

    String

    ワークフローのタイトル。

    updateTime

    Long

    承認リクエストが最終更新されたときのタイムスタンプ。

    approvalContent

    Object

    承認コンテンツオブジェクト。

    applyPeriod

    String

    リクエストの期間。

    applyReason

    String

    リクエストの理由。

    contentType

    String

    コンテンツタイプ。

    odpsProjectName

    String

    プロジェクト名。

    resourceSummary

    String

    リソースの説明。

    tenantId

    Long

    テナント ID。

    workspaceId

    Long

    ワークスペース ID。

    projectEnv

    String

    環境。

    granteeAccounts

    Array

    アクセス付与のリスト。

    granteeId

    String

    付与先の ID。

    granteeType

    String

    付与タイプ。

    granteeTypeSub

    String

    付与先のサブタイプ。アカウントタイプを示します。有効値:

    • 本番アカウント (本番スケジューリングに使用されるアカウント): ACCOUNT_PRD(101)

    • アプリケーションアカウント: ACCOUNT_APP(102)

    • 個人アカウント: ACCOUNT_USER(103)

    • 部門アカウント: ACCOUNT_DEPT(104)

    • モックアカウント: ACCOUNT_MOCK(106)

    • 他のユーザーのアカウント: ACCOUNT_OTHER_USER(105)

    granteeName

    文字列

    付与先の名前。

    arrayData

    Array

    付与コンテンツのリストです。詳細については、「付録:付与コンテンツリスト」をご参照ください。

    eventType

    文字列

    イベントタイプ。

セキュリティセンター ( テーブル権限リクエスト事前チェックイベント)

以下は、テーブル権限リクエスト事前チェックイベントのメッセージエンティティフォーマット (イベントメッセージ内の data フィールドの内容) の例です。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventType": "approval-create-before",
    "operator":"19***735",
    "order":{
      "applyReason":"Test",
      "deadlineDate":"1",
      "deadlineType":"month",
      "granteeObjectList":[
        {
          "granteeId":"1239****8872"
        }
      ],
      "projectMeta":{
        "envCode":1,
        "labelSecurity":false,
        "objectMetaList":[
          {
            "action":[
              "Select",
              "Describe"
            ],
            "name":"tablei",
            "projectGuid":"odps.d11aa"
          }
        ],
        "projectId":2****0,
        "projectName":"d11aa"
      }
    },
    "projectId":2****0,
    "tenantId":5564****6465
  }
}

以下の表はフィールドの説文です。

フィールド

タイプ

説明

オペレーター

String

テーブル権限リクエスト事前チェック操作を開始したユーザーの UID。

projectId

Long

テーブル権限リクエスト事前チェック操作が実行されたワークスペース ID。

tenantId

Long

テーブル権限リクエスト事前チェック操作が実行されたテナント ID。

order

Object

リクエスト情報。

applyReason

String

リクエストの理由。

deadlineDate

String

リクエストの有効期限日。

deadlineType

String

リクエスト有効期間の時間単位。例: Day または Month。

granteeObjectList

オブジェクト

付与対象オブジェクトのリスト。

granteeId

String

権限を付与される RAM ユーザーの ID です。

projectMeta

Object

ワークスペース情報。

envCode

Integer

ワークスペース環境識別子。0 は開発環境、1 は本番環境を示します。

labelSecurity

Boolean

ラベルレベルアクセス制御が有効かどうかを指定します。

  • true: 有効。

  • false: 無効。

objectMetaList

Array

付与対象のリスト。

action

Array

付与アクション。例: Select または Describe 権限をテーブルに付与するなど。

name

String

権限リクエストが行われるテーブルの名前。

projectGuid

文字列

テーブルが存在するワークスペースの GUID。

projectName

String

テーブルが存在するワークスペースの名前。

eventType

String

イベントタイプ。

付録: 付与コンテンツ一覧 (MaxCompute)

セキュリティセンター イベントで承認またはテーブル権限リクエストがトリガーされると、DataWorks は EventBridge に送信されるイベントメッセージに arrayData を追加します。assignmentCategory タイプが MaxCompute の場合、arrayData コンテンツは次のとおりです:

{
    "ownerBaseId":"1822931104031845",
    "objectType":"TABLE",
    "odpsTable":"oracle_************",
    "envType":1,
    "projectGuid":"odps.***********",
    "objectGuid":"odps.******.******",
    "tenantId":0,
    "objectName":"oracle_******",
    "ownerAccountName":"ALIYUN***************",
    "odpsProject":"dataworks******",
    "projectName":"dataworks******",
    "actions":[
      "Select",
      "Describe"
    ],
    "projectId":9***4,
    "workspaceId":"9***4"
  }

以下の表はフィールドの説明です。

フィールド

タイプ

説明

ownerBaseId

String

テーブル所有者の BaseID。

ownerAccountName

String

テーブル所有者の名前。

objectType

String

オブジェクトタイプ。

odpsTable

String

テーブル名。

envType

String

テーブルの環境。

projectGuid

String

プロジェクト GUID。

objectGuid

String

オブジェクト GUID。

objectName

String

オブジェクト名。

odpsProject

String

ODPS プロジェクト名。

projectName

String

プロジェクトコード。

projectId

Long

プロジェクト ID。

workspaceId

String

ワークスペース ID。

actions

Array

アクションタイプのリスト。

付録: 付与コンテンツ一覧 (Data Service)

セキュリティセンター イベントで承認またはテーブル権限リクエストがトリガーされると、DataWorks は EventBridge に送信されるイベントメッセージに arrayData を追加します。assignmentCategory タイプが DataService の場合、arrayData コンテンツは次のとおりです:

{
    "resourceId":"DsApiDeploy/******/workspaceId/******/dsDeployId/******",
    "ownerName":"******",
    "resourceVersion":1,
    "name":"api_api",
    "dsDeployId":"******",
    "workspaceName":"da_******",
    "id":"******",
    "type":1,
    "ownerId":"19****735",
    "url":"https://******.data.aliyun.com/?projectId=******&type=api&id=******&version=***&defaultProjectId=******",
    "workspaceId":"******"
  }

以下の表はフィールドの説明です。

フィールド

タイプ

説明

resourceId

String

リソース ID。

ownerName

String

リソース所有者の名前。

resourceVersion

Long

リソースバージョン。

name

String

リソース名。

dsDeployId

String

Data Service デプロイ ID。

workspaceName

String

ワークスペース名。

id

String

リソースの一意の ID。

type

String

リソースタイプ。有効値:

  • 1: API。

  • 2: 関数。

  • 3: API オーケストレーション。

ownerId

String

リソース所有者の BaseID。

url

String

Data Service URL。

workspaceId

String

ワークスペース ID。

Data Quality イベント一覧

イベント一覧

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントコード (eventCode)

Data Quality チェック

チェック結果フィードバック

  • ユーザーがチェック結果に対して提供したフィードバック

image

image

dataworks:DqcCheck:DqcCheckFeedbackEvent

dqc-check-feedback-event

チェック完了

  • ルールチェックが完了した後にルールチェック結果を送信します (チェックが 合格 したかどうか、サンプル データなど)

image

image

dataworks:DqcCheck:DqcCheckFinishedEvent

dqc-check-finished-event

Data quality rule pre-event

Batch create data quality rules pre-event

image

image

dataworks:DqcCheck:BatchCreateDataQualityRules

batch-create-data-quality-rules

Batch update data quality rules pre-event

image

image

dataworks:DqcCheck:BatchUpdateDataQualityRules

batch-update-data-quality-rules

Batch delete data quality rules pre-event

image

image

dataworks:DqcCheck:BatchDeleteDataQualityRules

batch-delete-data-quality-rules

Update data quality rule pre-event

image

image

dataworks:DqcCheck:UpdateDataQualityRule

update-data-quality-rule

Data quality monitoring pre-event

Create data quality monitoring pre-event

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTask

create-data-quality-evaluation-task

Update data quality monitoring pre-event

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTask

update-data-quality-evaluation-task

Clone data quality monitoring pre-event

image

image

dataworks:DqcCheck:CloneDataQualityEvaluationTask

clone-data-quality-evaluation-task

Batch delete data quality monitoring pre-event

image

image

dataworks:DqcCheck:BatchDeleteDataQualityEvaluationTasks

batch-delete-data-quality-evaluation-tasks

Data quality monitoring alert subscription pre-event

Create data quality monitoring alert subscription pre-event

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTaskNotification

create-data-quality-evaluation-task-notification

Update data quality monitoring alert subscription pre-event

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTaskNotification

update-data-quality-evaluation-task-notification

Delete data quality monitoring alert subscription pre-event

image

image

dataworks:DqcCheck:DeleteDataQualityEvaluationTaskNotification

delete-data-quality-evaluation-task-notification

メッセージフォーマット

Data Quality チェック

  • 以下は、Data Quality チェック結果フィードバックイベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "ruleCheckId": 521771452,
        "feedbackContent": "Skip",
        "ruleId": 28610334,
        "createUser": "110755000425****",
        "taskId": "167644814****9a26ecf4063a88797",
        "beginTime": "1676448145000",
        "envType": "ODPS",
        "projectName": "test_mc_2303_kongjian",
        "projectId": 9***4,
        "tenantId": 28***656
      }
    }

    以下の表は主なフィールドの説明です。

    フィールド

    タイプ

    説明

    ruleId

    Long

    Data Quality ルール ID。

    ruleCheckId

    Long

    チェック結果の自動インクリメント ID。

    feedbackContent

    String

    フィードバック内容。

    createUser

    String

    フィードバックを提供したユーザーのユーザー ID。

    taskid

    String

    Data Quality タスクの ID。

    beginTime

    String

    フィードバック時刻。

    envType

    String

    ルールに関連付けられたテーブルのデータソースタイプ。有効値: ODPS、EMR、HOLO。

    projectName

    String

    ルールに関連付けられたテーブルが属するデータソースの一意の識別子。

    projectId

    Long

    DataWorks ワークスペース ID。

    tenantId

    Long

    DataWorks テナント ID。

  • 以下は、Data Quality チェック完了イベントのメッセージ本文フォーマット (イベントメッセージ内の data フィールドの内容) の例です。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "projectId": 9***4,
        "tenantId": 28***656,
        "id": 52177****,
        "taskId": "1671***7a6",
        "entityId": 1562***,
        "ruleId": 28610334,
        "property": "-",
        "bizdate": "2023-02-09 00:00:00",
        "dateType": "YMD",
        "actualExpression": "ds\u003d20230210",
        "matchExpression": "ds\u003d$[yyyymmdd]",
        "blockType": 1,
        "checkResult": 0,
        "eventCode": "dqc-check-finished-event",
        "checkResultStatus": 0,
        "methodName": "table_count",
        "beginTime": "2023-02-15 20:14:48",
        "endTime": "2023-02-15 20:14:55",
        "timeConsuming": "7s",
        "externalType": "CWF2",
        "externalId": "triggerByManual",
        "discrete": false,
        "fixedCheck": true,
        "referenceValue": [
          {
            "bizDate": "3000-12-31 00:00:00",
            "discreteProperty": "Table row count, 1-day difference",
            "value": 0.0,
            "singleCheckResult": 0
          }
        ],
        "sampleValue": [
          {
            "bizDate": "2023-02-09 00:00:00",
            "value": 3.0
          }
        ],
        "trend": "\u003e\u003d",
        "expectValue": 0.0,
        "op": "\u003e\u003d",
        "projectName": "test_mc_2303_kongjian",
        "tableName": "sx_dim_1209_001",
        "templateId": 47,
        "checkerType": 0,
        "ruleName": "Previous day difference",
        "isPrediction": false,
        "feedbackStatus": 0,
        "whetherToFilterDirtyData": false
      }
    }

    フィールドの説明は以下のとおりです。

    フィールド

    タイプ

    説明

    id

    Long

    現在のチェックプロセスの主キー ID。ルールチェックがトリガーされるたびに、新しい主キー ID レコードが生成されます。

    projectId

    Long

    DataWorks ワークスペース ID。

    tenantId

    Long

    DataWorks テナント ID。

    taskId

    String

    チェックタスクの ID。

    entityId

    Long

    パーティション式 ID。

    ruleId

    Long

    ルール ID。

    property

    String

    ルールプロパティのフィールド。チェック対象のデータソーステーブルの列名です。

    bizdate

    Long

    ビジネス日付。チェック対象のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、チェック実行日の前日です。

    dateType

    String

    スケジュールのタイプ。通常は YMD で、年次、月次、日次のタスクを表します。

    actualExpression

    String

    チェック対象のデータソーステーブルの実際のパーティション。

    matchExpression

    String

    パーティション式。

    blockType

    Integer

    チェックルールの強度。強度はルールの重要度を示します。有効値:

    • 1: 強制ルール。

    • 0: 弱いルール。

    ビジネス要件に基づいて重要なルールを強制ルールとして設定できます。強制ルールが赤アラートをトリガーすると、スケジュールタスクがブロックされます。

    checkResult

    Integer

    チェック結果ステータス。有効値:

    • -2: チェックスキップ

    • -1: チェック例外

    • 0: チェック合格

    • 1: オレンジしきい値トリガー

    • 2: 赤しきい値トリガー

    methodName

    String

    サンプルデータ収集方法には、avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct があります。

    beginTime

    Long

    チェック開始時刻。

    endTime

    Long

    チェック結果照会終了時刻。

    timeConsuming

    String

    チェックタスクの消費時間。

    externalType

    String

    スケジューリングシステムのタイプ。現在、CWF2 のみサポートされています。externalType が空の場合、タスクは手動トライアルランタスクです。

    externalId

    String

    • externalType が CWF2 の場合、このフィールドはスケジュールタスクのノード ID を示します。

    • externalType が空の場合、値は triggerByManual で、タスクが手動でトリガーされたことを示します。

    discrete

    Boolean

    離散チェックが使用されているかどうかを示します。有効値:

    • true: 離散チェックが使用されています。

    • false: 離散チェックは使用されていません。

    fixedCheck

    Boolean

    固定値チェックが使用されているかどうかを示します。有効値:

    • true: 固定値チェックが使用されています。

    • false: 固定値チェックは使用されていません。

    referenceValue

    過去のサンプル値。

    bizDate

    Long

    ビジネス日付。チェック対象のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、チェック実行日の前日です。

    discreteProperty

    String

    GROUP BY 操作後のサンプル列の値。たとえば、性別列に GROUP BY を適用した場合、DiscreteProperty 値は male、female、null です。

    value

    Decimal

    サンプル値。

    singleCheckResult

    Integer

    チェック結果の文字列表現。

    sampleValue

    現在使用されているサンプル。

    bizDate

    Long

    ビジネス日付。チェック対象のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、チェック実行日の前日です。

    value

    Decimal

    サンプル値。

    trend

    String

    チェック結果の傾向。

    expectValue

    Double

    期待値。

    op

    String

    比較演算子。

    projectName

    String

    Data Quality チェックが実行されるコンピュートエンジンまたはデータソースの名前。

    tableName

    String

    チェック対象のテーブル名。

    templateId

    Integer

    使用されたチェックテンプレートの ID。

    checkerType

    Integer

    チェッカーのタイプ。

    ruleName

    String

    ルール名。

    isPrediction

    Boolean

    結果が予測かどうかを示します。有効値:

    • true: 結果は予測です。

    • false: 結果は予測ではありません。

    comment

    String

    チェックルールの説明。

    eventCode

    String

    Extensions イベントコード。

Extension point events for data quality rules (batch create, update, and delete)

  • The following example shows the message entity format (the content of the data field in the event message) for the batch create data quality rules extension point event.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-create-data-quality-rules",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "dataQualityTaskId": 1001,
          "target": {
            "databaseType": "maxcompute",
            "tableGuid": "odps.project_demo.tb_table_demo"
          },
          "rules": [
            {
              "name": "Table row count greater than 0",
              "enabled": true,
              "severity": "High",
              "description": "Data quality rule creation operation check test",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }
          ]
        }
    }

    The following table describes the key fields.

    Field

    Type

    Description

    projectId

    List

    DataWorks workspace ID.

    operator

    String

    UID of the operator.

    operationTime

    Long

    Operation time.

    dataQualityTaskId

    Long

    The Data Quality monitoring ID associated with the rule. This field can be empty.

    target

    DataQualityTarget

    The monitoring target of the data quality rule.

    databaseType

    String

    The database type of the table dataset.

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    The unique ID of the table in Data Map.

    rules

    List

    The list of data quality rules.

    name

    String

    Rule name.

    enabled

    Boolean

    Indicates whether the rule is enabled.

    severity

    String

    The business severity of the rule, corresponding to strong rules and weak rules on the page.

    • High

    • Normal

    description

    String

    Rule description.

    templateCode

    String

    The rule template referenced when creating the rule.

    samplingConfig

    SamplingConfig

    Settings required for sample collection.

    metric

    String

    Sampling metric name.

    • Count: Number of table rows

    • Min: Minimum column value

    • Max: Maximum column value

    • Avg: Average column value

    • DistinctCount: Number of distinct column values

    • DistinctPercent: Ratio of distinct column values to the number of rows

    • DuplicatedCount: Number of duplicate column values

    • DuplicatedPercent: Ratio of duplicate column values to the number of rows

    • TableSize: Table size

    • NullValueCount: Number of rows with null column values

    • NullValuePercent: Percentage of null column values

    • GroupCount: Number of rows for each value after aggregation by column value

    • CountNotIn: Number of rows not matching the enumerated values

    • CountDistinctNotIn: Number of distinct values not matching the enumerated values

    • UserDefinedSql: Sample collection through custom SQL

    checkingConfig

    CheckingConfig

    Sample validation settings.

    type

    String

    Threshold calculation method.

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Threshold settings.

    expected

    Threshold

    Expected threshold settings.

    expression

    String

    Threshold expression.

    critical

    Threshold

    Threshold settings for critical warnings.

  • The following example shows the message entity format (the content of the data field in the event message) for the batch update data quality rules extension point event.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Table row count greater than 0",
          "enabled": true,
          "severity": "High",
          "description": "Data quality rule creation operation check test",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    The following table describes the key fields.

    Field

    Type

    Description

    eventCode

    String

    Event code.

    projectId

    Long

    Workspace ID.

    tenantId

    Long

    Tenant ID.

    operator

    String

    User UID.

    operationTime

    Long

    Operation time.

    id

    Long

    Rule ID.

    name

    String

    Rule name.

    enabled

    Boolean

    Indicates whether the rule is enabled.

    true: Enabled.

    false: Disabled.

    severity

    String

    The business severity of the rule, corresponding to strong rules and weak rules on the page.

    • High

    • Normal

    description

    String

    Rule description.

    templateCode

    String

    Partition settings for partitioned tables.

    samplingConfig

    SamplingConfig

    Settings required for sample collection.

    metric

    String

    Sampling metric name.

    • Count: Number of table rows

    • Min: Minimum column value

    • Max: Maximum column value

    • Avg: Average column value

    • DistinctCount: Number of distinct column values

    • DistinctPercent: Ratio of distinct column values to the number of rows

    • DuplicatedCount: Number of duplicate column values

    • DuplicatedPercent: Ratio of duplicate column values to the number of rows

    • TableSize: Table size

    • NullValueCount: Number of rows with null column values

    • NullValuePercent: Percentage of null column values

    • GroupCount: The number of data rows for each value after aggregation by column value

    • CountNotIn: The number of rows that do not match the enumerated values

    • CountDistinctNotIn: The number of distinct values that do not match the enumerated values

    • UserDefinedSql: Sample collection through custom SQL

    checkingConfig

    CheckingConfig

    Sample verification settings.

    type

    String

    Threshold calculation method.

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Threshold settings.

    expected

    Threshold

    Expected threshold settings.

    expression

    String

    Threshold expression.

    critical

    Threshold

    Critical alert threshold settings.

  • The following example shows the message body format of the batch delete data quality rules pre-event (the content of the data field in the event message).

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
            "eventCode": "batch-delete-data-quality-rules",
            "ids": [
                10***01,
                10***02,
                10***03
            ],
            "projectId": 30***03,
            "tenantId": 524***4736,
            "operator": "19***735",
            "operationTime": 1734505954897
        }
    }

    The following table describes the key fields.

    Field name

    Field type

    Description

    projectId

    List

    The DataWorks workspace ID.

    operator

    String

    The UID of the operator.

    operationTime

    Long

    The operation time.

    ids

    List

    The list of IDs of the deleted data quality rules.

    tenantId

    String

    The tenant ID.

    eventCode

    String

    The event code.

  • The following example shows the message body format of the update data quality rule pre-event (the content of the data field in the event message).

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Table row count greater than 0",
          "enabled": true,
          "severity": "High",
          "description": "Data quality rule creation operation check test",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    The following table describes the key fields.

    Field name

    Field type

    Description

    eventCode

    String

    The event code.

    projectId

    Long

    The workspace ID.

    tenantId

    Long

    The tenant ID.

    operator

    String

    The user UID.

    operationTime

    Long

    The operation time.

    id

    Long

    The rule ID.

    name

    String

    The rule name.

    enabled

    Boolean

    Indicates whether the rule is enabled.

    true: Enabled.

    false: Disabled.

    severity

    String

    The severity level of the rule for the business (corresponding to strong rules and weak rules on the page).

    • High

    • Normal

    description

    String

    The rule description.

    templateCode

    String

    The partition settings of the partitioned table.

    samplingConfig

    SamplingConfig

    The settings required for sample collection.

    metric

    String

    The name of the sampling metric.

    • Count: The number of table rows

    • Min: The minimum value of the column

    • Max: The maximum value of the column

    • Avg: The average value of the column

    • DistinctCount: The number of distinct values in the column

    • DistinctPercent: The ratio of distinct values in the column to the number of data rows

    • DuplicatedCount: The number of duplicate values in the column

    • DuplicatedPercent: The ratio of duplicate values in the column to the number of data rows

    • TableSize: The table size

    • NullValueCount: The number of rows where the column value is null

    • NullValuePercent: The percentage of rows where the column value is null

    • GroupCount: The number of data rows for each value after aggregation by column value

    • CountNotIn: The number of rows that do not match the enumerated values

    • CountDistinctNotIn: The number of distinct values that do not match the enumerated values

    • UserDefinedSql: Sample collection through custom SQL

    checkingConfig

    CheckingConfig

    Sample verification settings.

    type

    String

    Threshold calculation method.

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Threshold settings.

    expected

    Threshold

    Expected threshold settings.

    expression

    String

    Threshold expression.

    critical

    Threshold

    Critical alert threshold settings.

Data quality monitoring pre-events ( create, update, clone, and batch delete)

  • The following example shows the message body format of the create and update data quality monitoring pre-events (the content of the data field in the event message).

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task",
          "name": "Table data accuracy monitoring",
          "description": "After the scheduling instance that writes data to the table is successfully executed, trigger monitoring to check whether the output data meets expectations",
          "target": {
            "databaseType": "emr",
            "tableGuid": "an-emr-table-guid"
          },
          "trigger": {
            "type": "ByScheduledTaskInstance",
            "taskIds": [
              1001,
              1002
            ]
          },
          "dataSourceId": 201,
          "runtimeConf": "{ \"queue\": \"default\", \"sqlEngine\": \"HIVE_SQL\" }",
          "rules": [
            {
              "name": "Table row count greater than 0",
              "enabled": true,
              "severity": "High",
              "description": "Data quality rule creation operation check test",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }, 
            {
              "id": 100002
              "name": "Table row count greater than 100",
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 100"
                  },
                  "critical": {
                    "expression": "$checkValue <= 100"
                  }
                }
              }
            }
          ],
          "hooks": [
            {
              "type": "BlockTaskInstance",
              "condition": "(${severity} == \"High\" AND ${status} == \"Critical\") OR (${severity} == \"High\" AND ${status} == \"Error\")"
            }
          ],
          "notifications": {
            "condition": "(${severity} == \"High\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Error\")",
            "notifications": [
              {
                "channels": [
                  "Mail",
                  "Sms"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "AliUid",
                    "receiverValues": [
                      "1107550004253538", 
                      "51107550004253538"
                    ]
                  }
                ]
              }, 
              {
                "channels": [
                  "Dingding"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "DingdingUrl",
                    "receiverValues": [
                      "https://api.dingding.com/message-boxes/b1/messages",
                      "https://api.dingding.com/message-boxes/b2/messages"
                    ],
                    "extension": "{ \"atAll\": true }"
                  }
                ]
              }
            ]
          },
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    The following table describes the key fields.

    Field name

    Field type

    Description

    eventCode

    String

    The event code.

    name

    String

    The name of the data quality monitoring task.

    description

    String

    The description of the data quality evaluation task.

    target

    DataQualityTarget

    The monitoring target of the data quality evaluation task.

    databaseType

    String

    The database type of the table for a table-type dataset.

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    The unique ID of the table in Data Map.

    trigger

    DataQualityEvaluationTaskTrigger

    The trigger configuration of the data quality evaluation task.

    type

    String

    The type of event that can trigger the data quality evaluation task.

    • ByScheduledTaskInstance: Triggered when a scheduled instance runs successfully. This option is supported only in public cloud scenarios.

    • ByManual: Manually triggered.

    taskIds

    Array

    Takes effect when type=ByScheduledTaskInstance. Specifies which scheduled node instances can trigger the task after running successfully.

    dataSourceId

    Long

    The data source to use when the data quality evaluation task is executed.

    runtimeConf

    String

    The settings for using the data source. Currently, only specifying the EMR YARN queue and setting the SQL engine to SPARK-SQL for collecting EMR tables are supported.

    rules

    List

    The list of data quality rules. For more information about the parameters, see Data quality rule pre-event parameters.

    hooks

    Array

    The callback settings during the lifecycle of the data quality evaluation task instance. Currently, only one hook that blocks scheduled task instances is supported.

    type

    String

    The type of follow-up action.

    BlockTaskInstance: Blocks the execution of a DataWorks task instance.

    condition

    String

    The hook trigger condition.

    notifications

    Array

    The notification settings.

    projectId

    Long

    The workspace ID.

    tenantId

    Long

    The tenant ID.

    operator

    String

    The UID of the operator.

    operationTime

    Long

    The operation time.

  • The following example shows the message entity format (the content of the data field in the event message) for the clone Data Quality monitoring extension point event.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "clone-data-quality-evaluation-task",
          "id": 10001,
          "targets": [
            {
              "databaseType": "emr",
              "tableGuid": "an-emr-table-guid"
            },
            {
              "databaseType": "emr",
              "tableGuid": "another-emr-table-guid"
            }
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    The following table describes the key fields.

    Field

    Type

    Description

    projectId

    Long

    The DataWorks workspace ID.

    tenantId

    String

    The tenant ID.

    operator

    String

    The UID of the operator.

    operationTime

    Long

    The operation time.

    targets

    List

    The Data Quality monitoring targets to which the rules are cloned.

    databaseType

    String

    The database type of the table for a table-type dataset.

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    The unique ID of the table in Data Map.

    id

    Long

    The ID of the source Data Quality monitoring rule to clone from.

    eventCode

    String

    The event code.

  • The following example shows the message entity format (the content of the data field in the event message) for the batch delete Data Quality monitoring extension point event.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-delete-data-quality-evaluation-tasks",
          "ids": [
            10001,
            10002
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    The following table describes the key fields.

    Field

    Type

    Description

    projectId

    Long

    The DataWorks workspace ID.

    operator

    String

    The UID of the operator.

    operationTime

    Long

    The operation time.

    ids

    List

    The list of deleted Data Quality monitoring IDs.

    tenantId

    String

    The tenant ID.

    eventCode

    String

    The event code.

Data Quality monitoring alert subscription extension point events (create, update, and delete)

  • The following example shows the message entity format (the content of the data field in the event message) for the create and delete Data Quality monitoring alert subscription extension point events.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "channel": "sms",
          "receiverValue": "1107***38",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    The following table describes the key fields.

    Field

    Type

    Description

    projectId

    Long

    The DataWorks workspace ID.

    operator

    String

    The UID of the operator.

    operationTime

    Long

    The operation time.

    dataQualityEvaluationTaskId

    Long

    The Data Quality monitoring ID.

    channel

    String

    The channel type for sending subscription messages.

    • Mail - Email

    • Sms - SMS

    • Phone - Phone call

    • Feishu - Feishu

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - Custom webhook

    receiverValue

    String

    The specific target for sending subscription messages.

    eventCode

    String

    The event code.

  • The following example shows the message entity format (the content of the data field in the event message) for the update Data Quality monitoring extension point event.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "currentChannel": "sms",
          "currentReceiverValue": "1107***538",
          "updatedChannel": "sms",
          "updatedReceiverValue": "1107***538",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        
    }

    The following table describes the key fields.

    Field

    Type

    Description

    projectId

    Long

    The DataWorks workspace ID.

    operator

    String

    The UID of the operator.

    operationTime

    Long

    The operation time.

    dataQualityEvaluationTaskId

    Long

    The Data Quality monitoring ID.

    currentChannel

    String

    The channel type of the subscription message target being updated.

    • Mail - Email

    • Sms - SMS

    • Phone - Phone call

    • Feishu - Feishu

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - Custom webhook

    currentReceiverValue

    String

    The specific target of the subscription message being updated.

    updatedChannel

    String

    The channel type of the subscription message target after the update.

    • Mail - Email

    • Sms - SMS

    • Phone - Phone call

    • Feishu - Feishu

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - Custom webhook

    updatedReceiverValue

    String

    The specific target of the subscription message after the update.

    eventCode

    String

    The event code.

Tenant-level events

Events generated by tenant-level modules are tenant-level events, such as events generated when a workspace is deleted from the console. Use the event list below to identify which events are standard events and which are extension point events, along with their message formats.

The following message format tabs contain partial content only. For complete messages sent to EventBridge or Function Compute, refer to Appendix: Message format.

Console event list

Event list

Event type

Event (and triggering operation)

Standard event

Extension point event

EventBridge event type (Type)

Extensions event type (eventCode)

Delete workspace

Delete workspace extension point event

image

image

dataworks:ProjectChange:DeleteProject

delete-project

Post-delete workspace event

image

image

dataworks:ProjectChange:ProjectDeleted

project-deleted

Message format

Message entity format: Delete workspace events

  • The following example shows the message entity format (the content of the data field in the event message) for the tenant delete workspace extension point event.

    {
     
      "data": {
        "eventCode": "delete-project",
        "projectId": 7***7, // Workspace ID
        "tenantId": 2807****0784, // Tenant ID
        "operator": "19***735
    }

    The following table describes the fields:

    Field

    Type

    Description

    operator

    String

    The UID of the user who deleted the DataWorks workspace.

    projectId

    Long

    The ID of the DataWorks workspace to be deleted.

    tenantId

    Long

    The tenant ID of the workspace to be deleted.

    eventCode

    String

    Extensions event code.

  • The following example shows the message body format (the content of the data field in the event message) of the post-event for tenant workspace deletion.

    {
        
        "data": {
            "eventCode": "project-deleted",
            "tenantId": 28***656,
            "blockBusiness": false,
            "projectName": "test2",
            "projectId": 9***4,
            "operator": "19***735",
            "timestamp": 1702260556896
       } 
    }

    The fields are described as follows:

    Field

    Type

    Description

    operator

    String

    The UID of the user who deleted the DataWorks workspace.

    projectId

    Long

    The ID of the DataWorks workspace to be deleted.

    projectName

    String

    The name of the DataWorks workspace to be deleted.

    tenantId

    Long

    The ID of the tenant to which the workspace to be deleted belongs.

    timestamp

    Long

    The timestamp when the message was sent.

    eventCode

    String

    Extensions event code.

Data Upload & Download event list

Event list

Event type

Event (and triggering operation)

Standard event

Extension point event

EventBridge event type (Type)

Extension event code (eventCode)

Data download and upload

Pre-event for data download - file generation

image

image

dataworks:ResourcesDownload:DownloadResources

download-resources

Pre-event for data download - file download

image

image

dataworks:ResourcesDownload:DownloadResourcesExecute

download-resources-execute

Pre-event for data upload

image

image

dataworks:ResourcesUpload:UploadDataToTable

upload-data-to-table

Message format

Data download and upload

  • The following example shows the message body format (the content of the data field in the event message) of the pre-event for data download - file generation.

    { 
        "data": {
            "eventCode": "download-resources",
            "moduleType": "sqlx_query",
            "operatorBaseId": "123936573******",
            "operatorUid": "14931896037*******",
            "fileName": "File name.csv",
            "fileSize": 10241024,
            "datasourceId": "1111",
            "datasourceName": "odps_first",
            "queryDwProjectId": "9***4",
            "queryDwProjectName": "test_project",
            "dataRowSize": "123456",
            "sqlText": "select sku_code, sku_name from dim_sku",
        }

    The fields are described as follows:

    Field

    Type

    Description

    moduleType

    String

    The source of the downloaded data:

    • entity_transfer: Data downloaded from .

    • develop_query: Data queried and downloaded by using SQL statements in Data Studio.

    • sqlx_query: Data queried and downloaded by using SQL statements in .

    • dw_excel: Data downloaded from .

    operatorBaseId

    String

    The BaseID of the user who performed the download operation.

    operatorUid

    String

    The UID of the user who performed the download operation.

    fileName

    String

    The name of the downloaded file.

    fileSize

    Long

    The size of the downloaded file.

    datasourceId

    String

    The ID of the data source to which the downloaded data belongs.

    datasourceName

    String

    The name of the data source to which the downloaded data belongs.

    queryDwProjectId

    String

    The ID of the DataWorks workspace to which the downloaded data belongs.

    queryDwProjectName

    String

    The identifier of the DataWorks workspace to which the downloaded data belongs.

    dataRowSize

    Long

    The number of downloaded data rows.

    sqlText

    String

    The SQL code used to query and download data.

    eventCode

    String

    Extensions event type.

  • The following example shows the message body format (the content of the data field in the event message) of the pre-event for data download - file download.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "download-resources-execute",
        "moduleType": "sqlx_query",
        "operatorBaseId": "123936573******",
        "operatorUid": "14931896037*******",
        "fileName": "File name.csv",
        "fileSize": 10241024,
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "dataRowSize": "123456",
        "sqlText": "select sku_code, sku_name from dim_sku",
        "ip": "198.10.X.X"
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesDownload:DownloadResourcesExecute"
    }

    The following table describes key fields.

    Field

    Type

    Description

    moduleType

    String

    The source of the downloaded data:

    • entity_transfer: Data downloaded from .

    • develop_query: Data queried and downloaded by using SQL statements in Data Studio.

    • sqlx_query: Data queried and downloaded by using SQL statements in .

    • dw_excel: Data downloaded from .

    operatorBaseId

    String

    The BaseID of the user who performed the download operation.

    operatorUid

    String

    The UID of the user who performed the download operation.

    fileName

    String

    The name of the downloaded file.

    fileSize

    Long

    The size of the downloaded file.

    datasourceId

    String

    The ID of the data source to which the downloaded data belongs.

    datasourceName

    String

    The name of the data source to which the downloaded data belongs.

    queryDwProjectId

    String

    The ID of the DataWorks workspace to which the downloaded data belongs.

    queryDwProjectName

    String

    The identifier of the DataWorks workspace to which the downloaded data belongs.

    dataRowSize

    Long

    The number of downloaded data rows.

    sqlText

    String

    The SQL code used to query and download data.

    ip

    String

    The IP address of the user who performed the download operation.

    eventCode

    String

    Extensions event type.

  • The following example shows the message body format (the content of the data field in the event message) of the pre-event for data upload.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "upload-data-to-table",
        "uploadSourceType": "LOCAL",
        "optTableType": "CREATE",
        "targetEngineType": "MAXCOMPUTE",
        "writeType": "OVERWRITE",
        "conflictMode": "IGNORE",
        "operatorBaseId": "12312*****",
        "operatorUid": "1222222*****",
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "tableGuid": "odps.mc_project.test_table",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "fileSize": 123456
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesUpload:UploadDataToTable"
    }

    The fields are described as follows:

    Field

    Type

    Description

    uploadSourceType

    String

    The source of the uploaded data:

    • LOCAL: Upload data from a local file.

    • OSS: Upload data from an OSS file.

    • DW_EXCEL: Upload data from in DataWorks.

    • HTTP: Upload data from an HTTP file.

    optTableType

    String

    Specifies whether to upload data to an existing table or a new table in the specified engine data source. Valid values:

    • CREATE: Upload data to a new table.

    • IMPORT: Upload data to an existing table.

    targetEngineType

    String

    The type of engine to which data is uploaded. Valid values:

    • MaxCompute

    • EMR Hive

    • Hologres

    writeType

    String

    The method used to write data to the destination table. Valid values:

    • OVERWRITE: Overwrite existing data in the table.

    • APPEND: Append the uploaded data to the destination table.

    conflictMode

    String

    The primary key conflict resolution policy for data upload:

    • IGNORE: If a primary key conflict occurs, the uploaded data is ignored.

    • REPLACE: If a primary key conflict occurs, the conflicting row is deleted first, and then the uploaded data is inserted into that row. Columns not specified in the uploaded data are set to NULL.

    • UPDATE: The uploaded data overwrites the original table data. Only the columns specified in the uploaded data are overwritten, and unspecified columns remain unchanged.

    operatorBaseId

    String

    The BaseID of the user who performed the upload operation.

    operatorUid

    String

    The UID of the user who performed the upload operation.

    datasourceId

    String

    The ID of the data source to which data is uploaded.

    datasourceName

    String

    The name of the data source to which data is uploaded.

    tableGuid

    String

    The GUID of the table. Examples:

    • MaxCompute: odps.maxcomputeProject.tableName.

    • EMR_Hive: emr_hive.emrClusterId.schema.tableName.

    • Holo: holo.hologresInstanceId.database.

    queryDwProjectId

    String

    The ID of the DataWorks workspace to which the table belongs.

    queryDwProjectName

    String

    The name of the DataWorks workspace to which the table belongs.

    fileSize

    Long

    The size of the uploaded file, in bytes.

    eventCode

    String

    Extensions event code.

Appendix: Message format

Message format for EventBridge

After you configure Open Event and add an event distribution channel, when a workspace-level or tenant-level event is triggered in DataWorks, the event is filtered based on the event type (Type) configured in EventBridge. The following is the message format that DataWorks sends to EventBridge through the event distribution channel.

{ 
 "datacontenttype": "application/json;charset=utf-8",// The content format of the data parameter. Only application/json is supported for datacontenttype.
  "data": {
 // The message content varies depending on the message type. The following two fields are fixed in the message. For event messages, see the preceding sections.
 "tenantId": 28378****10656,// The tenant ID. Each Alibaba Cloud account corresponds to a tenant in DataWorks, and each tenant has its own tenant ID. You can view this value in the user information in the upper-right corner of Data Studio in DataWorks.
 "eventCode": "xxxx"//
  },
  "id": "539fd8f4-4ea1-4625-aa8b-6c906674****",// The event ID. A unique value that identifies the event.
  "source": "acs.dataworks",// The event source, which is the service that provides the event. This indicates that the message is pushed by DataWorks.
  "specversion": "1.0",
  "subject": "",
  "time": "2020-11-19T21:04:41+08:00",// The time when the event was generated.
  "type": "dataworks:InstanceStatusChanges:InstanceStatusChanges",// The event type. You can use this event type to filter all messages pushed by DataWorks in the EventBridge console. The Type value varies for each event. See the preceding sections for different event message types.
  "aliyunaccountid": "123456789098****",// The Alibaba Cloud account ID.
  "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",// The time when EventBridge received the event.
  "aliyuneventbusname": "default",// The name of the EventBridge event bus used to receive DataWorks event messages.
  "aliyunregionid": "cn-hangzhou",// The region where the event is received.
  "aliyunpublishaddr": "172.25.XX.XX"
}

A complete event message includes the message body and basic information such as the message ID, source, and generation time. The following table describes the important fields.

Field

Type

Description

data

object

The message body. The message format and field meanings vary depending on the event type. For more information, see:

Data Studio event message format: Data Studio event list.

Data Integration event message format: Data Integration event list.

Operation Center event message format: Operation Center event list.

Security Center event message format: Security Center event list.

Data Quality event message format: Data Quality event list.

id

String

The unique ID of the event message. This field is used to locate the event message.

type

String

The event type. This field describes the event type related to the event source. Examples:

  • dataworks:FileChange:CommitFile: Indicates that a file is submitted.

  • dataworks:FileChange:DeployFile: Indicates that a file is deployed.

You can use this event type to filter all messages pushed by DataWorks in the EventBridge console. The Type value varies for each event. See the preceding sections for different event message types.

Message format for Function Compute

When you configure Extensions with the Function Compute method in DataWorks, DataWorks sends event messages in JSON format to Function Compute when the corresponding extension point event is triggered. The following is the message format sent to Function Compute.

{
	"blockBusiness": true,
	"eventCategoryType": "resources-download",// The event category.
	"eventType": "upload-data-to-table",// The event type.
	"extensionBizId": "job_6603***070",
	"messageBody": {
             // The message content varies depending on the message type. The following two fields are fixed in the message. For event messages, see the preceding sections.
             "tenantId": 28378****10656,// The tenant ID. Each Alibaba Cloud account corresponds to a tenant in DataWorks, and each tenant has its own tenant ID. You can view this value in the user information in the upper-right corner of Data Studio in DataWorks.
             "eventCode": "xxxx"//
	},
	"messageId": "52d44ee7-b51f-4d4d-afeb-*******"// The event ID. A unique value that identifies the event.
}

The following table describes the important fields.

Field

タイプ

説明

messageId

String

イベント ID。イベントを一意に識別する値。

messageBody

DataWorks によってプッシュされた特定のイベントメッセージ。Extensions の開発時にこのフィールドを使用できます。このフィールドの内容はメッセージタイプによって異なります。

tenantId

テナント ID。各 Alibaba Cloud アカウントは DataWorks のテナントに対応し、各テナントには独自のテナント ID があります。この値は、DataWorks の Data Studio の右上隅にあるユーザー情報で確認できます。

eventCode

イベントコード。このフィールドは、特定のタイプのイベントメッセージを識別します。各イベントタイプの eventCode については、イベント一覧 表の Extensions イベントコード (eventCode) 列をご参照ください。