すべてのプロダクト
Search
ドキュメントセンター

DataWorks:開発リファレンス:イベントリストとメッセージフォーマット

最終更新日:Jun 26, 2026

本トピックでは、DataWorks のイベントタイプ、メッセージフォーマット、およびフィールドの意味について説明します。このドキュメントを使用して、イベントリストとメッセージフォーマットに関する情報を迅速に検索および照会できます。

はじめに

DataWorks では、イベントは、DataWorks 内でチェックポイントを作成できるかどうか、および自己管理型サービスによってサブスクライブされた後に処理結果を返すことができるかどうかに基づいて、標準イベントまたは拡張ポイントイベントに分類されます。

  • 標準イベント:これらのイベントメッセージをサブスクライブできますが、DataWorks 内の操作をブロックすることはできません。これらのイベントは OpenEvent を使用してサブスクライブします。詳細については、「OpenEvent」をご参照ください。

  • 拡張ポイントイベント:これらのイベントメッセージをサブスクライブした後、DataWorks オープンプラットフォームの拡張機能を使用して、イベントメッセージへの応答をカスタマイズできます。拡張機能を使用して拡張ポイントでの操作を管理する場合、その拡張ポイントで DataWorks プラットフォームユーザーが実行した操作は、カスタム拡張が処理結果を返すまで中断されます。

このリストでは、サポートされているイベントをモジュール別に分類し、各イベントが標準イベント拡張ポイントイベントかを示します。また、EventBridge イベントタイプ (Type)拡張イベントコード (eventCode) もリストアップしています。

  • EventBridge イベントタイプ (Type): イベントメッセージをフィルターするために使用されるフィールドです。詳細については、「メッセージサブスクリプションの有効化」をご参照ください。

  • 拡張イベントコード (eventCode):イベントタイプに対応するイベントコードです。ローカル開発中に、DataWorks から送信されたメッセージ内容からこのコードを取得して、ターゲットのイベントタイプを識別します。

ワークスペースレベルのイベント

ワークスペースレベルのモジュールによって生成されるイベントはワークスペースレベルのイベントです。たとえば、データ開発でのノード実行やオペレーションセンターでの定期インスタンスのステータス変更などです。以下のイベントリストを使用して、どのイベントが標準イベントで、どのイベントが拡張ポイントイベントであるか、およびそれらのメッセージフォーマットを識別します。

以下のメッセージフォーマットタブには、一部の内容のみが含まれています。EventBridge または Function Compute に送信される完全なメッセージについては、「付録:メッセージフォーマット」をご参照ください

データ開発のイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ (Type)

拡張イベントコード (eventCode)

ノード変更

ノードの作成

  • ノードを作成し、本番環境に公開

image

image

dataworks:NodeChange:NodeChangeCreated

node-change-created

ノードの更新

  • 開発環境でノードを変更

  • 変更を本番環境に公開

image

image

dataworks:NodeChange:NodeChangeUpdated

node-change-updated

ファイル変更

  • ノード

  • リソース

  • 関数

ファイル削除前イベント

開発環境でノードを削除

説明

削除されたファイルはごみ箱に移動します。

image

image

dataworks:FileChange:DeleteFile

delete-file

ファイルコミット前イベント

image

image

dataworks:FileChange:CommitFile

commit-file

ファイルデプロイ前イベント

image

image

dataworks:FileChange:DeployFile

deploy-file

実行前イベント

image

image

dataworks:FileChange:RunFile

run-file

テーブル変更

開発環境へのテーブル送信前イベント

image

image

dataworks:TableChange:CommitTable

commit-table

本番環境へのテーブルデプロイ前イベント

image

image

dataworks:TableChange:DeployTable

deploy-table

メッセージフォーマット

ノード変更イベント (作成、更新)

ノードの作成、変更、削除イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "nodeName": "****",
    "programType": "ODPS_SQL",
    "cronExpress": "00 04 00 * * ?",
    "blockBusiness": false,
    "schedulerType": "NORMAL",
    "ownerId": "19****735",
    "priority": 1,
    "baselineId": 70***287,
    "operator": "19***735", // この操作のオペレーター
    "eventCode": "node-change-created",
    "repeatability": true,
    "modifyTime": 17***864,
    "createTime": 17***864,
    "tenantId": 28***656,
    "nodeId": 70***003,
    "projectId": 9***4
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

nodeName

String

ノード名。

programType

String

ファイルコードタイプ。ListFileType API を呼び出してファイルコードタイプを照会するか、「サポートされているノードタイプ」でファイルコードタイプをご参照ください。

cronExpress

String

定期スケジューリングの cron 式。

このパラメーターは、DataWorks コンソールデータ開発タスクの 設定に対応します。

スケジューリング周期スケジュール時刻を設定すると、DataWorks は対応する cron 式を自動的に生成します。例:

  • 毎日午前 05:30 にスケジュール:00 30 05 * * ?

  • 毎時 15 分にスケジュール:00 15 * * * ?

  • 10 分ごとにスケジュール:00 00/10 * * * ?

  • 毎日午前 8 時から午後 5 時までの間、10 分ごとにスケジュール:00 00-59/10 8-17 * * * ?

  • 毎月 1 日の 00:20 に自動的にスケジュール:00 20 00 1 * ?

  • 1 月 1 日の 00:10 から 3 か月ごとにスケジュール:00 10 00 1 1-12/3 ?

  • 毎週火曜日と金曜日の 00:05 に自動的にスケジュール:00 05 00 * * 2,5

説明

cron 式の制限:

  • 最小スケジューリング間隔は 5 分です。

  • 毎日の最も早いスケジュール時刻は 00:05 です。

schedulerType

String

タスクインスタンスのスケジューリングタイプ。有効値:

  • 0:NORMAL。通常の定期タスク。このタスクは毎日スケジュールされます。

  • 1:MANUAL。手動タスク。このタスクは毎日スケジュールされません。

  • 2:PAUSE。フリーズタスク。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに失敗とマークされます。

  • 3:SKIP。ドライランタスク。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに成功とマークされます。

  • 4:SKIP_UNCHOOSE。一時的なワークフローで選択されていないタスク。一時的なワークフローにのみ存在し、スケジューリング開始時にすぐに成功とマークされます。

  • 5:SKIP_CYCLE。週次または月次タスクで、まだ実行サイクルに入っていないもの。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに成功とマークされます。

  • 6:CONDITION_UNCHOOSE。上流の IF ノードによって選択されていない下流ノード。すぐにドライランタスクとして設定されます。

  • 7:REALTIME_DEPRECATED。リアルタイムで生成された期限切れの定期インスタンス。すぐに成功とマークされます。

ownerId

String

ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。

priority

Integer

タスクの優先度。有効値:13578。値が大きいほど優先度が高くなります。

baselineId

Long

ベースライン ID。

repeatability

Boolean

ノードを繰り返し実行できるかどうか:

  • true:繰り返し実行できます。

  • false:繰り返し実行できません。

modifyTime

Long

ノードの最終変更時刻。

createTime

Long

ノードの作成時刻。

nodeId

Long

ノード ID。

projectId

Long

ノードが属するプロジェクトスペース ID。

tenantId

Long

ノードが属するテナント ID。

operator

String

ノードを作成、変更、または削除したユーザーの UID。

eventCode

String

拡張イベントコード

ファイル変更イベント (コミット、デプロイ、実行、削除)

  • ファイルのコミットおよびデプロイイベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "******",
        "extensionBizId": "eb******9ce",
        "changeType": "0",
        "blockBusiness": false,
        "dataSourceName": "0_******engine",
        "operator": "19***735",
        "eventCode": "commit-file",
        "fileCreateTime": "2024-07-12 11:08:50",
        "tenantId": 28***656,
        "fileOwner": "19***735",
        "fileVersion": 1,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    operator

    String

    ファイルをコミットまたはデプロイしたユーザーの UID。

    projectId

    Long

    ファイルが属するプロジェクトスペースの ID。

    tenantId

    Long

    テナント ID。

    nodeId

    Long

    スケジューリングノード ID。

    fileType

    Long

    ファイルコードタイプ。ListFileType API を呼び出してファイルコードタイプを照会するか、「サポートされているノードタイプ」でファイルコードタイプをご参照ください。

    fileName

    String

    ファイル名。

    fileOwner

    String

    ファイル所有者。

    extensionBizId

    String

    拡張チェックポイントプロセス ID。

    changeType

    String

    ファイル変更タイプ:

    • 0:ファイルの作成。

    • 1:ファイルの更新。

    • 2:ファイルの削除。

    fileCreateTime

    String

    ファイル作成時刻 (yyyy-MM-dd HH:mm:ss フォーマット)。

    fileId

    Long

    ファイル ID。

    fileVersion

    Long

    ファイルバージョン。

    dataSourceName

    String

    データソース名。

    eventCode

    String

    拡張イベントコード。

  • ファイルの削除および実行イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "***",
        "extensionBizId": "bf******6e3",
        "blockBusiness": false,
        "operator": "19***735",
        "eventCode": "delete-file",
        "fileCreateTime": "2024-07-12 11:08:50", // ファイル作成時刻
        "tenantId": 28***656,
        "fileOwner": "19***735", // ファイル所有者
        "nodeId": 70***003,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    operator

    String

    ファイルを削除または実行したユーザーの UID。

    projectId

    Long

    ファイルが属するプロジェクトスペースの ID。

    tenantId

    Long

    テナント ID。

    nodeId

    Long

    スケジューリングノード ID。

    fileType

    Long

    ファイルコードタイプ。ListFileType API を呼び出してファイルコードタイプを照会するか、「サポートされているノードタイプ」でファイルコードタイプをご参照ください。

    fileName

    String

    ファイル名。

    fileOwner

    String

    ファイル所有者。

    extensionBizId

    String

    拡張チェックポイントプロセス ID。

    fileCreateTime

    String

    ファイル作成時刻 (yyyy-MM-dd HH:mm:ss フォーマット)。

    fileId

    Long

    ファイル ID。

    eventCode

    String

    拡張イベントコード。

テーブル変更イベント (開発環境へのテーブルコミット、本番環境へのテーブルデプロイ)

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "operator": "**************",
    "projectId": 12*****56,
    "tenantId": 12******56,
    "extensionBizId": "12***56",
    "tableName":"table1",
    "tableType":"ODPS",  
    "maxComputeProject":"project1"
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

operator

String

テーブルをコミットまたはデプロイしたユーザーの UID。

projectId

Long

プロジェクトスペース ID。

tenantId

Long

テナント ID。

extensionBizId

String

拡張チェックポイントプロセス ID。

tableName

String

テーブル名。

tableType

String

テーブルタイプ。有効値:ODPS

maxComputeProject

String

対応する MaxCompute プロジェクト名。

データ統合のイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントタイプ (eventCode)

ノード変更イベント

ジョブの開始

image

image

dataworks:NodeChange:StartDiJob

start-diJob

ジョブの一括開始

image

image

dataworks:NodeChange:BatchStartDiJob

batch-start-diJob

メッセージフォーマット

ノード変更イベント-ジョブの開始

ノード変更イベント - ジョブの開始のメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

## メッセージ v1 ジョブ開始 (テーブル数 500 以下)
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "extensionBizId": "0a4***b8ae",
        "extensionBizName": "sync_mysql_to_odps_20240726_192307",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "id": 5280,
        "projectId": 9***4,
        "tableMapping": [
            {
                "srcTable": "xb_test_116",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_116"
            },
            {
                "srcTable": "xb_test_117",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_117"
            },
            {
                "srcTable": "xb_test_118",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_118"
            },
            {
                "srcTable": "xb_test_135",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_135"
            }
        ],
        "operator": "1504650005316516"
    }
}

## メッセージ v2 ジョブ開始 (テーブル数 500 以下)
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "extensionBizId": "59d***50fc",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801",
        "blockBusiness": true,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-09-11 12:00:00"
        },
        "eventCode": "start-diJob",
        "jobId": 5777,
        "forceRun": false,
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test_verify1",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1"
            },
            {
                "srcTable": "test_verify1_dst",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1_dst"
            },
            {
                "srcTable": "mysql_0_timetest2",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "mysql_0_timetest2"
            }
        ]
    }
}

## メッセージ v2 ジョブ開始 (テーブル数 500 超)、"showTableMapping": false
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5502,
        "forceRun": false,
        "extensionBizId": "f4c***7cbc",
        "extensionBizName": "sync_mysql_to_holo_20240412_213634",
        "appId": 330914,
        "showTableMapping": false,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-04-12 22:07:02",
            "startDateTime": "2024-09-10 17:00:00",
            "timeZone": "Asia/Shanghai"
        }
    }
}

## 正規表現
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5778,
        "forceRun": false,
        "extensionBizId": "a5d***75ba",
        "extensionBizName": "sync_mysql_to_holo_20240912_170517",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "aaa"
            },
            {
                "srcTable": "shard.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "vvv"
            }
        ],
        "operator": "19***735"
    }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

projectId

Long

DataWorks プロジェクトスペース ID。

operator

String

オペレーターのユーザー UID。

extensionBizName

String

ソリューション名。

showTableMapping

Boolean

テーブルマッピング情報を返すかどうか。

  • true:返します。

  • false:返しません。

500 を超えるテーブルが関与する場合、showTableMapping はデフォルトで false になります。

tableMapping

JSONArray

テーブルマッピング関係。

srcDatasourceName

String

ソースデータソース名。

srcDatabaseName

String

ソースデータベース名。

srcTable

String

ソーステーブル名。

dstDatasourceName

String

宛先データソース名。

dstTable

String

宛先テーブル名。

tenantId

Long

テナント ID。

eventCode

String

拡張イベントコード。

ノード変更イベント-ジョブの一括開始

ノード変更イベント - ジョブの一括開始のメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "needErrorMessage": false,
        "extensionBizId": "2de***c4c6",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801,sync_mysql_to_odps_20240726_192307",
        "errorMessageOnlyFailedFileIds": false,
        "blockBusiness": true,
        "env": "prod",
        "operator": "15***516",
        "setting": {
            "startDateTime": "2024-09-12 14:00:00",
            "timeZone": "Asia/Shanghai"
        },
        "jobIds": [
            5777,
            5679
        ],
        "eventCode": "batch-start-diJob",
        "tableMappings": [
            {
                "extensionBizName": "sync_mysql_to_holo_20240911_170801",
                "id": 5777,
                "tableMapping": [
                    {
                        "srcTable": "test_verify1",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1"
                    },
                    {
                        "srcTable": "test_verify1_dst",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1_dst"
                    },
                    {
                        "srcTable": "mysql_0_timetest2",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "mysql_0_timetest2"
                    }
                ]
            },
            {
                "extensionBizName": "sync_mysql_to_odps_20240726_192307",
                "id": 5679,
                "tableMapping": [
                    {
                        "srcTable": "xb_test_116",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_116"
                    },
                    {
                        "srcTable": "xb_test_117",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_117"
                    },
                    {
                        "srcTable": "xb_test_118",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_118"
                    },
                    {
                        "srcTable": "xb_test_135",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_135"
                    }
                ]
            }
        ],
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 52***018,
        "projectId": 9***4
    }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

projectId

Long

DataWorks プロジェクトスペース ID。

operator

String

オペレーターのユーザー UID。

extensionBizName

String

ソリューション名。

setting

JSONObject

起動設定項目。

startDateTime

String

開始時刻。

timeZone

String

タイムゾーンを設定します。

tableMapping

JSONArray

テーブルマッピング関係。

srcDatasourceName

String

ソースデータソース名。

srcDatabaseName

String

ソースデータベース名。

srcTable

String

ソーステーブル名。

dstDatasourceName

String

宛先データソース名。

dstTable

String

宛先テーブル名。

showTableMapping

Boolean

テーブルマッピング情報を返すかどうか。

  • true:返します。

  • false:返しません。

500 を超えるテーブルが関与する場合、showTableMapping はデフォルトで false になります。

tenantId

Long

テナント ID。

eventCode

String

拡張イベントコード。

オペレーションセンターのイベントリスト

イベントリスト

重要

スケジューリングリソースグループまたは所有者を変更すると、node-change-updated がトリガーされます。

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントタイプ (eventCode)

ノード変更

ノードの削除

  • 本番環境のノードを非公開にするために、削除操作を本番環境に公開

  • ごみ箱からノードを削除

image

image

dataworks:NodeChange:NodeChangeDeleted

node-change-deleted

ノード非公開前イベント

本番環境で定期ノードを直接非公開にする

説明

この操作により、データ開発のノードが同期的に削除され、ごみ箱に移動します。

image

image

dataworks:NodeChange:UndeployNode

undeploy-node

ノードフリーズ前イベント

重要

このイベントは、node-change-updated イベントを同期的にトリガーします。

image

image

dataworks:NodeChange:FreezeNode

freeze-node

ノードフリーズ解除前イベント

重要

このイベントは、node-change-updated イベントを同期的にトリガーします。

image

image

dataworks:NodeChange:UnFreezeNode

unfreeze-node

データ補填

データ補填前イベント

image

image

dataworks:BackfillDataOperate:BackfillData

backfill-data

タスクステータス変更

スケジューリングタスクのステータス変更

image

image

dataworks:InstanceStatusChanges:InstanceStatusChanges

instance-status-changes

インスタンス変更

インスタンスのフリーズ

image

image

dataworks:InstanceChange:FreezeInstance

freeze-instance

インスタンスのフリーズ解除

image

image

dataworks:InstanceChange:UnfreezeInstance

unfreeze-instance

インスタンスの強制終了

image

image

dataworks:InstanceChange:KillInstance

kill-instance

インスタンスの再実行

  • 再実行

  • 下流の再実行

image

image

dataworks:InstanceChange:RerunInstance

rerun-instance

成功したインスタンス

image

image

dataworks:InstanceChange:SetInstanceSuccess

set-instance-success

インスタンスから指定された上流依存関係を削除

image

image

dataworks:InstanceChange:DeleteTaskInstanceDependencies

delete-task-instance-dependencies

インスタンスフリーズ前イベント

image

image

dataworks:InstanceChange:PreFreezeInstance

pre-freeze-instance

インスタンスフリーズ解除前イベント

image

image

dataworks:InstanceChange:PreUnfreezeInstance

pre-unfreeze-instance

インスタンス再実行前イベント

image

image

dataworks:InstanceChange:PreRerunInstance

pre-rerun-instance

インスタンス成功設定前イベント

image

image

dataworks:InstanceChange:PreSetInstanceSuccess

pre-set-instance-success

インスタンス強制終了前イベント

image

image

dataworks:InstanceChange:PreKillInstance

pre-kill-instance

期限切れインスタンスの削除

image

image

dataworks:InstanceChange:ExpiredTaskInstancesDeleted

expired-task-instances-deleted

ワークフローステータス変更

ワークフローステータス変更

  • データ補填インスタンス

  • 手動トリガーワークフロー

image

image

dataworks:DagStatusChanges:DagStatusChanges

dag-status-changes

監視とアラート

監視とアラート

image

image

dataworks:MonitorAlert:WorkbenchMonitorAlert

workbench-monitor-alert

メッセージフォーマット

ノード変更イベント (削除、非公開、フリーズ、フリーズ解除)

  • ノード削除イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "nodeName": "",
        "programType": "ODPS_SQL",
        "cronExpress": "00 20 00 * * ?",
        "schedulerType": "NORMAL",
        "ownerId": "19****735",
        "priority": 1,
        "baselineId": 117801853,
        "repeatability": true,
        "modifyTime": 1646364549642,
        "createTime": 1646364549642,
        "datasource": "odps_source",
        "tenantId": 28378****10656,
        "nodeId": 100***150,
        "projectId": 30**95,
        "operator": "19***735"  // この操作のオペレーター
      }
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    nodeName

    String

    ノード名。

    programType

    String

    ファイルコードタイプ。ListFileType API を呼び出してファイルコードタイプを照会するか、「サポートされているノードタイプ」でファイルコードタイプをご参照ください。

    cronExpress

    String

    定期スケジューリングの cron 式。

    このパラメーターは、DataWorks コンソールデータ開発タスクの 設定に対応します。

    スケジューリング周期スケジュール時刻を設定すると、DataWorks は対応する cron 式を自動的に生成します。例:

    • 毎日午前 05:30 にスケジュール:00 30 05 * * ?

    • 毎時 15 分にスケジュール:00 15 * * * ?

    • 10 分ごとにスケジュール:00 00/10 * * * ?

    • 毎日午前 8 時から午後 5 時までの間、10 分ごとにスケジュール:00 00-59/10 8-17 * * * ?

    • 毎月 1 日の 00:20 に自動的にスケジュール:00 20 00 1 * ?

    • 1 月 1 日の 00:10 から 3 か月ごとにスケジュール:00 10 00 1 1-12/3 ?

    • 毎週火曜日と金曜日の 00:05 に自動的にスケジュール:00 05 00 * * 2,5

    説明

    cron 式の制限:

    • 最小スケジューリング間隔は 5 分です。

    • 毎日の最も早いスケジュール時刻は 00:05 です。

    schedulerType

    String

    タスクインスタンスのスケジューリングタイプ。有効値:

    • 0:NORMAL。通常の定期タスク。このタスクは毎日スケジュールされます。

    • 1:MANUAL。手動タスク。このタスクは毎日スケジュールされません。

    • 2:PAUSE。フリーズタスク。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに失敗とマークされます。

    • 3:SKIP。ドライランタスク。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに成功とマークされます。

    • 4:SKIP_UNCHOOSE。一時的なワークフローで選択されていないタスク。一時的なワークフローにのみ存在し、スケジューリング開始時にすぐに成功とマークされます。

    • 5:SKIP_CYCLE。週次または月次タスクで、まだ実行サイクルに入っていないもの。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに成功とマークされます。

    • 6:CONDITION_UNCHOOSE。上流の IF ノードによって選択されていない下流ノード。すぐにドライランタスクとして設定されます。

    • 7:REALTIME_DEPRECATED。リアルタイムで生成された期限切れの定期インスタンス。すぐに成功とマークされます。

    ownerId

    String

    ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。

    priority

    Integer

    タスクの優先度。有効値:13578。値が大きいほど優先度が高くなります。

    baselineId

    Long

    ベースライン ID。

    repeatability

    Boolean

    ノードを繰り返し実行できるかどうか:

    • true:繰り返し実行できます。

    • false:繰り返し実行できません。

    modifyTime

    Long

    ノードの最終変更時刻。

    createTime

    Long

    ノードの作成時刻。

    nodeId

    Long

    ノード ID。

    projectId

    Long

    ノードが属するプロジェクトスペース ID。

    tenantId

    Long

    ノードが属するテナント ID。

    operator

    String

    ノードを作成、変更、または削除したユーザーの UID。

  • ノードのフリーズ、フリーズ解除、非公開イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "19***735",
        "projectId": 12***56,
        "tenantId": 28***656,
        "nodeIds":[1,2,3],
        "extensionBizId": "12***56"
      }
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    operator

    String

    ノードをフリーズ、復元、または非公開にするユーザーの UID。

    projectId

    Long

    ノードが属するプロジェクトスペース ID。

    tenantId

    Long

    テナント ID。

    nodeIds

    Array

    操作対象のノード ID のリスト。

    extensionBizId

    String

    拡張チェックポイントプロセス ID。

データ補填

データ補填操作のメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "excludeNodeIds":[],
    "rootNodeId": 1000****271,
    "startFutureInstanceImmediately": false,
    "useMultipleTimePeriods": true,
    "operator": "19***735",
    "eventCode": "backfill-data",
    "multipleTimePeriods": "[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]",
    "parallelGroup": 1,
    "rootNodeProjectId": 12*****8,
    "isParallel": false,
    "name": "P_fff_20220418_215404",
    "tenantId": 16935*****3377,
    "includeNodeIds":
    [
      10***271
    ],
    "projectId": 9***4,
    "order": "asc",
    "extensionBizId": "12***56"
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

name

String

データ補填ワークフローの名前。

rootNodeId

Long

データ補填ワークフローのルートノード ID。

rootNodeProjectId

Long

データ補填ワークフローのルートノードが属するプロジェクトスペース ID。

includeNodeIds

Array

データ補填用のノード ID のリスト。

excludeNodeIds

Array

データ補填から除外されるノード ID のリスト。このリスト内のノードは、スクリプトコンテンツを実行せずにスケジューリング時にすぐに成功とマークされるドライランインスタンスを生成します。

bizBeginTime

String

タスクの開始時刻。時間単位でスケジュールされたタスクにのみ必須です。フォーマット:HH:mm:ss。有効範囲:00:00:0023:59:59

bizEndTime

String

タスクの終了時刻。時間単位でスケジュールされたタスクにのみ必須です。フォーマット:HH:mm:ss。有効範囲:00:00:0023:59:59

isParallel

Boolean

データ補填操作を並列で実行できるかどうか:

  • true:並列実行できます。

  • false:並列実行できません。

parallelGroup

Integer

並列グループの数。1 はグループ化なしを意味します。

startFutureInstanceImmediately

Boolean

スケジュール時刻をスキップして将来のインスタンスをすぐに実行するかどうか:

  • true:スケジュール時刻をスキップし、将来のインスタンスをすぐに実行します。

  • false:スケジュール時刻をスキップしません。将来のインスタンスはすぐには実行されません。

order

String

ビジネス日付に基づくデータ補填の実行順序:

  • acs:ビジネス日付の昇順で実行します。

  • desc:ビジネス日付の降順で実行します。

multipleTimePeriods

String

ビジネス日付をセグメントで選択します。例:[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]

tenantId

Long

テナント ID。

projectId

Long

データ補填操作が実行されるプロジェクト ID。

operator

String

データ補填操作を実行したユーザー ID。

extensionBizId

String

拡張チェックポイントプロセス ID。

eventCode

String

拡張イベントコード。

タスクステータス変更イベント

スケジューリングタスクのステータス変更イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "beginWaitTimeTime": 1652700576000,
    "dagId": 446***330,
    "dagType": 0,
    "eventCode": "instance-status-changes",
    "taskType": 0,
    "modifyTime": 1652700577000,
    "createTime": 1652543233000,
    "appId": 3*****2,
    "tenantId": 235454***432001,
    "opCode": 31,
    "flowId": 1,
    "nodeId": 100***219,
    "beginWaitResTime": 1652700577000,
    "taskId": 453***169,
    "status": 3
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

finishTime

Long

スケジューリングタスクインスタンスの実行が完了した正確な時刻。

beginWaitTimeTime

Long

スケジューリングタスクインスタンスが実行待機を開始した正確な時刻。

beginRunningTime

Long

スケジューリングタスクインスタンスの実行が開始された正確な時刻。

dagId

Long

Dag の詳細は DagId を使用して取得できます。

dagType

Integer

Dag のタイプ。有効値:

  • 0:定期タスク

  • 1:手動タスク

  • 2:スモークテスト

  • 3:データ補填

  • 4:一時的なワークフロー

  • 5:手動トリガーワークフロー

taskType

Integer

タスクインスタンスのスケジューリングタイプ。有効値:

  • 0:NORMAL。通常の定期タスク。このタスクは毎日スケジュールされます。

  • 1:MANUAL。手動タスク。このタスクは毎日スケジュールされません。

  • 2:PAUSE。フリーズタスク。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに失敗とマークされます。

  • 3:SKIP。ドライランタスク。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに成功とマークされます。

  • 4:SKIP_UNCHOOSE。一時的なワークフローで選択されていないタスク。一時的なワークフローにのみ存在し、スケジューリング開始時にすぐに成功とマークされます。

  • 5:SKIP_CYCLE。週次または月次タスクで、まだ実行サイクルに入っていないもの。このタスクは毎日スケジュールされますが、スケジューリング開始時にすぐに成功とマークされます。

  • 6:CONDITION_UNCHOOSE。上流の IF ノードによって選択されていない下流ノード。すぐにドライランタスクとして設定されます。

  • 7:REALTIME_DEPRECATED。リアルタイムで生成された期限切れの定期インスタンス。すぐに成功とマークされます。

modifyTime

Long

タスクインスタンスの最終変更時刻。

createTime

Long

タスクインスタンスの作成時刻。

appId

Long

ワークスペース ID。ListProjects を呼び出してワークスペース ID 情報を表示します。

tenantId

Long

スケジューリングタスクインスタンスが属するワークスペースのテナント ID。

opCode

Integer

スケジューリングタスクインスタンスの操作コード。このフィールドは無視できます。

flowId

Long

ワークフロー ID。

  • 定期タスクインスタンス:ワークフロー ID はデフォルトで 1 です。

  • 手動トリガーワークフローおよび内部ワークフローのスケジューリングタスクインスタンス:実際のワークフロー ID。

nodeId

Long

スケジューリングタスクインスタンスに対応するノード ID。

beginWaitResTime

Long

スケジューリングタスクインスタンスがリソース待機を開始した正確な時刻。

taskId

Long

スケジューリングタスクインスタンスの ID。

status

Integer

タスクステータス。有効値:

  • 1:未実行。

  • 2:スケジュール時刻 dueTime または cycleTime の到着を待機中。

  • 3:リソースを待機中。

  • 4:実行中。

  • 7:データ検証のために Data Quality に送信済み。

  • 8:ブランチ条件の検証を実行中。

  • 5:実行失敗。

  • 6:実行成功。

eventCode

String

拡張イベントコード。

インスタンス変更イベント (フリーズ、フリーズ解除、強制終了、再実行、成功設定)

インスタンス変更イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "freeze-instance",
    "operator": "19***735",
    "projectId": 12***8,
    "projectType": "PROD",
    "taskIds": [
      523***9736
    ],
    "tenantId": 28***656
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

operator

String

インスタンスに対して操作 (フリーズ、フリーズ解除、強制終了、再実行、成功設定など) を実行したユーザーの UID。

projectType

String

ランタイム環境。

  • PROD:本番環境。

  • DEV:開発環境。

taskIds

List<Long>

インスタンス ID のセット。

projectId

Long

DataWorks プロジェクトスペース ID。

tenantId

Long

インスタンスが属するワークスペースのテナント ID。

eventCode

String

イベントコード。

インスタンス変更前イベント (フリーズ、フリーズ解除、再実行、成功設定、インスタンス強制終了)

インスタンス変更前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "pre-freeze-instance",
    "extensionBizId": "055***afaa",
    "extensionBizName": "Node name",
    "projectId": 9***4,
    "taskIds": [
      523536569736
    ],
    "tenantId": 28***656,
    "operator": "19***735"
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

extensionBizId

String

拡張チェックポイントプロセス ID。

extensionBizName

String

操作対象の名前。複数のオブジェクトは「オブジェクト名...」として記述されます。

projectId

Long

DataWorks プロジェクトスペース ID。

taskIds

List<Long>

インスタンス ID のセット。

tenantId

String

インスタンスが属するワークスペースのテナント ID。

operator

Long

インスタンスを操作したユーザーの UID。

eventCode

String

拡張ポイントイベントコード。

インスタンス変更イベント-期限切れインスタンスの削除

期限切れインスタンスの削除イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "expired-task-instances-deleted",
        "deletedTaskInstanceIds": [
            524***035,
            524***498,
            524***637
        ],
        "appId": 307303,
        "tenantId": 28***656,
        "blockBusiness": false,
        "owner": "1107***538",
        "operationTime": 1734505954897
    }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

deletedTaskInstanceIds

List

削除されたインスタンス ID のリスト。

owner

String

インスタンス所有者のユーザー ID。

operationTime

Long

操作時間。

blockBusiness

Boolean

拡張機能が存在する場合、プロセスを停止するかどうか。

  • true:停止します。

  • false:停止しません。

appId

Long

DataWorks プロジェクトスペース ID。

tenantId

String

インスタンスが属するワークスペースのテナント ID。

operator

Long

インスタンスを操作したユーザーの UID。

eventCode

String

拡張ポイントイベントコード。

指定された上流依存関係の削除イベント

指定された上流依存関係の削除のメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します:

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "110******38",
    "aliyunpublishtime": "2024-12-18T07:12:35.463Z",
    "data": {
        "eventCode": "delete-task-instance-dependencies",
        "upstreamTaskInstanceIds": [
            52******35,
            52******98,
            52******37
        ],
        "appId": 3***03,
        "tenantId": 52******36,
        "blockBusiness": false,
        "taskInstanceId": 52******49,
        "operator": "19***735",
        "operationTime": 1734505954897
    }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

taskInstanceId

Long

下流インスタンス ID。

upstreamTaskInstanceIds

List

依存関係が削除される上流インスタンス ID のリスト。

operator

String

オペレーターのユーザー UID。

operationTime

Long

操作時間。

ワークフローステータス変更イベント

ワークフローステータス変更イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "bizDate": "2022-11-07 00:00:00",
    "createTime": "2022-11-08 10:56:32",
    "dagId": 500358972116,
    "dagName": "P_test_spark_true_copy_20221108_105631",
    "eventCode": "dag-status-changes",
    "dagType": 3,
    "flowId": 1,
    "flowName": "ATCLOUD_FLOW",
    "operator": "11****538",
    "projectEnv": "PROD",
    "projectId": 25***63,
    "status": 6,
    "tenantId": 52***736
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

bizDate

String

ワークフローのビジネス日付。フォーマット:yyyy-mm-dd hh24:mi:ss

createTime

String

ワークフローの作成時刻。フォーマット:yyyy-mm-dd hh24:mi:ss

dagId

Long

DagId。Dag の詳細は DagId を使用して取得できます。

dagName

String

ワークフロー名。

dagType

Integer

Dag のタイプ。有効値:

  • 0:定期タスク。

  • 1:手動タスク。

  • 2:スモークテスト。

  • 3:データ補填。

  • 4:一時的なワークフロー。

  • 5:手動トリガーワークフロー。

flowId

Integer

ビジネスフローに対応するワークフロー ID。

flowName

String

ワークフローに対応するビジネスフロー名。

operator

String

ワークフローを作成したユーザーの UID。

projectEnv

String

ワークフローが属する環境。有効値:

  • DEV:開発環境。

  • PROD:本番環境。

tenantId

Long

スケジューリングタスクインスタンスが属するワークスペースのテナント ID。

projectId

Long

ワークスペース ID。

status

Integer

ワークフロー内のタスクのステータス。有効値:

  • 1:未実行。

  • 4:実行中。

  • 5:実行失敗。

  • 6:実行成功。

eventCode

String

拡張イベントコード。

監視とアラート

  • ベースラインアラートのメッセージペイロードフォーマット (メッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "eventCode": "workbench-monitor-alert",
        "alarmType": "SLA_ALERT",
        "baselineId": 137***723,
        "baselineName": "ods layer check task dedicated -- hourly",
        "baselineStatus": 3,
        "bizDate": 1654444800000,
        "inGroupId": 14,
        "nodeId": 1000***8734,
        "projectId": 76***34,
        "taskId": 307***3778,
        "tenantId": 28***656
      }
    }

    フィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    baselineId

    Long

    ベースライン ID。

    baselineName

    String

    ベースライン名。

    baselineStatus

    Integer

    ベースラインステータス。有効値:

    • -1:異常。

    • 1:安全。

    • 2:警告。

    • 3: 改行。

    bizDate

    Long

    ビジネス日付のタイムスタンプ。

    inGroupId

    Integer

    ベースラインインスタンスの期間番号。日次ベースラインは 1 を使用します。時間単位のベースラインは [1,24] の範囲です。

    nodeId

    Long

    ベースラインの異常を引き起こしたノード ID。

    projectId

    Long

    ベースラインが属するプロジェクトスペース ID。

    taskId

    Long

    ベースラインの異常を引き起こしたインスタンス ID。

    tenantId

    Long

    テナント ID。

    eventCode

    String

    拡張イベントコード。

  • イベントアラートのメッセージペイロードフォーマット (メッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "TOPIC_ALERT",
        "nodeId": 1000***315,
        "projectId": 91***09,
        "taskId": 307***0357,
        "taskStatus": 5,
        "tenantId": 28***656,
        "topicId": 1084769
      }
    }

    フィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    topicId

    Long

    イベント ID。

    taskStatus

    String

    イベントをトリガーしたノードインスタンスのステータス。

    nodeId

    Integer

    イベントをトリガーしたノード ID。

    projectId

    Long

    イベントをトリガーしたノードが属するプロジェクトスペース ID。

    taskId

    Long

    イベントをトリガーしたノードインスタンス ID。

    tenantId

    Long

    テナント ID。

  • タスクルールアラートのメッセージペイロードフォーマット (メッセージの data フィールドの内容) を次の例に示します。

    説明

    通常、ルールオブジェクトにはタスクノード、ベースライン、ワークスペース、ビジネスフローが含まれます。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "nodeIds": "1000***5472,1000***5473,1000***5474",
        "projectId": 9***4,
        "remindId": 7605,
        "remindName": "Error alert",
        "remindType": "ERROR",
        "remindUnit": "NODE",
        "taskIds": "307***0896,307***0870,307***0855",
        "tenantId": 28***656
      }
    }

    フィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    nodeIds

    String

    ルールアラートをトリガーするノードのリスト。

    remindId

    Long

    ルール ID。

    remindType

    Stirng

    ルールトリガー条件。有効値:

    • FINISHED:完了。

    • UNFINISHED:未完了。

    • ERROR:実行エラー。

    • CYCLE_UNFINISHED:サイクル未完了。

    • TIMEOUT:実行タイムアウト。

    projectId

    Long

    ルールをトリガーするノードが属するプロジェクトスペース ID。

    remindUnit

    String

    ルールをトリガーするオブジェクトのタイプ。有効値:

    • NODE:タスクノード。

    • GATEWAY_RES:排他的スケジューリングリソースグループ。

    • DI_RES:データ統合リソースグループ。

    tenantId

    Long

    テナント ID。

    taskId

    String

    ルールアラートをトリガーするインスタンスのリスト。

    remindName

    String

    ルール名。

  • リソースグループルールアラートのメッセージペイロードフォーマット (メッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "projectId": 9***4,
        "remindId": 200***186,
        "remindName": "Exclusive resource group alert",
        "remindType": "RES_GROUP_THRESHOLD",
        "remindUnit": "GATEWAY_RES",
        "resourceGroupIdentifier": "S_res_group_195820716552192_1650965857744",
        "resourceGroupName": "emr_exclusive_scheduld",
        "resourceGroupType": "GATEWAY",
        "tenantId": 28***656
      }
    }

    フィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    alarmType

    String

    アラートタイプ。有効値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    remindId

    Long

    ルール ID。

    remindType

    Stirng

    ルールトリガー条件。有効値:

    • FINISHED:完了。

    • UNFINISHED:未完了。

    • ERROR:実行エラー。

    • CYCLE_UNFINISHED:サイクル未完了。

    • TIMEOUT:実行タイムアウト。

    • RES_GROUP_THRESHOL:リソースグループ使用率。

    • RES_GROUP_WAIT_AMOUNT:リソースグループでリソースを待機しているインスタンスの数。

    projectId

    Long

    ルールをトリガーするノードが属するプロジェクトスペース ID。

    remindUnit

    String

    ルールをトリガーするオブジェクトのタイプ。有効値:

    • NODE:タスクノード。

    • GATEWAY_RES:排他的スケジューリングリソースグループ。

    • DI_RES:データ統合リソースグループ。

    tenantId

    Long

    テナント ID。

    remindName

    String

    ルール名。

    resourceGroupIdentifier

    String

    リソースグループの一意の識別子。

    resourceGroupName

    String

    リソースグループ名。

    resourceGroupType

    String

    リソースグループタイプ。有効値:

    • GATEWAY:スケジューリングリソースグループ。

    • DI:データ統合リソースグループ。

セキュリティセンターのイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張メッセージタイプ (eventCode)

承認センター

権限申請フォーム作成前イベント

image

image

dataworks:ApprovalChange:ApprovalChangeCreated

approval-change-created

申請フォームの完了

image

image

dataworks:ApprovalChange:ApprovalChangeFinished

approval-change-finished

セキュリティセンター (テーブル権限申請)

テーブル権限申請前イベント

image

image

dataworks:ApprovalChange:ApprovalChangeBeforeCreate

approval-change-before-create

メッセージフォーマット

承認センター (申請フォームの作成、完了)

  • 権限申請フォーム作成前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":194209,
        "assignee":"286098539641742899",
        "assigneeName":"yupeng.sunyp",
        "createTime":1652094363000,
        "eventType":"approval",
        "process":{
          "applicant":"286098539641742899",
          "applicantName":"yupeng.sunyp",
          "approvalContent":{
            "applyPeriod":"2997964800000",
            "applyReason":"Test",
            "arrayData":[
              {
                "ownerBaseId":"1822***45",
                "objectType":"TABLE",
                "odpsTable":"loghub_070103",
                "envType":1,
                "projectGuid":"odps.b_mc1",
                "objectGuid":"odps.b_mc1.loghub_070103",
                "tenantId":28***656,
                "objectName":"loghub_070103",
                "ownerAccountName":"ALIYUN$******(******)",
                "odpsProject":"B_MC1",
                "projectName":"B_MC1",
                "actions":[
                  "Select",
                  "Describe"
                ],
                "projectId":9***4,
                "workspaceId":"9***4"
              }
            ],
            "contentType":"application/json",
            "granteeAccounts":[
              {
                "granteeId":"2860985***99",
                "granteeTypeSub":103,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
              },
              {
                "granteeId":"237857631119109360",
                "granteeTypeSub":105,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:dev"
              }
            ],
            "odpsProjectName":"B_MC1",
            "projectEnv":"1",
            "resourceSummary":"loghub_070103",
            "tenantId":28***656,
            "workspaceId":194209
          },
          "assignmentCategory":"MaxCompute",
          "createTime":1652094363000,
          "processDefinitionId":"definition-3dcc9ce7-d29d-435d-a908-60d4355ff5e2",
          "processId":"528535869984706",
          "status":"Pending",
          "title":"MaxComputeTable",
          "updateTime":1652094363000
        },
        "processId":"528535869984706",
        "status":"Submit",
        "eventCode": "approval-change-created",
        "taskId":"528535870015424",
        "tenantId":28***656,
        "updateTime":1652094364000
      }
    }{
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":227859,
        "assignee":"286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName":"******.******",
        "comments":"ces",
        "createTime":1652095981000,
        "eventType":"approval",
        "process":{
            "applicant":"286098***2899",
            "applicantName":"yupeng.sunyp",
            "approvalContent":{
                "applyPeriod":"2997964800000",
                "applyReason":"Test",
                "arrayData":[
                    {
                        "ownerBaseId":"2382***884", 
                        "objectType":"TABLE",
                        "odpsTable":"cdd",
                        "objectNameCn":"******",
                        "envType":1,
                        "projectGuid":"odps.da_simple_202112",
                        "objectGuid":"odps.da_simple_202112.cdd",
                        "tenantId":0,
                        "objectName":"cdd",
                        "ownerAccountName":"RAM$******(******)",
                        "odpsProject":"da_simple_202112",
                        "projectName":"da_simple_202112",
                        "actions":[
                            "Select",
                            "Describe"
                        ],
                        "projectId":9***4,
                        "workspaceId":"9***4"
                    }
                ],
                "contentType":"application/json",
                "granteeAccounts":[
                    {
                        "granteeId":"286***899",
                        "granteeTypeSub":103,
                        "granteeType":1,
                        "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
                    }
                ],
                "odpsProjectName":"da_simple_202112",
                "projectEnv":"1",
                "resourceSummary":"cdd",
                "tenantId":28***656,
                "workspaceId":227859
            },
            "assignmentCategory":"MaxCompute",
            "createTime":1652095981000,
            "processDefinitionId":"definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
            "processId":"528***192",
            "status":"Pending",
            "title":"MaxComputeTable",
            "updateTime":1652095981000
        }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    appId

    Long

    ワークスペース ID。

    assignee

    String

    承認リクエストの承認者の BaseId。

    assigneeName

    String

    承認者の名前。

    comments

    String

    コメント情報。

    createTime

    Long

    申請フォーム作成のタイムスタンプ。

    processId

    String

    承認フォームの ID。

    status

    String

    承認フォームのステータス。

    taskId

    String

    承認タスクの ID。

    tenantId

    String

    テナント ID。

    updateTime

    String

    承認フォーム更新のタイムスタンプ。

    eventType

    String

    イベントタイプ。

    process

    Object

    承認タスクオブジェクト。

    applicant

    String

    リクエスト BaseID。

    applicantName

    String

    申請者名。

    assignmentCategory

    String

    申請内容のタイプ。

    createTime

    String

    承認フォーム作成のタイムスタンプ。

    processDefinitionId

    String

    ワークフロー定義 ID。

    processId

    String

    ワークフロー ID。

    status

    String

    ワークフローステータス。

    title

    String

    ワークフローのタイトル。

    updateTime

    Long

    承認フォーム更新のタイムスタンプ。

    approvalContent

    Object

    承認内容オブジェクト。

    applyPeriod

    String

    承認フォームの申請期間。

    applyReason

    String

    承認フォームの申請理由。

    contentType

    String

    承認コンテンツタイプ。

    odpsProjectName

    String

    承認プロジェクト名。

    resourceSummary

    String

    リソースの説明。

    tenantId

    Long

    テナント ID。

    workspaceId

    Long

    ワークスペース ID。

    projectEnv

    String

    承認プロジェクトが属する環境。

    granteeAccounts

    Array

    権限付与リスト。

    .granteeId

    String

    権限付与対象 ID。

    granteeType

    String

    権限付与タイプ。

    granteeTypeSub

    String

    権限付与対象のサブタイプ。

    granteeName

    String

    権限付与対象名。

    arrayData

    Array

    権限付与内容リスト。詳細については、「開発リファレンス:イベントリストとメッセージフォーマット」をご参照ください。

    eventType

    String

    イベントタイプ。

  • 承認フォーム完了イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId": 227859,
        "assignee": "286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName": "******.******",
        "comments": "ces",
        "createTime": 1652095981000,
        "eventType": "approval",
        "process": {
          "applicant": "2860****899",
          "applicantName": "yupeng.sunyp",
          "approvalContent": {
            "applyPeriod": "2997***0000",
            "applyReason": "Test",
            "arrayData": [
              {
                "ownerBaseId": "2382***8*884",
                "objectType": "TABLE",
                "odpsTable": "cdd",
                "objectNameCn": "******",
                "envType": 1,
                "projectGuid": "odps.da_simple_202112",
                "objectGuid": "odps.da_simple_202112.cdd",
                "tenantId": 0,
                "objectName": "cdd",
                "ownerAccountName": "RAM$******(******)",
                "odpsProject": "da_simple_202112",
                "projectName": "da_simple_202112",
                "actions": [
                  "Select",
                  "Describe"
                ],
                "projectId": 9***4,
                "workspaceId": "9***4"
              }
            ],
            "contentType": "application/json",
            "granteeAccounts": [
              {
                "granteeId": "286***899",
                "granteeTypeSub": 103,
                "granteeType": 1,
                "granteeName": "RAM$dataworks_3h1_1:yupeng.sunyp"
              }
            ],
            "odpsProjectName": "da_simple_202112",
            "projectEnv": "1",
            "resourceSummary": "cdd",
            "tenantId": 28***656,
            "workspaceId": 227859
          },
          "assignmentCategory": "MaxCompute",
          "createTime": 1652095981000,
          "processDefinitionId": "definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
          "processId": "528***192",
          "status": "Pending",
          "title": "MaxComputeTable",
          "updateTime": 1652095981000
        }
      }
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    appId

    Long

    ワークスペース ID。

    assignee

    String

    承認フォームの承認者の BaseId。

    assigneeName

    String

    承認者名。

    comments

    String

    コメント情報。

    createTime

    Long

    承認フォーム作成のタイムスタンプ。

    processId

    String

    承認フォーム ID。

    status

    String

    承認フォームのステータス。

    taskId。

    String

    承認タスク ID。

    tenantId

    String

    テナント ID。

    updateTime

    String

    最新の承認フォーム更新のタイムスタンプ。

    eventType

    String

    イベントタイプ。

    process

    Object

    承認タスクオブジェクト。

    applicant

    String

    BaseID をリクエストします。

    applicantName

    String

    申請者名。

    assignmentCategory

    String

    申請内容のタイプ。

    createTime

    String

    承認フォーム作成のタイムスタンプ。

    processDefinitionId

    String

    ワークフロー定義 ID。

    processId

    String

    ワークフロー ID。

    status

    String

    ワークフローステータス。

    title

    String

    ワークフローのタイトル。

    updateTime

    Long

    承認フォーム更新のタイムスタンプ。

    approvalContent

    Object

    承認内容オブジェクト。

    applyPeriod

    String

    申請期間。

    applyReason

    String

    申請理由。

    contentType

    String

    コンテンツタイプ。

    odpsProjectName

    String

    プロジェクト名。

    resourceSummary

    String

    リソースの説明。

    tenantId

    Long

    テナント ID。

    workspaceId

    Long

    ワークスペース ID。

    projectEnv

    String

    所属環境。

    granteeAccounts

    Array

    権限付与リスト。

    granteeId

    String

    権限付与対象 ID。

    granteeType

    String

    権限付与タイプ。

    granteeTypeSub

    String

    権限付与対象のサブタイプ。つまり、権限付与アカウントタイプは次のとおりです:

    • 本番環境クラウドアカウント (本番環境スケジューリングに使用されるアカウント):ACCOUNT_PRD(101)

    • アプリケーションクラウドアカウント:ACCOUNT_APP(102)

    • 個人用クラウドアカウント:ACCOUNT_USER(103)

    • 部門クラウドアカウント:ACCOUNT_DEPT(104)

    • MOCK アカウント:ACCOUNT_MOCK(106)

    • その他のユーザーのクラウドアカウント:ACCOUNT_OTHER_USER(105)

    granteeName

    String

    権限付与対象名。

    arrayData

    Array

    権限付与内容リスト。詳細については、「開発リファレンス:イベントリストとメッセージフォーマット」をご参照ください。

    eventType

    String

    イベントタイプ。

セキュリティセンター (テーブル権限申請前イベント)

テーブル権限申請前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventType": "approval-create-before",
    "operator":"19***735",
    "order":{
      "applyReason":"Test",
      "deadlineDate":"1",
      "deadlineType":"month",
      "granteeObjectList":[
        {
          "granteeId":"1239****8872"
        }
      ],
      "projectMeta":{
        "envCode":1,
        "labelSecurity":false,
        "objectMetaList":[
          {
            "action":[
              "Select",
              "Describe"
            ],
            "name":"tablei",
            "projectGuid":"odps.d11aa"
          }
        ],
        "projectId":2****0,
        "projectName":"d11aa"
      }
    },
    "projectId":2****0,
    "tenantId":5564****6465
  }
}

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

operator

String

テーブル権限申請前操作を実行したユーザーの UID。

projectId

Long

テーブル権限申請前操作が実行されたワークスペース ID。

tenantId

Long

テーブル権限申請前操作が実行されたテナント ID。

order

Object

申請フォーム情報。

applyReason

String

申請理由。

deadlineDate

String

申請フォームの有効期間。

deadlineType

String

申請フォームの有効期間の単位。例:日、月。

granteeObjectList

Object

権限付与オブジェクトリスト。

granteeId

String

権限付与オブジェクト ID。RAM ユーザー ID です。

projectMeta

Object

ワークスペース情報。

envCode

Integer

ワークスペース環境識別子。0 は開発環境、1 は本番環境を示します。

labelSecurity

Boolean

ラベルレベルの制御が有効かどうか:

  • true:有効。

  • false:無効。

objectMetaList

Array

権限付与オブジェクトリスト。

action

Array

権限付与アクション。たとえば、テーブルに対する Select または Describe 権限の付与。

name

String

権限を要求するテーブルの名前。

projectGuid

String

テーブルが属するワークスペースの Guid。

projectName

String

テーブルが属するワークスペース名。

eventType

String

イベントタイプ。

付録:権限付与内容リスト (MaxCompute)

DataWorks が セキュリティセンターで承認およびテーブル権限申請をトリガーすると、EventBridge に送信されるイベントメッセージには arrayData が含まれます。assignmentCategory タイプが MaxCompute の場合、arrayData の内容は次のようになります:

{
    "ownerBaseId":"1822931104031845",
    "objectType":"TABLE",
    "odpsTable":"oracle_************",
    "envType":1,
    "projectGuid":"odps.***********",
    "objectGuid":"odps.******.******",
    "tenantId":0,
    "objectName":"oracle_******",
    "ownerAccountName":"ALIYUN***************",
    "odpsProject":"dataworks******",
    "projectName":"dataworks******",
    "actions":[
      "Select",
      "Describe"
    ],
    "projectId":9***4,
    "workspaceId":"9***4"
  }

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

ownerBaseId

String

テーブル所有者の BaseID。

ownerAccountName

String

テーブル所有者の名前。

objectType

String

オブジェクトタイプ。

odpsTable

String

テーブル名。

envType

String

テーブルが属する環境。

projectGuid

String

プロジェクト Guid。

objectGuid

String

オブジェクト Guid。

objectName

String

オブジェクト名。

odpsProject

String

ODPS プロジェクト名。

projectName

String

プロジェクトコード。

projectId

Long

プロジェクト ID。

workspaceId

String

ワークスペース ID。

actions

Array

アクションタイプのリスト。

付録:権限付与内容リスト (DataService)

DataWorks が セキュリティセンターで承認およびテーブル権限申請をトリガーすると、EventBridge に送信されるイベントメッセージには arrayData が含まれます。assignmentCategory タイプが DataService の場合、arrayData の内容は次のようになります:

{
    "resourceId":"DsApiDeploy/******/workspaceId/******/dsDeployId/******",
    "ownerName":"******",
    "resourceVersion":1,
    "name":"api_api",
    "dsDeployId":"******",
    "workspaceName":"da_******",
    "id":"******",
    "type":1,
    "ownerId":"19****735",
    "url":"https://******.data.aliyun.com/?projectId=******&type=api&id=******&version=***&defaultProjectId=******",
    "workspaceId":"******"
  }

フィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

resourceId

String

リソース ID。

ownerName

String

リソース所有者の名前。

resourceVersion

Long

リソースバージョン。

name

String

リソース名。

dsDeployId

String

データサービスデプロイ ID。

workspaceName

String

ワークスペース名。

id

String

一意のリソース ID。

type

String

リソースタイプ。有効値:

  • 1:API。

  • 2:関数。

  • 3:サービスオーケストレーション。

ownerId

String

リソース所有者の BaseID。

url

String

データサービス URL。

workspaceId

String

ワークスペース ID。

Data Quality のイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントタイプ (eventCode)

データ品質検証

検証結果のフィードバック

  • 検証結果に対するユーザーフィードバック

image

image

dataworks:DqcCheck:DqcCheckFeedbackEvent

dqc-check-feedback-event

検証完了

  • ルール検証完了。ルール検証結果 (合格サンプルなど) を送信します

image

image

dataworks:DqcCheck:DqcCheckFinishedEvent

dqc-check-finished-event

データ品質ルールの事前チェック

データ品質ルールの一括作成前イベント

image

image

dataworks:DqcCheck:BatchCreateDataQualityRules

batch-create-data-quality-rules

データ品質ルールの一括更新前イベント

image

image

dataworks:DqcCheck:BatchUpdateDataQualityRules

batch-update-data-quality-rules

データ品質ルールの一括削除前イベント

image

image

dataworks:DqcCheck:BatchDeleteDataQualityRules

batch-delete-data-quality-rules

データ品質ルール更新前イベント

image

image

dataworks:DqcCheck:UpdateDataQualityRule

update-data-quality-rule

データ品質監視の事前操作

データ品質監視作成前イベント

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTask

create-data-quality-evaluation-task

データ品質監視更新前イベント

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTask

update-data-quality-evaluation-task

データ品質監視クローン前イベント

image

image

dataworks:DqcCheck:CloneDataQualityEvaluationTask

clone-data-quality-evaluation-task

データ品質監視の一括削除前イベント

image

image

dataworks:DqcCheck:BatchDeleteDataQualityEvaluationTasks

batch-delete-data-quality-evaluation-tasks

データ品質監視アラートサブスクリプションの事前操作

データ品質監視アラートサブスクリプション作成前イベント

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTaskNotification

create-data-quality-evaluation-task-notification

データ品質監視アラートサブスクリプション更新前イベント

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTaskNotification

update-data-quality-evaluation-task-notification

データ品質監視アラートサブスクリプション削除前イベント

image

image

dataworks:DqcCheck:DeleteDataQualityEvaluationTaskNotification

delete-data-quality-evaluation-task-notification

メッセージフォーマット

データ品質検証

  • データ品質検証結果のフィードバックイベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "ruleCheckId": 521771452,
        "feedbackContent": "Skip",
        "ruleId": 28610334,
        "createUser": "110755000425****",
        "taskId": "167644814****9a26ecf4063a88797",
        "beginTime": "1676448145000",
        "envType": "ODPS",
        "projectName": "test_mc_2303_kongjian",
        "projectId": 9***4,
        "tenantId": 28***656
      }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    ruleId

    Long

    データ品質ルール ID。

    ruleCheckId

    Long

    検証結果の自動インクリメント ID。

    feedbackContent

    String

    フィードバック内容。

    createUser

    String

    フィードバックを提供した人のユーザー ID。

    taskid

    String

    データ品質タスクの ID。

    beginTime

    String

    フィードバック時間。

    envType

    String

    ルールに関連付けられたテーブルのデータソースタイプ。ODPS、EMR、HOLO を含みます。

    projectName

    String

    ルールに関連付けられたデータソースの一意の識別子。

    projectId

    Long

    DataWorks プロジェクトスペース ID。

    tenantId

    Long

    DataWorks テナント ID。

  • データ品質検証完了イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "projectId": 9***4,
        "tenantId": 28***656,
        "id": 52177****,
        "taskId": "1671***7a6",
        "entityId": 1562***,
        "ruleId": 28610334,
        "property": "-",
        "bizdate": "2023-02-09 00:00:00",
        "dateType": "YMD",
        "actualExpression": "ds\u003d20230210",
        "matchExpression": "ds\u003d$[yyyymmdd]",
        "blockType": 1,
        "checkResult": 0,
        "eventCode": "dqc-check-finished-event",
        "checkResultStatus": 0,
        "methodName": "table_count",
        "beginTime": "2023-02-15 20:14:48",
        "endTime": "2023-02-15 20:14:55",
        "timeConsuming": "7s",
        "externalType": "CWF2",
        "externalId": "triggerByManual",
        "discrete": false,
        "fixedCheck": true,
        "referenceValue": [
          {
            "bizDate": "3000-12-31 00:00:00",
            "discreteProperty": "Table row count, 1-day difference",
            "value": 0.0,
            "singleCheckResult": 0
          }
        ],
        "sampleValue": [
          {
            "bizDate": "2023-02-09 00:00:00",
            "value": 3.0
          }
        ],
        "trend": "\u003e\u003d",
        "expectValue": 0.0,
        "op": "\u003e\u003d",
        "projectName": "test_mc_2303_kongjian",
        "tableName": "sx_dim_1209_001",
        "templateId": 47,
        "checkerType": 0,
        "ruleName": "Previous day difference",
        "isPrediction": false,
        "feedbackStatus": 0,
        "whetherToFilterDirtyData": false
      }
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    id

    Long

    この検証プロセスの主キー ID。ルール検証がトリガーされるたびに、新しい主キー ID レコードが追加されます。

    projectId

    Long

    DataWorks プロジェクトスペース ID

    tenantId

    Long

    DataWorks テナント ID

    taskId

    String

    検証タスクの ID。

    entityId

    Long

    パーティション式の ID。

    ruleId

    Long

    ルール ID。

    property

    String

    ルール属性のフィールド、つまり検証対象のデータソーステーブルの列名。

    bizdate

    Long

    ビジネス日付。検証対象のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行される前日です。

    dateType

    String

    スケジューリング周期のタイプ。通常は YMD で、年次、月次、または日次タスクを意味します。

    actualExpression

    String

    検証対象のデータソーステーブルの実際のパーティション。

    matchExpression

    String

    パーティション式。

    blockType

    Integer

    検証ルールの強度。強度はルールの重要性を示します。有効値:

    • 1、強制ルールを示します。

    • 0、弱ルールを示します。

    実際のニーズに基づいて、重要なルールを強制ルールとして設定できます。強制ルールが使用され、赤色のアラートがトリガーされた場合、スケジューリングタスクはブロックされます。

    checkResult

    Integer

    検証結果ステータス。有効値:

    • -2:検証スキップ

    • -1:検証例外

    • 0:検証合格

    • 1:オレンジ色のしきい値がトリガー

    • 2:赤色のしきい値がトリガー

    methodName

    String

    サンプルデータを収集する方法には、avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct などがあります。

    beginTime

    Long

    検証操作の開始時刻。

    endTime

    Long

    検証結果を照会する締め切り時刻。

    timeConsuming

    String

    検証タスクの実行にかかった時間。

    externalType

    String

    スケジューリングシステムのタイプ。現在、CWF2 のみをサポートしています。externalType が空の場合、手動テスト実行タスクを示します。

    externalId

    String

    • externalType が CWF2 の場合、スケジューリングタスクのノード ID を表します。

    • externalType が空の場合、値は triggerByManual で、手動でトリガーされたタスクを示します。

    discrete

    Boolean

    離散検証かどうか。有効値:

    • true:離散検証です。

    • false:離散検証ではありません。

    fixedCheck

    Boolean

    固定値検証かどうか。有効値:

    • true:固定値検証です。

    • false:固定値検証ではありません。

    referenceValue

    過去のサンプル値。

    bizDate

    Long

    ビジネス日付。検証対象のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行される前日です。

    discreteProperty

    String

    グループ化後のサンプルフィールド値。たとえば、性別フィールドでグループ化した場合、DiscreteProperty は男性、女性、null になります。

    value

    Decimal

    サンプル値。

    singleCheckResult

    Integer

    検証結果の文字列。

    sampleValue

    現在使用されているサンプル。

    bizDate

    Long

    ビジネス日付。検証対象のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行される前日です。

    value

    Decimal

    サンプル値。

    trend

    String

    検証結果のトレンド。

    expectValue

    Double

    期待値。

    op

    String

    比較演算子。

    projectName

    String

    データ品質検証のためのエンジンまたはデータソースの名前。

    tableName

    String

    検証対象のテーブルの名前。

    templateId

    Integer

    使用された検証テンプレートの ID。

    checkerType

    Integer

    バリデーターのタイプ。

    ruleName

    String

    ルールの名前。

    isPrediction

    Boolean

    予測結果かどうか。有効値:

    • true:予測結果です。

    • false:予測結果ではありません。

    comment

    String

    検証ルールの説明。

    eventCode

    String

    拡張イベントコード。

データ品質ルールの事前操作イベント (一括作成、更新、削除)

  • データ品質ルールの一括作成前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-create-data-quality-rules",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "dataQualityTaskId": 1001,
          "target": {
            "databaseType": "maxcompute",
            "tableGuid": "odps.project_demo.tb_table_demo"
          },
          "rules": [
            {
              "name": "Table row count greater than 0",
              "enabled": true,
              "severity": "High",
              "description": "Data quality rule creation operation check test",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }
          ]
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    List

    DataWorks プロジェクトスペース ID。

    operator

    String

    オペレーターのユーザー UID。

    operationTime

    Long

    操作時間。

    dataQualityTaskId

    Long

    ルールに関連付けられたデータ品質監視の ID。空にすることができます。

    target

    DataQualityTarget

    データ品質ルールの監視対象。

    databaseType

    String

    テーブルタイプのデータセットのデータベースタイプ。

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    データマップ内のテーブルの一意の ID。

    rules

    List<DataQualityRule>

    データ品質ルールのリスト。

    name

    String

    ルール名。

    enabled

    Boolean

    ルールが有効かどうか。

    severity

    String

    ビジネスのルールレベル (ページの強制/弱ルールに対応)。

    • High

    • Normal

    description

    String

    ルール説明情報。

    templateCode

    String

    ルール作成時に参照されるルールテンプレート

    samplingConfig

    SamplingConfig

    サンプル収集に必要な設定。

    metric

    String

    サンプリングメトリックの名前。

    • Count:テーブルの行数

    • Min:フィールドの最小値

    • Max:フィールドの最大値

    • Avg:フィールドの平均値

    • DistinctCount:一意のフィールド値の数

    • DistinctPercent:総行数に対する一意のフィールド値の比率

    • DuplicatedCount:重複するフィールド値の数

    • DuplicatedPercent:総行数に対する重複するフィールド値の比率

    • TableSize:テーブルサイズ

    • NullValueCount:null フィールド値を持つ行の数

    • NullValuePercent:null フィールド値の割合

    • GroupCount:フィールド値でグループ化した後の各値の行数

    • CountNotIn:列挙値と一致しない行の数

    • CountDistinctNotIn:列挙値と一致しない一意の値の数

    • UserDefinedSql:カスタム SQL を使用したサンプル収集

    checkingConfig

    CheckingConfig

    サンプル検証設定。

    type

    String

    しきい値計算方法

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    しきい値設定。

    expected

    Threshold

    期待されるしきい値設定。

    expression

    String

    しきい値式。

    critical

    Threshold

    重大な警告のしきい値設定。

  • データ品質ルールの一括更新前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Table row count greater than 0",
          "enabled": true,
          "severity": "High",
          "description": "Data quality rule creation operation check test",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    eventCode

    String

    イベントコード。

    projectId

    Long

    プロジェクトスペース ID。

    tenantId

    Long

    テナント ID。

    operator

    String

    ユーザー UID。

    operationTime

    Long

    操作時間。

    id

    Long

    ルール ID。

    name

    String

    ルール名。

    enabled

    Boolean

    ルールが有効かどうか。

    true:有効。

    false:無効。

    severity

    String

    ビジネスのルールレベル (ページの強制/弱ルールに対応)。

    • High

    • Normal

    description

    String

    ルール説明情報。

    templateCode

    String

    パーティションテーブルのパーティション設定。

    samplingConfig

    SamplingConfig

    サンプル収集に必要な設定。

    metric

    String

    サンプリングメトリックの名前。

    • Count:テーブルの行数

    • Min:フィールドの最小値

    • Max:フィールドの最大値

    • Avg:フィールドの平均値

    • DistinctCount:一意のフィールド値の数

    • DistinctPercent:総行数に対する一意のフィールド値の比率

    • DuplicatedCount:重複するフィールド値の数

    • DuplicatedPercent:総行数に対する重複するフィールド値の比率

    • TableSize:テーブルサイズ

    • NullValueCount:null フィールド値を持つ行の数

    • NullValuePercent:null フィールド値の割合

    • GroupCount:フィールド値でグループ化した後の各値の行数

    • CountNotIn:列挙値と一致しない行の数

    • CountDistinctNotIn:列挙値と一致しない一意の値の数

    • UserDefinedSql:カスタム SQL を使用したサンプル収集

    checkingConfig

    CheckingConfig

    サンプル検証設定。

    type

    String

    しきい値計算方法

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    しきい値設定。

    expected

    Threshold

    期待されるしきい値設定。

    expression

    String

    しきい値式。

    critical

    Threshold

    重大な警告のしきい値設定。

  • データ品質ルールの一括削除前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
            "eventCode": "batch-delete-data-quality-rules",
            "ids": [
                10***01,
                10***02,
                10***03
            ],
            "projectId": 30***03,
            "tenantId": 524***4736,
            "operator": "19***735",
            "operationTime": 1734505954897
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    List

    DataWorks プロジェクトスペース ID。

    operator

    String

    オペレーターのユーザー UID。

    operationTime

    Long

    操作時間。

    ids

    List<Long>

    削除されるデータ品質ルールの ID のリスト。

    tenantId

    String

    テナント ID。

    eventCode

    String

    イベントコード

  • データ品質ルール更新前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Table row count greater than 0",
          "enabled": true,
          "severity": "High",
          "description": "Data quality rule creation operation check test",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    eventCode

    String

    イベントコード。

    projectId

    Long

    プロジェクトスペース ID。

    tenantId

    Long

    テナント ID。

    operator

    String

    ユーザー UID。

    operationTime

    Long

    操作時間。

    id

    Long

    ルール ID。

    name

    String

    ルール名。

    enabled

    Boolean

    ルールが有効かどうか。

    true:有効。

    false:無効。

    severity

    String

    ビジネスのルールレベル (ページの強制/弱ルールに対応)。

    • High

    • Normal

    description

    String

    ルール説明情報。

    templateCode

    String

    パーティションテーブルのパーティション設定。

    samplingConfig

    SamplingConfig

    サンプル収集に必要な設定。

    metric

    String

    サンプリングメトリックの名前。

    • Count:テーブルの行数

    • Min:フィールドの最小値

    • Max:フィールドの最大値

    • Avg:フィールドの平均値

    • DistinctCount:一意のフィールド値の数

    • DistinctPercent:総行数に対する一意のフィールド値の比率

    • DuplicatedCount:重複するフィールド値の数

    • DuplicatedPercent:総行数に対する重複するフィールド値の比率

    • TableSize:テーブルサイズ

    • NullValueCount:null フィールド値を持つ行の数

    • NullValuePercent:null フィールド値の割合

    • GroupCount:フィールド値でグループ化した後の各値の行数

    • CountNotIn:列挙値と一致しない行の数

    • CountDistinctNotIn:列挙値と一致しない一意の値の数

    • UserDefinedSql:カスタム SQL を使用したサンプル収集

    checkingConfig

    CheckingConfig

    サンプル検証設定。

    type

    String

    しきい値計算方法

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    しきい値設定。

    expected

    Threshold

    期待されるしきい値設定。

    expression

    String

    しきい値式。

    critical

    Threshold

    重大な警告のしきい値設定。

データ品質監視の事前操作イベント (作成、更新、クローン、一括削除)

  • データ品質監視の作成前および更新前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task",
          "name": "Table data accuracy monitoring",
          "description": "After the scheduling instance that writes data to the table runs successfully, trigger monitoring to check whether the output data meets expectations",
          "target": {
            "databaseType": "emr",
            "tableGuid": "an-emr-table-guid"
          },
          "trigger": {
            "type": "ByScheduledTaskInstance",
            "taskIds": [
              1001,
              1002
            ]
          },
          "dataSourceId": 201,
          "runtimeConf": "{ \"queue\": \"default\", \"sqlEngine\": \"HIVE_SQL\" }",
          "rules": [
            {
              "name": "Table row count greater than 0",
              "enabled": true,
              "severity": "High",
              "description": "Data quality rule creation operation check test",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }, 
            {
              "id": 100002
              "name": "Table row count greater than 100",
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 100"
                  },
                  "critical": {
                    "expression": "$checkValue <= 100"
                  }
                }
              }
            }
          ],
          "hooks": [
            {
              "type": "BlockTaskInstance",
              "condition": "(${severity} == \"High\" AND ${status} == \"Critical\") OR (${severity} == \"High\" AND ${status} == \"Error\")"
            }
          ],
          "notifications": {
            "condition": "(${severity} == \"High\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Error\")",
            "notifications": [
              {
                "channels": [
                  "Mail",
                  "Sms"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "AliUid",
                    "receiverValues": [
                      "1107550004253538", 
                      "51107550004253538"
                    ]
                  }
                ]
              }, 
              {
                "channels": [
                  "Dingding"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "DingdingUrl",
                    "receiverValues": [
                      "https://api.dingding.com/message-boxes/b1/messages",
                      "https://api.dingding.com/message-boxes/b2/messages"
                    ],
                    "extension": "{ \"atAll\": true }"
                  }
                ]
              }
            ]
          },
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    eventCode

    String

    イベントコード。

    name

    String

    品質監視タスクの名前。

    description

    String

    データ品質検証タスクの説明。

    target

    DataQualityTarget

    データ品質検証タスクの監視対象。

    databaseType

    String

    テーブルタイプのデータセットのデータベースタイプ。

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    データマップ内のテーブルの一意の ID。

    trigger

    DataQualityEvaluationTaskTrigger

    データ品質検証タスクのトリガー設定。

    type

    String

    品質検証タスクの実行をトリガーできるイベント。

    • ByScheduledTaskInstance:定期インスタンスが正常に実行された場合。パブリッククラウドシナリオでのみサポートされます。

    • ByManual: 手動でトリガーされます。

    taskIds

    Array<Long>

    type=ByScheduledTaskInstance の場合に有効で、具体的にはどのスケジューリングノードインスタンスが正常に実行されたときにトリガーするかを示します。

    dataSourceId

    Long

    データ品質検証タスクの実行時に使用するデータソース。

    runtimeConf

    String

    データソース使用時の設定。現在、EMR yarn キューの指定と、EMR テーブル収集時の SQL エンジンを SPARK-SQL に設定することのみをサポートしています。

    rules

    List<DataQualityRule>

    データ品質ルールのリスト。詳細なパラメーターについては、「データ品質ルールの事前操作イベントパラメーター」をご参照ください。

    hooks

    Array<DataQualityEvaluationTaskHook>

    データ品質検証タスクインスタンスのライフサイクル中のコールバック設定。現在、スケジューリングタスクをブロックするためのフックを 1 つのみサポートしています。

    type

    String

    後続の処理アクションのタイプ。

    BlockTaskInstance:DataWorks タスクインスタンスの実行をブロックします。

    condition

    String

    フックトリガー条件。

    notifications

    Array<Notification>

    特定のメッセージ通知設定。

    projectId

    Long

    プロジェクトスペース ID。

    tenantId

    Long

    テナント ID。

    operator

    String

    オペレーターのユーザー UID。

    operationTime

    Long

    操作時間。

  • データ品質監視のクローン前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "clone-data-quality-evaluation-task",
          "id": 10001,
          "targets": [
            {
              "databaseType": "emr",
              "tableGuid": "an-emr-table-guid"
            },
            {
              "databaseType": "emr",
              "tableGuid": "another-emr-table-guid"
            }
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクトスペース ID。

    tenantId

    String

    テナント ID。

    operator

    String

    オペレーターのユーザー UID。

    operationTime

    Long

    操作時間。

    targets

    List<DataQualityTarget>

    クローン先のターゲットデータ品質監視オブジェクト。

    databaseType

    String

    テーブルタイプのデータセットのデータベースタイプ。

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    データマップ内のテーブルの一意の ID。

    id

    Long

    クローンに使用されるソースデータ品質監視 ID。

    eventCode

    String

    イベントコード。

  • データ品質監視の一括削除前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-delete-data-quality-evaluation-tasks",
          "ids": [
            10001,
            10002
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクトスペース ID。

    operator

    String

    オペレーターのユーザー UID。

    operationTime

    Long

    操作時間。

    ids

    List<Long>

    削除されるデータ品質監視の ID のリスト。

    tenantId

    String

    テナント ID。

    eventCode

    String

    イベントコード

データ品質監視アラートサブスクリプションの事前操作イベント (作成、更新、削除)

  • データ品質監視アラートサブスクリプションの作成前および削除前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "channel": "sms",
          "receiverValue": "1107***38",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクトスペース ID。

    operator

    String

    オペレーターのユーザー UID。

    operationTime

    Long

    操作時間。

    dataQualityEvaluationTaskId

    Long

    データ品質監視 ID。

    channel

    String

    サブスクリプションメッセージ配信チャネルタイプ。

    • Mail - メール

    • Sms - テキストメッセージ

    • Phone - 電話

    • Feishu - Lark

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - カスタム Webhook

    receiverValue

    String

    サブスクリプションメッセージ配信の特定のターゲット。

    eventCode

    String

    イベントコード。

  • データ品質監視の更新前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "currentChannel": "sms",
          "currentReceiverValue": "1107***538",
          "updatedChannel": "sms",
          "updatedReceiverValue": "1107***538",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクトスペース ID。

    operator

    String

    オペレーターのユーザー UID。

    operationTime

    Long

    操作時間。

    dataQualityEvaluationTaskId

    Long

    データ品質監視 ID。

    currentChannel

    String

    更新中のサブスクリプションメッセージ配信のチャネルタイプ。

    • Mail - メール

    • Sms - テキストメッセージ

    • Phone - 電話

    • Feishu - Lark

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - カスタム Webhook

    currentReceiverValue

    String

    更新中のサブスクリプションメッセージ配信の特定のターゲット。

    updatedChannel

    String

    更新されたサブスクリプションメッセージ配信チャネルタイプ。

    • Mail - メール

    • Sms - テキストメッセージ

    • Phone - 電話

    • Feishu - Lark

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - カスタム Webhook

    updatedReceiverValue

    String

    更新されたサブスクリプションメッセージ配信の特定のターゲット。

    eventCode

    String

    イベントコード。

テナントレベルのイベント

テナントレベルのモジュールは、テナントレベルのイベントを生成します。たとえば、管理コンソールでワークスペースを削除するときに生成されるイベントなどです。以下のイベントリストを使用して、どのイベントが標準イベントで、どのイベントが拡張ポイントイベントであるか、およびそれらのメッセージフォーマットを識別します。

以下のメッセージフォーマットタブには、一部の内容のみが含まれています。EventBridge または Function Compute に送信される完全なメッセージについては、「付録:メッセージフォーマット」をご参照ください

管理コンソールのイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ (Type)

拡張イベントタイプ (eventCode)

プロジェクトスペースの削除

プロジェクトスペース削除前イベント

image

image

dataworks:ProjectChange:DeleteProject

delete-project

末尾のスペースを削除します。

image

image

dataworks:ProjectChange:ProjectDeleted

project-deleted

メッセージフォーマット

メッセージペイロードフォーマット:プロジェクトスペース削除イベント

  • テナントのプロジェクトスペース削除前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
     
      "data": {
        "eventCode": "delete-project",
        "projectId": 7***7, // ワークスペース ID
        "tenantId": 2807****0784, // テナント ID
        "operator": "19***735
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    operator

    String

    DataWorks ワークスペースからユーザー UID を削除します。

    projectId

    Long

    削除される DataWorks ワークスペースの ID。

    tenantId

    Long

    削除されるワークスペースが属するテナント ID。

    eventCode

    String

    拡張イベントコード。

  • テナントのプロジェクトスペース削除後イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
        
        "data": {
            "eventCode": "project-deleted",
            "tenantId": 28***656,
            "blockBusiness": false,
            "projectName": "test2",
            "projectId": 9***4,
            "operator": "19***735",
            "timestamp": 1702260556896
       } 
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    operator

    String

    DataWorks ワークスペースからユーザー UID を削除します。

    projectId

    Long

    削除される DataWorks ワークスペースの ID。

    projectName

    String

    削除される DataWorks ワークスペースの名前。

    tenantId

    Long

    削除されるワークスペースが属するテナント ID。

    timestamp

    Long

    メッセージが送信されたときのタイムスタンプ。

    eventCode

    String

    拡張イベントコード。

アップロードおよびダウンロードのイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

標準イベント

拡張ポイントイベント

EventBridge イベントタイプ (Type)

拡張イベントタイプ (eventCode)

データのアップロードとダウンロード

データダウンロード事前イベント - ファイル生成

image

image

dataworks:ResourcesDownload:DownloadResources

download-resources

データダウンロード事前イベント - ファイルダウンロード

image

image

dataworks:ResourcesDownload:DownloadResourcesExecute

download-resources-execute

データアップロード事前イベント

image

image

dataworks:ResourcesUpload:UploadDataToTable

upload-data-to-table

メッセージフォーマット

データのアップロードとダウンロード

  • データダウンロード事前イベント - ファイル生成のメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    { 
        "data": {
            "eventCode": "download-resources",
            "moduleType": "sqlx_query",
            "operatorBaseId": "123936573******",
            "operatorUid": "14931896037*******",
            "fileName": "File name.csv",
            "fileSize": 10241024,
            "datasourceId": "1111",
            "datasourceName": "odps_first",
            "queryDwProjectId": "9***4",
            "queryDwProjectName": "test_project",
            "dataRowSize": "123456",
            "sqlText": "select sku_code, sku_name from dim_sku",
        }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    moduleType

    String

    ダウンロードされたデータのソース:

    • entity_transfer: からダウンロードされたデータ。

    • develop_query:データ開発 (DataStudio) で SQL ステートメントを使用してクエリおよびダウンロードされたデータ。

    • sqlx_query: で SQL ステートメントを使用してクエリおよびダウンロードされたデータ。

    • dw_excel: からダウンロードされたデータ。

    operatorBaseId

    String

    ダウンロード操作を実行するユーザーの BaseID。

    operatorUid

    String

    ダウンロード操作を実行するユーザーの UID。

    fileName

    String

    ダウンロードされたファイルの名前。

    fileSize

    Long

    ダウンロードされたファイルのサイズ。

    datasourceId

    String

    ダウンロードされたデータが属するデータソースの ID。

    datasourceName

    String

    ダウンロードされたデータが属するデータソースの名前。

    queryDwProjectId

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの ID。

    queryDwProjectName

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの識別子。

    dataRowSize

    Long

    ダウンロードされたデータ行数。

    sqlText

    String

    SQL ステートメントでデータをクエリおよびダウンロードする際に使用される SQL コード。

    eventCode

    String

    拡張イベントタイプ。

  • データダウンロード事前イベント - ファイルダウンロードのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "download-resources-execute",
        "moduleType": "sqlx_query",
        "operatorBaseId": "123936573******",
        "operatorUid": "14931896037*******",
        "fileName": "File name.csv",
        "fileSize": 10241024,
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "dataRowSize": "123456",
        "sqlText": "select sku_code, sku_name from dim_sku",
        "ip": "198.10.X.X"
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesDownload:DownloadResourcesExecute"
    }

    重要なフィールドの説明を次の表に示します。

    フィールド名

    フィールドタイプ

    説明

    moduleType

    String

    ダウンロードされたデータのソース:

    • entity_transfer: からダウンロードされたデータ。

    • develop_query:データ開発 (DataStudio) で SQL ステートメントを使用してクエリおよびダウンロードされたデータ。

    • sqlx_query: で SQL ステートメントを使用してクエリおよびダウンロードされたデータ。

    • dw_excel: からダウンロードされたデータ。

    operatorBaseId

    String

    ダウンロード操作を実行するユーザーの BaseID。

    operatorUid

    String

    ダウンロード操作を実行するユーザーの UID。

    fileName

    String

    ダウンロードされたファイルの名前。

    fileSize

    Long

    ダウンロードされたファイルのサイズ。

    datasourceId

    String

    ダウンロードされたデータが属するデータソースの ID。

    datasourceName

    String

    ダウンロードされたデータが属するデータソースの名前。

    queryDwProjectId

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの ID。

    queryDwProjectName

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの識別子。

    dataRowSize

    Long

    ダウンロードされたデータ行数。

    sqlText

    String

    SQL ステートメントでデータをクエリおよびダウンロードする際に使用される SQL コード。

    ip

    String

    ダウンロード操作を実行するユーザーの IP アドレス。

    eventCode

    String

    拡張イベントタイプ。

  • データアップロード事前イベントのメッセージペイロードフォーマット (イベントメッセージの data フィールドの内容) を次の例に示します。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "upload-data-to-table",
        "uploadSourceType": "LOCAL",
        "optTableType": "CREATE",
        "targetEngineType": "MAXCOMPUTE",
        "writeType": "OVERWRITE",
        "conflictMode": "IGNORE",
        "operatorBaseId": "12312*****",
        "operatorUid": "1222222*****",
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "tableGuid": "odps.mc_project.test_table",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "fileSize": 123456
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesUpload:UploadDataToTable"
    }

    フィールドの説明は以下の通りです:

    フィールド名

    フィールドタイプ

    説明

    uploadSourceType

    String

    アップロードされたデータのソース:

    • LOCAL:ローカルファイルデータをアップロードします。

    • OSS:OSS ファイルデータをアップロードします。

    • DW_EXCEL:DataWorks データをアップロードします。

    • HTTP:HTTP ファイルデータをアップロードします。

    optTableType

    String

    指定されたエンジンデータソースに既存のテーブルにデータをアップロードするか、新しいテーブルを作成するかを選択します。有効値:

    • CREATE:新しいテーブルにデータをアップロードします。

    • IMPORT:既存のテーブルにデータをアップロードします。

    targetEngineType

    String

    データをアップロードするエンジンのタイプを選択します。有効値:

    • MaxCompute

    • EMR Hive

    • Hologres

    writeType

    String

    宛先テーブルへのデータの書き込み方法。有効値:

    • OVERWRITE:既存のテーブルデータを上書きします。

    • APPEND:アップロードされたデータを宛先テーブルに追加します。

    conflictMode

    String

    宛先テーブルにデータをアップロードする際の主キー競合の処理戦略:

    • IGNORE:主キー競合が存在する場合、アップロードされたデータを無視します。

    • REPLACE:競合するデータを持つ行を最初に削除し、次にアップロードされたデータをそれらの行に挿入します。アップロードされたデータで指定されていないフィールドは NULL として書き込まれます。

    • UPDATE:元のテーブルデータをアップロードされたデータで上書きし、指定されたフィールドのみをカバーします。指定されていないフィールドは変更されません。

    operatorBaseId

    String

    アップロード操作を実行するユーザーの BaseID。

    operatorUid

    String

    アップロード操作を実行するユーザーの UID。

    datasourceId

    String

    データをアップロードするデータソース。ここにデータソース ID を入力します。

    datasourceName

    String

    データをアップロードするデータソース。ここにデータソース名を入力します。

    tableGuid

    String

    テーブル Guid。例:

    • MaxCompute:odps.maxcomputeProject.tableName

    • EMR_Hive:emr_hive.emr cluster id.schema.tableName

    • Holo:holo.hologres-instance-id.database

    queryDwProjectId

    String

    テーブルが属する DataWorks ワークスペースの ID。

    queryDwProjectName

    String

    テーブルが属する DataWorks ワークスペースの名前。

    fileSize

    Long

    アップロードされたファイルのサイズ (バイト単位)。

    eventCode

    String

    拡張イベントコード。

付録:メッセージフォーマット

EventBridge のメッセージフォーマット

OpenEvent を設定し、イベント配信チャネルを追加した後、DataWorks でワークスペースレベルまたはテナントレベルのイベントがトリガーされると、メッセージは EventBridge で設定されたイベントタイプ (Type) に基づいてフィルタリングされます。以下に、DataWorks がイベント配信チャネルを通じて EventBridge に送信するメッセージフォーマットを示します。

{ 
 "datacontenttype": "application/json;charset=utf-8",// data パラメーターの内容のフォーマット。datacontenttype は application/json フォーマットのみをサポートします。
  "data": {
 // メッセージ内容はメッセージタイプによって異なります。以下はすべてのイベントメッセージに含まれる 2 つの固定フィールドです。各イベントメッセージの詳細については、上記をご参照ください。
 "tenantId": 28378****10656,// テナント ID。DataWorks の各 Alibaba Cloud アカウントは 1 つのテナントに対応し、各テナントには独自のテナント ID があります。この値は、DataWorks データ開発の右上にあるユーザー情報で確認できます。
 "eventCode": "xxxx"//
  },
  "id": "539fd8f4-4ea1-4625-aa8b-6c906674****",// イベント ID。イベントの一意の識別子。
  "source": "acs.dataworks",// イベントソース、イベントを提供するサービス。このメッセージが DataWorks によってプッシュされたことを示します。
  "specversion": "1.0",
  "subject": "",
  "time": "2020-11-19T21:04:41+08:00",// イベントが発生した時刻。
  "type": "dataworks:InstanceStatusChanges:InstanceStatusChanges",// イベントタイプ。このイベントタイプは、EventBridge コンソールで DataWorks によってプッシュされたすべてのメッセージをフィルタリングするために使用できます。各イベントには異なる Type 値があります。さまざまなイベントメッセージタイプについては、上記をご参照ください。
  "aliyunaccountid": "123456789098****",// Alibaba Cloud アカウント ID
  "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",// EventBridge がイベントを受信した時刻。
  "aliyuneventbusname": "default",// DataWorks イベントメッセージを受信する EventBridge イベントバスの名前。
  "aliyunregionid": "cn-hangzhou",// イベントを受信するリージョン。
  "aliyunpublishaddr": "172.25.XX.XX"
}

完全なイベントメッセージには、メッセージペイロードフォーマットと、メッセージ ID、ソース、発生時刻などの基本情報が含まれます。重要なフィールドの説明を次の表に示します。

フィールド名

フィールドタイプ

説明

data

object

メッセージペイロードフォーマット。メッセージフォーマットとフィールドの意味はイベントタイプによって異なります。詳細については、以下をご参照ください:

データ開発イベントメッセージフォーマット:「データ開発のイベントリスト」。

データ統合イベントメッセージフォーマット:「データ統合のイベントリスト」。

オペレーションセンターイベントメッセージフォーマット:「オペレーションセンターのイベントリスト」。

セキュリティセンターイベントメッセージフォーマット:「セキュリティセンターのイベントリスト」。

Data Quality イベントメッセージフォーマット:「Data Quality のイベントリスト」。

id

String

イベントメッセージの一意の ID。イベントメッセージを特定するために使用されます。

type

String

イベントタイプ。イベントソースに関連するイベントタイプを記述します。値の例:

  • dataworks:FileChange:CommitFile:ファイルのコミットを示します。

  • dataworks:FileChange:DeployFile:ファイルのデプロイを示します。

このイベントタイプは、EventBridge コンソールで DataWorks によってプッシュされたすべてのメッセージをフィルタリングするために使用できます。各イベントには異なる Type 値があります。さまざまなイベントメッセージタイプについては、上記をご参照ください。

Function Compute のメッセージフォーマット

DataWorks で Function Compute を使用して 拡張機能を設定すると、DataWorks は対応する拡張ポイントイベントのメッセージを JSON 形式で Function Compute に送信します。以下に、Function Compute に送信されるメッセージフォーマットを示します。

{
	"blockBusiness": true,
	"eventCategoryType": "resources-download",// イベントカテゴリ
	"eventType": "upload-data-to-table",// イベントタイプ
	"extensionBizId": "job_6603***070",
	"messageBody": {
             // メッセージ内容はメッセージタイプによって異なります。以下はすべてのイベントメッセージに含まれる 2 つの固定フィールドです。各イベントメッセージの詳細については、上記をご参照ください。
             "tenantId": 28378****10656,// テナント ID。DataWorks の各 Alibaba Cloud アカウントは 1 つのテナントに対応し、各テナントには独自のテナント ID があります。この値は、DataWorks データ開発の右上にあるユーザー情報で確認できます。
             "eventCode": "xxxx"//
	},
	"messageId": "52d44ee7-b51f-4d4d-afeb-*******"// イベント ID。イベントの一意の識別子。
}

重要なフィールドの説明は以下の通りです:

フィールド名

フィールドタイプ

説明

messageId

String

イベント ID、イベントの一意の識別子。

messageBody

DataWorks によってプッシュされた特定のイベントメッセージ。拡張機能の開発で使用できます。メッセージ内容はメッセージタイプによって異なります。

tenantId

テナント ID。DataWorks の各 Alibaba Cloud アカウントは 1 つのテナントに対応し、各テナントには独自のテナント ID があります。この値は、DataWorks データ開発の右上にあるユーザー情報で確認できます

eventCode

イベントコード。特定のタイプのイベントメッセージを識別するために使用されます。各イベントタイプに対応する eventCode の値については、「開発リファレンス:イベントリストとメッセージフォーマット」テーブルの拡張イベントタイプ (eventCode) 列をご参照ください。