すべてのプロダクト
Search
ドキュメントセンター

DataWorks:開発リファレンス:イベントリストとメッセージフォーマット

最終更新日:Jan 23, 2026

本トピックでは、DataWorks のイベントタイプとメッセージフォーマット、およびメッセージ内のフィールドについて説明します。このトピックを参照することで、イベントリストとメッセージフォーマットに関する情報を素早く見つけることができます。

背景情報

DataWorks では、イベントが DataWorks の内部操作をブロックできるかどうか、および自己管理型サービスがイベントをサブスクライブした後に処理結果を返すことができるかどうかに応じて、イベントは通常イベントまたは拡張ポイントイベントに分類されます。

  • 通常イベント:これらのイベントのメッセージをサブスクライブできますが、DataWorks の内部操作をブロックすることはできません。OpenEvent を通じてこれらのイベントメッセージをサブスクライブできます。詳細については、「OpenEvent」をご参照ください。

  • 拡張ポイントイベント:これらのイベントのメッセージをサブスクライブした後、DataWorks オープンプラットフォームの拡張機能を使用して、イベントメッセージへの応答をカスタマイズできます。拡張機能を使用して拡張ポイントでの操作を制御すると、カスタム拡張が処理結果を返すまで、DataWorks プラットフォームでの操作はブロックされます。

本トピックでは、各モジュールでサポートされているイベント、そのタイプ (通常イベントまたは拡張ポイントイベント)、EventBridge イベントタイプ (Type)、および拡張イベントコード (eventCode) をリストアップします。

  • EventBridge イベントタイプ (Type):イベントメッセージをフィルターするために使用されるフィールドです。詳細については、「メッセージサブスクリプションの有効化」をご参照ください。

  • 拡張イベントコード (eventCode):イベントタイプに対応するイベントコードです。ローカルで開発する際、DataWorks から送信されるメッセージのコンテンツからこのコードを取得して、ターゲットのイベントタイプを識別できます。

ワークスペースレベルのイベント

ワークスペースレベルのモジュールは、ワークスペースレベルのイベントを生成します。例としては、DataStudio でノードが実行されたときに生成されるイベントメッセージや、オペレーションセンターで定期インスタンスのステータスが変更されたときに生成されるイベントメッセージなどがあります。以下のイベントリストは、各モジュールについてどのイベントが通常イベントで、どのイベントが拡張ポイントイベントであるかを示し、各イベントのメッセージフォーマットも示しています。

以下のメッセージフォーマットタブには、一部のコンテンツのみが表示されます。EventBridge または Function Compute に送信される完全なメッセージについては、「付録:メッセージフォーマット」をご参照ください。

データ開発イベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

通常イベント

拡張ポイントイベント

EventBridge イベントタイプ (Type)

拡張イベントコード (eventCode)

ノードの変更

ノードの作成

  • 新しいノードを本番環境に公開する

image

image

dataworks:NodeChange:NodeChangeCreated

node-change-created

ノードの更新

  • 開発環境でノードを変更する

  • 修正を本番環境に公開する

image

image

dataworks:NodeChange:NodeChangeUpdated

node-change-updated

ファイルの変更

  • ノード

  • リソース

  • 関数

ファイル削除前イベント

開発環境でノードを削除する

説明

削除されたファイルはゴミ箱に移動されます。

image

image

dataworks:FileChange:DeleteFile

delete-file

ファイルコミット前イベント

image

image

dataworks:FileChange:CommitFile

commit-file

ファイル公開前イベント

image

image

dataworks:FileChange:DeployFile

deploy-file

コード実行前イベント

image

image

dataworks:FileChange:RunFile

run-file

テーブルの変更

フォーム送信前処理イベント

image

image

dataworks:TableChange:CommitTable

commit-table

テーブルを本番環境に公開する前のイベント

image

image

dataworks:TableChange:DeployTable

deploy-table

メッセージフォーマット

ノード変更イベント (作成、更新)

次の例は、ノードの作成、更新、削除イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "nodeName": "****",
    "programType": "ODPS_SQL",
    "cronExpress": "00 04 00 * * ?",
    "blockBusiness": false,
    "schedulerType": "NORMAL",
    "ownerId": "19****735",
    "priority": 1,
    "baselineId": 70***287,
    "operator": "19***735", // この操作を実行したユーザー
    "eventCode": "node-change-created",
    "repeatability": true,
    "modifyTime": 17***864,
    "createTime": 17***864,
    "tenantId": 28***656,
    "nodeId": 70***003,
    "projectId": 9***4
  }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

nodeName

文字列

ノードの名前。

programType

文字列

ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。

cronExpress

文字列

定期スケジュールの cron 式。

このパラメーターは、DataWorks コンソールデータ開発タスクの スケジューリング設定 > 時間プロパティ > Cron 式 に対応します。

スケジューリング周期予約時間を設定すると、DataWorks は自動的に cron 式を生成します。例:

  • 毎日 05:30 に実行するようにスケジュール:00 30 05 * * ?

  • 毎時 15 分に実行するようにスケジュール:00 15 * * * ?

  • 10 分ごとに実行するようにスケジュール:00 00/10 * * * ?

  • 毎日 08:00 から 17:00 まで 10 分ごとに実行するようにスケジュール:00 00-59/10 8-17 * * * ?

  • 毎月 1 日の 00:20 に実行するようにスケジュール:00 20 00 1 * ?

  • 1 月 1 日の 00:10 から 3 ヶ月ごとに実行するようにスケジュール:00 10 00 1 1-12/3 ?

  • 火曜日と金曜日の 00:05 に実行するようにスケジュール:00 05 00 * * 2,5

説明

cron 式には次の制限が適用されます:

  • 最小スケジューリング間隔は 5 分です。

  • 最も早い予約時間は 00:05 です。

schedulerType

文字列

タスクインスタンスのスケジューリングタイプ。有効な値:

  • 0:NORMAL。タスクは定期的にスケジュールされたタスクであり、繰り返し実行されます。

  • 1:MANUAL。タスクはワンタイムタスクであり、繰り返し実行されません。

  • 2:PAUSE。タスクは凍結されています。定期的にスケジュールされますが、起動時にステータスが失敗に設定されます。

  • 3:SKIP。タスクはドライランタスクです。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。

  • 4:SKIP_UNCHOOSE。タスクは一時的なワークフローで選択されていません。一時的なワークフローにのみ存在し、起動時にステータスが成功に設定されます。

  • 5:SKIP_CYCLE。タスクは週次または月次のタスクで、実行サイクルに達していません。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。

  • 6:CONDITION_UNCHOOSE。上流インスタンスにブランチ (IF) ノードがありますが、この子孫ノードはブランチノードによって選択されていません。タスクはドライランタスクとして扱われます。

  • 7:REALTIME_DEPRECATED。定期インスタンスはリアルタイムで生成されますが、期限切れになっています。このタイプのタスクのステータスは成功に設定されます。

ownerId

文字列

ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。

priority

整数

タスクの優先度。有効な値は 13578 です。値が大きいほど優先度が高くなります。

baselineId

ロング

ベースライン ID。

repeatability

ブール値

ノードを繰り返し実行できるかどうかを示します:

  • true:ノードは繰り返し実行できます。

  • false:ノードは繰り返し実行できません。

modifyTime

長い

ノードが最後に変更された時間。

createTime

長い

ノードが作成された日時。

nodeId

長い

ノード ID。

projectId

ロング

ノードが配置されているプロジェクトの ID。

tenantId

長い

ノードが属するテナントの ID。

operator

文字列

ノードを作成、変更、または削除したユーザーの UID。

eventCode

文字列

拡張イベントコード

ファイル変更イベント (コミット、公開、実行、削除)

  • 次の例は、ファイルのコミットおよび公開イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "******",
        "extensionBizId": "eb******9ce",
        "changeType": "0",
        "blockBusiness": false,
        "dataSourceName": "0_******engine",
        "operator": "19***735",
        "eventCode": "commit-file",
        "fileCreateTime": "2024-07-12 11:08:50",
        "tenantId": 28***656,
        "fileOwner": "19***735",
        "fileVersion": 1,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    フィールドの説明は次のとおりです:

    フィールド名

    フィールドタイプ

    説明

    operator

    文字列

    ファイルをコミットまたは公開したユーザーの UID。

    projectId

    長い

    ファイルが属するプロジェクトの ID。

    tenantId

    長い

    テナント ID。

    nodeId

    長い

    スケジューリングノード ID。

    fileType

    長い

    ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。

    fileName

    文字列

    ファイル名。

    fileOwner

    文字列

    ファイル所有者。

    extensionBizId

    文字列

    拡張チェックポイントプロセスの ID。

    changeType

    文字列

    ファイル変更のタイプ:

    • 0:ファイルの作成。

    • 1:ファイルの更新。

    • 2:ファイルの削除。

    fileCreateTime

    文字列

    ファイルが作成された時刻。フォーマットは yyyy-MM-dd HH:mm:ss です。

    fileId

    長い

    ファイル ID です。

    fileVersion

    長い

    ファイルバージョン。

    dataSourceName

    文字列

    データソース名。

    eventCode

    文字列

    拡張イベントコード。

  • 次の例は、ファイルの削除および実行イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "***",
        "extensionBizId": "bf******6e3",
        "blockBusiness": false,
        "operator": "19***735",
        "eventCode": "delete-file",
        "fileCreateTime": "2024-07-12 11:08:50", // ファイル作成時刻
        "tenantId": 28***656,
        "fileOwner": "19***735", // ファイル所有者
        "nodeId": 70***003,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    タイプ

    説明

    operator

    文字列

    ファイルを削除または実行したユーザーの UID。

    projectId

    長い

    ファイルが属するプロジェクトの ID。

    tenantId

    長い

    テナント ID。

    nodeId

    長い

    スケジューリングノード ID。

    fileType

    長い

    ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。

    fileName

    文字列

    ファイル名。

    fileOwner

    文字列

    ファイル所有者。

    extensionBizId

    文字列

    拡張チェックポイントプロセスの ID。

    fileCreateTime

    文字列

    ファイルが作成された時刻。フォーマットは yyyy-MM-dd HH:mm:ss です。

    fileId

    長い

    ファイル ID です。

    eventCode

    文字列

    拡張イベントコード。

テーブル変更イベント (開発環境へのテーブルのコミット、本番環境へのテーブルの公開)

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "operator": "**************", // オペレーター
    "projectId": 12*****56, // プロジェクトID
    "tenantId": 12******56, // テナントID
    "extensionBizId": "12***56", // 拡張機能のチェックプロセスID
    "tableName":"table1", // テーブル名
    "tableType":"ODPS",  // テーブルタイプ
    "maxComputeProject":"project1" // MaxComputeプロジェクト名
  }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

operator

文字列

テーブルをコミットまたは公開したユーザーの UID。

projectId

長い

プロジェクト ID

tenantId

長い

テナント ID。

extensionBizId

文字列

拡張チェックポイントプロセスの ID。

tableName

文字列

テーブル名。

tableType

文字列

テーブルタイプ。値は ODPS です。

maxComputeProject

文字列

対応する MaxCompute プロジェクトの名前。

データ統合イベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

通常のイベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントタイプ (eventCode)

ノード変更イベント

タスクの開始

image

image

dataworks:NodeChange:StartDiJob

start-diJob

タスクの一括開始

image

image

dataworks:NodeChange:BatchStartDiJob

batch-start-diJob

メッセージフォーマット

ノード変更イベント - タスクの開始

次の例は、「タスクの開始」ノード変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

## メッセージ v1:開始するテーブル数が 500 未満の場合
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "extensionBizId": "0a4***b8ae",
        "extensionBizName": "sync_mysql_to_odps_20240726_192307",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "id": 5280,
        "projectId": 9***4,
        "tableMapping": [
            {
                "srcTable": "xb_test_116",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_116"
            },
            {
                "srcTable": "xb_test_117",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_117"
            },
            {
                "srcTable": "xb_test_118",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_118"
            },
            {
                "srcTable": "xb_test_135",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_135"
            }
        ],
        "operator": "1504650005316516"
    }
}

## メッセージ v2:開始するテーブル数が 500 未満の場合
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "extensionBizId": "59d***50fc",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801",
        "blockBusiness": true,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-09-11 12:00:00"
        },
        "eventCode": "start-diJob",
        "jobId": 5777,
        "forceRun": false,
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test_verify1",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1"
            },
            {
                "srcTable": "test_verify1_dst",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1_dst"
            },
            {
                "srcTable": "mysql_0_timetest2",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "mysql_0_timetest2"
            }
        ]
    }
}

## メッセージ v2:開始するテーブル数が 500 を超える場合、"showTableMapping": false
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5502,
        "forceRun": false,
        "extensionBizId": "f4c***7cbc",
        "extensionBizName": "sync_mysql_to_holo_20240412_213634",
        "appId": 330914,
        "showTableMapping": false,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-04-12 22:07:02",
            "startDateTime": "2024-09-10 17:00:00",
            "timeZone": "Asia/Shanghai"
        }
    }
}

## 正規表現
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5778,
        "forceRun": false,
        "extensionBizId": "a5d***75ba",
        "extensionBizName": "sync_mysql_to_holo_20240912_170517",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "aaa"
            },
            {
                "srcTable": "shard.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "vvv"
            }
        ],
        "operator": "19***735"
    }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

projectId

Long

DataWorks プロジェクト ID。

operator

String

操作を実行したユーザーの UID。

extensionBizName

String

ソリューション名。

showTableMapping

ブール値

テーブルマッピング情報を返すかどうかを示します。

  • true:返します。

  • false:返しません。

テーブル数が 500 を超える場合、showTableMapping のデフォルト値は false です。

tableMapping

JSONArray

テーブルマッピング。

srcDatasourceName

String

ソースデータソース名。

srcDatabaseName

String

ソースデータベース名。

srcTable

String

ソーステーブル名。

dstDatasourceName

String

ターゲットデータソースの名前。

dstTable

String

宛先テーブル名。

tenantId

Long

テナント ID。

eventCode

String

拡張イベントコード。

ノード変更イベント - タスクの一括開始

次の例は、「タスクの一括開始」ノード変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "needErrorMessage": false,
        "extensionBizId": "2de***c4c6",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801,sync_mysql_to_odps_20240726_192307",
        "errorMessageOnlyFailedFileIds": false,
        "blockBusiness": true,
        "env": "prod",
        "operator": "15***516",
        "setting": {
            "startDateTime": "2024-09-12 14:00:00",
            "timeZone": "Asia/Shanghai"
        },
        "jobIds": [
            5777,
            5679
        ],
        "eventCode": "batch-start-diJob",
        "tableMappings": [
            {
                "extensionBizName": "sync_mysql_to_holo_20240911_170801",
                "id": 5777,
                "tableMapping": [
                    {
                        "srcTable": "test_verify1",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1"
                    },
                    {
                        "srcTable": "test_verify1_dst",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1_dst"
                    },
                    {
                        "srcTable": "mysql_0_timetest2",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "mysql_0_timetest2"
                    }
                ]
            },
            {
                "extensionBizName": "sync_mysql_to_odps_20240726_192307",
                "id": 5679,
                "tableMapping": [
                    {
                        "srcTable": "xb_test_116",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_116"
                    },
                    {
                        "srcTable": "xb_test_117",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_117"
                    },
                    {
                        "srcTable": "xb_test_118",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_118"
                    },
                    {
                        "srcTable": "xb_test_135",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_135"
                    }
                ]
            }
        ],
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 52***018,
        "projectId": 9***4
    }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

projectId

Long

DataWorks プロジェクト ID。

operator

String

操作を実行したユーザーの UID。

extensionBizName

String

ソリューション名。

setting

JSONObject

起動設定項目。

startDateTime

String

起動時刻。

timeZone

String

起動タイムゾーン。

tableMapping

JSONArray

テーブルマッピング。

srcDatasourceName

String

ソースデータソース名。

srcDatabaseName

String

ソースデータベース名。

srcTable

String

ソーステーブル名。

dstDatasourceName

String

ターゲットデータソースの名前を指定します。

dstTable

String

宛先テーブル名。

showTableMapping

ブール値

テーブルマッピング情報を返すかどうかを示します。

  • true:返します。

  • false:返しません。

テーブル数が 500 を超える場合、showTableMapping のデフォルト値は false です。

tenantId

Long

テナント ID。

eventCode

String

拡張イベントコード。

オペレーションセンターイベントリスト

イベントリスト

重要

スケジュールリソースグループまたは所有者を変更すると、node-change-updated イベントがトリガーされます。

イベントタイプ

イベント (およびトリガー操作)

通常のイベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントタイプ (eventCode)

ノードの変更

ノードの削除

  • 削除操作を公開して本番ノードをオフラインにする

  • ゴミ箱からノードを削除します

image

image

dataworks:NodeChange:NodeChangeDeleted

node-change-deleted

ノード非公開前イベント

本番環境で定期タスクノードを直接オフラインにする

説明

この操作は DataStudio のノードも削除し、ゴミ箱に移動します。

image

image

dataworks:NodeChange:UndeployNode

undeploy-node

ノード凍結前イベント

重要

このイベントは node-change-updated イベントもトリガーします。

image

image

dataworks:NodeChange:FreezeNode

freeze-node

ノード凍結解除前イベント

重要

このイベントは node-change-updated イベントもトリガーします。

image

image

dataworks:NodeChange:UnFreezeNode

unfreeze-node

ノードデータバックフィル

データバックフィル前イベント

image

image

dataworks:BackfillDataOperate:BackfillData

backfill-data

タスクステータスの変更

スケジューリングタスクステータスの変更

image

image

dataworks:InstanceStatusChanges:InstanceStatusChanges

instance-status-changes

インスタンスの変更

インスタンスの凍結

image

image

dataworks:InstanceChange:FreezeInstance

freeze-instance

インスタンスの凍結解除

image

image

dataworks:InstanceChange:UnfreezeInstance

unfreeze-instance

インスタンスの停止

image

image

dataworks:InstanceChange:KillInstance

kill-instance

インスタンスの再実行

  • 再実行

  • 下流の再実行

image

image

dataworks:InstanceChange:RerunInstance

rerun-instance

インスタンスを成功に設定

image

image

dataworks:InstanceChange:SetInstanceSuccess

set-instance-success

インスタンスの指定された上流依存関係を削除

image

image

dataworks:InstanceChange:DeleteTaskInstanceDependencies

delete-task-instance-dependencies

インスタンス凍結前イベント

image

image

dataworks:InstanceChange:PreFreezeInstance

pre-freeze-instance

インスタンス凍結解除前イベント

image

image

dataworks:InstanceChange:PreUnfreezeInstance

pre-unfreeze-instance

インスタンス再実行前イベント

image

image

dataworks:InstanceChange:PreRerunInstance

pre-rerun-instance

インスタンスを成功イベントに事前設定

image

image

dataworks:InstanceChange:PreSetInstanceSuccess

pre-set-instance-success

インスタンス強制終了前イベント

image

image

dataworks:InstanceChange:PreKillInstance

pre-kill-instance

期限切れインスタンスの削除

image

image

dataworks:InstanceChange:ExpiredTaskInstancesDeleted

expired-task-instances-deleted

ワークフローステータスの変更

ワークフローステータスの変更

  • データバックフィルインスタンス

  • 手動トリガーワークフロー

image

image

dataworks:DagStatusChanges:DagStatusChanges

dag-status-changes

監視とアラート

監視とアラート

image

image

dataworks:MonitorAlert:WorkbenchMonitorAlert

workbench-monitor-alert

メッセージフォーマット

ノード変更イベント (削除、非公開、凍結、凍結解除)

  • 次の例は、ノード削除イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "nodeName": "",
        "programType": "ODPS_SQL",
        "cronExpress": "00 20 00 * * ?",
        "schedulerType": "NORMAL",
        "ownerId": "19****735",
        "priority": 1,
        "baselineId": 117801853,
        "repeatability": true,
        "modifyTime": 1646364549642,
        "createTime": 1646364549642,
        "datasource": "odps_source",
        "tenantId": 28378****10656,
        "nodeId": 100***150,
        "projectId": 30**95,
        "operator": "19***735"  // この操作を実行したユーザー
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    nodeName

    文字列

    ノードの名前。

    programType

    文字列

    ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。

    cronExpress

    文字列

    定期スケジュールの cron 式。

    このパラメーターは、DataWorks コンソールデータ開発タスクの スケジューリング設定 > 時間プロパティ > Cron 式 設定に対応します。

    スケジューリング周期予約時間を設定すると、DataWorks は自動的に cron 式を生成します。例:

    • 毎日 05:30 に実行するようにスケジュール:00 30 05 * * ?

    • 毎時 15 分に実行するようにスケジュール:00 15 * * * ?

    • 10 分ごとに実行するようにスケジュール:00 00/10 * * * ?

    • 毎日 08:00 から 17:00 まで 10 分ごとに実行するようにスケジュール:00 00-59/10 8-17 * * * ?

    • 毎月 1 日の 00:20 に実行するようにスケジュール:00 20 00 1 * ?

    • 1 月 1 日の 00:10 から 3 ヶ月ごとに実行するようにスケジュール:00 10 00 1 1-12/3 ?

    • 火曜日と金曜日の 00:05 に実行するようにスケジュール:00 05 00 * * 2,5

    説明

    cron 式には次の制限が適用されます:

    • 最小スケジューリング間隔は 5 分です。

    • 最も早い予約時間は 00:05 です。

    schedulerType

    文字列

    タスクインスタンスのスケジューリングタイプ。有効な値:

    • 0:NORMAL。タスクは定期的にスケジュールされたタスクであり、繰り返し実行されます。

    • 1:MANUAL。タスクはワンタイムタスクであり、繰り返し実行されません。

    • 2:PAUSE。タスクは凍結されています。定期的にスケジュールされますが、起動時にステータスが失敗に設定されます。

    • 3:SKIP。タスクはドライランタスクです。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。

    • 4:SKIP_UNCHOOSE。タスクは一時的なワークフローで選択されていません。一時的なワークフローにのみ存在し、起動時にステータスが成功に設定されます。

    • 5:SKIP_CYCLE。タスクは週次または月次のタスクで、実行サイクルに達していません。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。

    • 6:CONDITION_UNCHOOSE。上流インスタンスにブランチ (IF) ノードがありますが、この子孫ノードはブランチノードによって選択されていません。タスクはドライランタスクとして扱われます。

    • 7:REALTIME_DEPRECATED。定期インスタンスはリアルタイムで生成されますが、期限切れになっています。このタイプのタスクのステータスは成功に設定されます。

    ownerId

    文字列

    ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。

    priority

    整数

    タスクの優先度。有効な値は 13578 です。値が大きいほど優先度が高くなります。

    baselineId

    長い

    ベースライン ID。

    repeatability

    ブール値

    ノードを繰り返し実行できるかどうかを示します:

    • true:ノードは繰り返し実行できます。

    • false:ノードは繰り返し実行できません。

    modifyTime

    長い

    ノードが最後に変更された時刻。

    createTime

    長い

    ノードが作成された日時。

    nodeId

    長い

    ノード ID。

    projectId

    長い

    ノードが配置されているプロジェクトの ID。

    tenantId

    長い

    ノードが属するテナントの ID。

    operator

    文字列

    ノードを作成、変更、または削除したユーザーの UID。

  • 次の例は、ノードの凍結、凍結解除、非公開イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "19***735", // オペレーター
        "projectId": 12***56, // プロジェクトID
        "tenantId": 28***656, // テナントID
        "nodeIds":[1,2,3], // ノードIDのリスト
        "extensionBizId": "12***56" // 拡張機能のビジネスID
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    operator

    文字列

    ノードを凍結、凍結解除、または非公開にしたユーザーの UID。

    projectId

    長い

    ノードが配置されているプロジェクトの ID。

    tenantId

    長い

    テナント ID。

    nodeIds

    配列

    操作されたノードの ID のリスト。

    extensionBizId

    文字列

    拡張チェックポイントプロセスの ID。

ノードデータバックフィル

次の例は、データバックフィル操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "excludeNodeIds":[], // 除外するノードIDのリスト
    "rootNodeId": 1000****271, // ルートノードID
    "startFutureInstanceImmediately": false, // 将来のインスタンスをすぐに開始するかどうか
    "useMultipleTimePeriods": true, // 複数の期間を使用するかどうか
    "operator": "19***735", // オペレーター
    "eventCode": "backfill-data", // イベントコード
    "multipleTimePeriods": "[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]", // 複数の期間
    "parallelGroup": 1, // 並列グループ
    "rootNodeProjectId": 12*****8, // ルートノードのプロジェクトID
    "isParallel": false, // 並列実行するかどうか
    "name": "P_fff_20220418_215404", // ワークフロー名
    "tenantId": 16935*****3377, // テナントID
    "includeNodeIds": // 含まれるノードIDのリスト
    [
      10***271
    ],
    "projectId": 9***4, // プロジェクトID
    "order": "asc", // 順序
    "extensionBizId": "12***56" // 拡張機能のビジネスID
  }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

name

文字列

データバックフィルワークフローの名前。

rootNodeId

長い

データバックフィルワークフローのルート頂点の ID。

rootNodeProjectId

長い

データバックフィルワークフローのルート頂点が配置されているプロジェクトの ID。

includeNodeIds

配列

データがバックフィルされるノード ID のリスト。

excludeNodeIds

配列

データがバックフィルされないノード ID のリスト。これらのノードに対してドライランインスタンスが生成されます。スケジュールされた後、ドライランインスタンスはスクリプトコンテンツを実行せずに正常に実行されます。

bizBeginTime

文字列

タスクの開始時刻。このパラメーターは、時間単位でスケジュールされたタスクにのみ必要です。フォーマットは HH:mm:ss で、値の範囲は 00:00:00 から 23:59:59 です。

bizEndTime

文字列

タスクの終了時刻。このパラメーターは、時間単位でスケジュールされたタスクにのみ必要です。フォーマットは HH:mm:ss で、値の範囲は 00:00:00 から 23:59:59 です。

isParallel

ブール値

データバックフィル操作を並列実行できるかどうかを示します:

  • true:並列実行できます。

  • false:並列実行できません。

parallelGroup

整数

並列実行のグループ数。値 1 はグループ化なしを意味します。

startFutureInstanceImmediately

ブール値

予約時間をスキップして、将来の時刻のインスタンスをすぐに実行するかどうかを示します:

  • true:予約時間をスキップして、将来のインスタンスをすぐに実行します。

  • false:予約時間をスキップしません。将来のインスタンスはすぐには実行されません。

order

文字列

データタイムスタンプに基づいてデータバックフィルが実行される順序:

  • asc:データタイムスタンプの昇順で実行します。

  • desc:データタイムスタンプの降順で実行します。

multipleTimePeriods

文字列

データタイムスタンプをセグメントで選択します。例:[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]

tenantId

長い

テナント ID。

projectId

ロング

データバックフィル操作が実行されるプロジェクトの ID。

operator

文字列

データバックフィル操作を実行したユーザーの ID。

extensionBizId

文字列

拡張チェックポイントプロセスの ID。

eventCode

文字列

拡張イベントコード。

タスクステータス変更イベント

次の例は、スケジューリングタスクステータス変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "beginWaitTimeTime": 1652700576000, // 待機開始時間
    "dagId": 446***330, // DAG ID
    "dagType": 0, // DAGタイプ
    "eventCode": "instance-status-changes", // イベントコード
    "taskType": 0, // タスクタイプ
    "modifyTime": 1652700577000, // 更新時間
    "createTime": 1652543233000, // 作成時間
    "appId": 3*****2, // アプリケーションID
    "tenantId": 235454***432001, // テナントID
    "opCode": 31, // 操作コード
    "flowId": 1, // フローID
    "nodeId": 100***219, // ノードID
    "beginWaitResTime": 1652700577000, // リソース待機開始時間
    "taskId": 453***169, // タスクID
    "status": 3 // ステータス
  }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

finishTime

長い

スケジューリングタスクインスタンスが実行を終了した特定の時刻。

beginWaitTimeTime

長い

スケジューリングタスクインスタンスが実行待機を開始した特定の時刻。

beginRunningTime

ロング

スケジューリングタスクインスタンスが実行を開始した特定の時刻。

dagId

長い

DagId に基づいて Dag の詳細を取得できます。

dagType

整数

Dag のタイプ。有効な値:

  • 0:定期スケジュールタスク

  • 1:ワンタイムタスク

  • 2:スモークテスト

  • 3:データバックフィル

  • 4:一時的なワークフロー

  • 5:手動トリガーワークフロー

taskType

整数

タスクインスタンスのスケジューリングタイプ。有効な値:

  • 0:NORMAL。タスクは定期的にスケジュールされたタスクであり、繰り返し実行されます。

  • 1:MANUAL。タスクはワンタイムタスクであり、繰り返し実行されません。

  • 2:PAUSE。タスクは凍結されています。定期的にスケジュールされますが、起動時にステータスが失敗に設定されます。

  • 3:SKIP。タスクはドライランタスクです。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。

  • 4:SKIP_UNCHOOSE。タスクは一時的なワークフローで選択されていません。一時的なワークフローにのみ存在し、起動時にステータスが成功に設定されます。

  • 5:SKIP_CYCLE。タスクは週次または月次のタスクで、実行サイクルに達していません。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。

  • 6:CONDITION_UNCHOOSE。上流インスタンスにブランチ (IF) ノードがありますが、この子孫ノードはブランチノードによって選択されていません。タスクはドライランタスクとして扱われます。

  • 7:REALTIME_DEPRECATED。定期インスタンスはリアルタイムで生成されますが、期限切れになっています。このタイプのタスクのステータスは成功に設定されます。

modifyTime

長い

タスクインスタンスが最後に変更された時刻。

createTime

長い

タスクインスタンスが作成された時刻。

appId

ロング

ワークスペース ID。ListProjects を呼び出してワークスペース ID を表示できます。

tenantId

長い

スケジューリングタスクインスタンスが配置されているワークスペースのテナントの ID。

opCode

整数

スケジューリングタスクインスタンスの操作コード。このフィールドは無視できます。

flowId

長い

ワークフローIDです。

  • 定期スケジュールタスクインスタンスの場合、デフォルトのワークフロー ID は 1 です。

  • 手動トリガーワークフローおよび内部ワークフロースケジューリングタスクインスタンスの場合、これは実際のワークフロー ID です。

nodeId

長い

スケジューリングタスクインスタンスに対応するノードの ID。

beginWaitResTime

長い

スケジューリングタスクインスタンスがリソース待機を開始した特定の時刻。

taskId

長い

スケジューリングタスクインスタンスの ID。

status

整数

タスクのステータス。有効な値:

  • 1:未実行。

  • 2:予約時間 (dueTime または cycleTime) を待機中。

  • 3:リソースを待機中。

  • 4:実行中。

  • 7:データ検証のために Data Quality に送信済み。

  • 8:ブランチ条件チェックを実行中。

  • 5:実行失敗。

  • 6:実行成功。

eventCode

文字列

拡張イベントコード。

インスタンス変更イベント (凍結、凍結解除、停止、再実行、成功に設定)

次の例は、インスタンス変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "freeze-instance",
    "operator": "19***735",
    "projectId": 12***8,
    "projectType": "PROD",
    "taskIds": [
      523***9736
    ],
    "tenantId": 28***656
  }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

operator

文字列

インスタンスに対して操作 (凍結、凍結解除、停止、再実行、成功に設定など) を実行したユーザーの UID。

projectType

文字列

実行環境。

  • PROD:本番環境。

  • DEV:開発環境。

taskIds

List<Long>

インスタンス ID のコレクション。

projectId

ロング

DataWorks プロジェクト ID。

tenantId

長い

インスタンスが配置されているワークスペースのテナントの ID。

eventCode

文字列

イベントコードです。

インスタンス変更前イベント (凍結、凍結解除、再実行、成功に設定、インスタンス強制終了)

次の例は、インスタンス変更前イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "pre-freeze-instance", // イベントコード
    "extensionBizId": "055***afaa", // 拡張機能のチェックプロセスのID
    "extensionBizName": "Node name", // ノード名
    "projectId": 9***4, // プロジェクトID
    "taskIds": [
      523536569736 // タスクID
    ],
    "tenantId": 28***656, // テナントID
    "operator": "19***735" // オペレーター
  }
}

次の表に、フィールドの説明を示します。

フィールド名

タイプ

説明

extensionBizId

String

拡張チェックポイントプロセスの ID。

extensionBizName

String

操作対象のオブジェクトの名前。複数のオブジェクトがある場合は、「オブジェクト名...」と記述されます。

projectId

Long

DataWorks プロジェクト ID。

taskIds

List<Long>

インスタンス ID のコレクション。

tenantId

String

インスタンスが配置されているワークスペースのテナントの ID。

operator

Long

インスタンスを操作したユーザーの UID。

eventCode

String

拡張ポイントイベントコード。

インスタンス変更イベント - 期限切れインスタンスの削除

次の例は、期限切れインスタンスを削除するイベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
    "datacontenttype": "application/json;charset=utf-8",
    // データコンテンツタイプ
    "data": {
        "eventCode": "expired-task-instances-deleted",
        // イベントコード
        "deletedTaskInstanceIds": [
            524***035,
            524***498,
            524***637
        ],
        // 削除されたタスクインスタンスID
        "appId": 307303,
        // アプリケーションID
        "tenantId": 28***656,
        // テナントID
        "blockBusiness": false,
        // ビジネスをブロックするかどうか
        "owner": "1107***538",
        // オーナー
        "operationTime": 1734505954897
        // 操作時間
    }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

deletedTaskInstanceIds

リスト

削除されたインスタンスの ID のリスト。

owner

文字列

インスタンス所有者のユーザー ID。

operationTime

Long

操作の時刻。

blockBusiness

ブール値

拡張機能が存在する場合にプロセスを停止するかどうかを示します。

  • true:停止します。

  • false:停止しません。

appId

Long

DataWorks プロジェクト ID。

tenantId

文字列

インスタンスが配置されているワークスペースのテナントの ID。

operator

Long

インスタンスを操作したユーザーの UID。

eventCode

文字列

拡張ポイントイベントコード。

インスタンスイベントの指定された上流依存関係の削除

次の例は、インスタンスの指定された上流依存関係を削除するためのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "110******38",
    "aliyunpublishtime": "2024-12-18T07:12:35.463Z",
    "data": {
        "eventCode": "delete-task-instance-dependencies",
        "upstreamTaskInstanceIds": [
            52******35,
            52******98,
            52******37
        ],
        "appId": 3***03,
        "tenantId": 52******36,
        "blockBusiness": false,
        "taskInstanceId": 52******49,
        "operator": "19***735",
        "operationTime": 1734505954897
    }
}

フィールドは次のように記述されます:

フィールド名

フィールドタイプ

説明

taskInstanceId

長い

下流インスタンス ID。

upstreamTaskInstanceIds

リスト

依存関係が削除される上流インスタンス ID のリスト。

operator

文字列

操作を実行したユーザーの UID。

operationTime

長い

操作の時刻。

ワークフローステータス変更イベント

次の例は、ワークフローステータス変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "bizDate": "2022-11-07 00:00:00",
    "createTime": "2022-11-08 10:56:32",
    "dagId": 500358972116,
    "dagName": "P_test_spark_true_copy_20221108_105631",
    "eventCode": "dag-status-changes",
    "dagType": 3,
    "flowId": 1,
    "flowName": "ATCLOUD_FLOW",
    "operator": "11****538",
    "projectEnv": "PROD",
    "projectId": 25***63,
    "status": 6,
    "tenantId": 52***736
  }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

bizDate

文字列

ワークフローのデータタイムスタンプは yyyy-mm-dd hh24:mi:ss フォーマットです。

createTime

文字列

ワークフローが作成された時刻。フォーマットは yyyy-mm-dd hh24:mi:ss です。

dagId

長い

DagId。DagId に基づいて Dag の詳細を取得できます。

dagName

文字列

ワークフローの名前。

dagType

整数

Dag のタイプ。有効な値:

  • 0:定期スケジュールタスク。

  • 1:ワンタイムタスク。

  • 2:スモークテスト。

  • 3:データバックフィル。

  • 4:一時的なワークフロー。

  • 5:手動トリガーワークフロー。

flowId

整数

ワークフローに対応するビジネスフローの ID。

flowName

文字列

ワークフローに関連付けられたビジネスフローの名前。

operator

文字列

ワークフローを作成したユーザーの UID。

projectEnv

文字列

ワークフローが属する環境。有効な値:

  • DEV:開発環境。

  • PROD:本番環境。

tenantId

長い

スケジューリングタスクインスタンスが配置されているワークスペースのテナントの ID。

projectId

長い

ワークスペース ID。

status

整数

ワークフロー内のタスクのステータス。有効な値:

  • 1:未実行。

  • 4:実行中。

  • 5:実行失敗。

  • 6:実行成功。

eventCode

文字列

拡張イベントコード。

監視とアラート

  • 次の例は、ベースラインアラートのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "eventCode": "workbench-monitor-alert",
        "alarmType": "SLA_ALERT",
        "baselineId": 137***723,
        "baselineName": "ods layer check task dedicated -- hourly",
        "baselineStatus": 3,
        "bizDate": 1654444800000,
        "inGroupId": 14,
        "nodeId": 1000***8734,
        "projectId": 76***34,
        "taskId": 307***3778,
        "tenantId": 28***656
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    alarmType

    文字列

    アラートメトリック。有効な値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    baselineId

    長い

    ベースライン ID。

    baselineName

    文字列

    ベースライン名。

    baselineStatus

    整数

    ベースラインステータス。有効な値:

    • -1:異常。

    • 1:安全。

    • 2:警告。

    • 3:破線。

    bizDate

    長い

    タイムスタンプ。

    inGroupId

    整数

    ベースラインインスタンスのサイクル番号。日次ベースラインの場合、値は 1 です。時間単位のベースラインの場合、値の範囲は [1,24] です。

    nodeId

    長い

    ベースラインが異常になった原因のノードの ID。

    projectId

    長い

    ベースラインが属するプロジェクトの ID。

    taskId

    長い

    ベースラインが異常になった原因のインスタンスの ID。

    tenantId

    長い

    テナント ID。

    eventCode

    文字列

    拡張イベントコード。

  • 次の例は、イベントアラートのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "TOPIC_ALERT",
        "nodeId": 1000***315,
        "projectId": 91***09,
        "taskId": 307***0357,
        "taskStatus": 5,
        "tenantId": 28***656,
        "topicId": 1084769
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    alarmType

    文字列

    アラートメトリック。有効な値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    topicId

    長い

    イベント ID。

    taskStatus

    文字列

    イベントをトリガーしたノードインスタンスのステータス。

    nodeId

    整数

    イベントをトリガーしたノードの ID。

    projectId

    長い

    イベントをトリガーしたノードが属するプロジェクトの ID。

    taskId

    長い

    イベントをトリガーしたノードインスタンスの ID。

    tenantId

    長い

    テナント ID。

  • 次の例は、タスクルールアラートのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    説明

    通常、ルールオブジェクトはタスクノード、ベースライン、ワークスペース、またはワークフローです。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "nodeIds": "1000***5472,1000***5473,1000***5474",
        "projectId": 9***4,
        "remindId": 7605,
        "remindName": "Error Alert",
        "remindType": "ERROR",
        "remindUnit": "NODE",
        "taskIds": "307***0896,307***0870,307***0855",
        "tenantId": 28***656
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    alarmType

    文字列

    アラートメトリック。有効な値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    nodeIds

    文字列

    ルールアラートをトリガーしたノードのリスト。

    remindId

    長い

    ルール ID。

    remindType

    Stirng

    ルールをトリガーする条件。有効な値:

    • FINISHED:完了。

    • UNFINISHED:未完了。

    • ERROR:実行中にエラーが発生しました。

    • CYCLE_UNFINISHED:サイクル未完了。

    • TIMEOUT:実行がタイムアウトしました。

    projectId

    長い

    ルールをトリガーしたノードが属するプロジェクトの ID。

    remindUnit

    文字列

    ルールをトリガーしたオブジェクトのタイプ。有効な値:

    • NODE:タスクノード。

    • GATEWAY_RES:スケジューリング用の排他的リソースグループ。

    • DI_RES:データ統合リソースグループ。

    tenantId

    長い

    テナント ID。

    taskId

    文字列

    ルールアラートをトリガーしたインスタンスのリスト。

    remindName

    文字列

    ルール名。

  • 次の例は、リソースグループルールアラートのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "projectId": 9***4,
        "remindId": 200***186,
        "remindName": "Exclusive Resource Group Alert",
        "remindType": "RES_GROUP_THRESHOLD",
        "remindUnit": "GATEWAY_RES",
        "resourceGroupIdentifier": "S_res_group_195820716552192_1650965857744",
        "resourceGroupName": "emr_exclusive_scheduld",
        "resourceGroupType": "GATEWAY",
        "tenantId": 28***656
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    アラートタイプ

    String

    アラートメトリック。有効な値:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    リマインド ID

    Long

    ルール ID。

    リマインドタイプ

    Stirng

    ルールをトリガーする条件。有効な値:

    • FINISHED:完了。

    • UNFINISHED:未完了。

    • ERROR:実行中にエラーが発生しました。

    • CYCLE_UNFINISHED:サイクル未完了。

    • TIMEOUT:実行がタイムアウトしました。

    • RES_GROUP_THRESHOL:リソースグループ使用率。

    • RES_GROUP_WAIT_AMOUNT:リソースグループでリソースを待機しているインスタンスの数。

    プロジェクト ID

    Long

    ルールをトリガーしたノードが属するプロジェクトの ID。

    リマインダー単位

    文字列

    ルールをトリガーしたオブジェクトのタイプ。有効な値:

    • NODE:タスクノード。

    • GATEWAY_RES:スケジューリング用の排他的リソースグループ。

    • DI_RES:データ統合リソースグループ。

    テナント ID

    Long

    テナント ID です。

    リマインド名

    文字列

    ルール名。

    リソースグループ識別子

    文字列

    リソースグループの一意の識別子。

    リソースグループ名

    文字列

    リソースグループ名。

    リソースグループの種類

    文字列

    リソースグループタイプ。有効な値:

    • GATEWAY:スケジュールリソースグループ。

    • DI:データ統合リソースグループ。

セキュリティセンターイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

通常のイベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張メッセージタイプ (eventCode)

承認センター

権限リクエスト作成前イベント

image

image

dataworks:ApprovalChange:ApprovalChangeCreated

approval-change-created

リクエストの完了

image

image

dataworks:ApprovalChange:ApprovalChangeFinished

approval-change-finished

セキュリティセンター (テーブル権限リクエスト)

テーブル権限リクエスト前イベント

image

image

dataworks:ApprovalChange:ApprovalChangeBeforeCreate

approval-change-before-create

メッセージフォーマット

承認センター (作成、リクエスト完了)

  • 次の例は、権限リクエスト作成前イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":194209,
        "assignee":"286098539641742899",
        "assigneeName":"yupeng.sunyp",
        "createTime":1652094363000,
        "eventType":"approval",
        "process":{
          "applicant":"286098539641742899",
          "applicantName":"yupeng.sunyp",
          "approvalContent":{
            "applyPeriod":"2997964800000",
            "applyReason":"test",
            "arrayData":[
              {
                "ownerBaseId":"1822***45",
                "objectType":"TABLE",
                "odpsTable":"loghub_070103",
                "envType":1,
                "projectGuid":"odps.b_mc1",
                "objectGuid":"odps.b_mc1.loghub_070103",
                "tenantId":28***656,
                "objectName":"loghub_070103",
                "ownerAccountName":"ALIYUN$******(******)",
                "odpsProject":"B_MC1",
                "projectName":"B_MC1",
                "actions":[
                  "Select",
                  "Describe"
                ],
                "projectId":9***4,
                "workspaceId":"9***4"
              }
            ],
            "contentType":"application/json",
            "granteeAccounts":[
              {
                "granteeId":"2860985***99",
                "granteeTypeSub":103,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
              },
              {
                "granteeId":"237857631119109360",
                "granteeTypeSub":105,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:dev"
              }
            ],
            "odpsProjectName":"B_MC1",
            "projectEnv":"1",
            "resourceSummary":"loghub_070103",
            "tenantId":28***656,
            "workspaceId":194209
          },
          "assignmentCategory":"MaxCompute",
          "createTime":1652094363000,
          "processDefinitionId":"definition-3dcc9ce7-d29d-435d-a908-60d4355ff5e2",
          "processId":"528535869984706",
          "status":"Pending",
          "title":"MaxComputeTable",
          "updateTime":1652094363000
        },
        "processId":"528535869984706",
        "status":"Submit",
        "eventCode": "approval-change-created",
        "taskId":"528535870015424",
        "tenantId":28***656,
        "updateTime":1652094364000
      }
    }{
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":227859,
        "assignee":"286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName":"******.******",
        "comments":"ces",
        "createTime":1652095981000,
        "eventType":"approval",
        "process":{
            "applicant":"286098***2899",
            "applicantName":"yupeng.sunyp",
            "approvalContent":{
                "applyPeriod":"2997964800000",
                "applyReason":"test",
                "arrayData":[
                    {
                        "ownerBaseId":"2382***884", 
                        "objectType":"TABLE",
                        "odpsTable":"cdd",
                        "objectNameCn":"******",
                        "envType":1,
                        "projectGuid":"odps.da_simple_202112",
                        "objectGuid":"odps.da_simple_202112.cdd",
                        "tenantId":0,
                        "objectName":"cdd",
                        "ownerAccountName":"RAM$******(******)",
                        "odpsProject":"da_simple_202112",
                        "projectName":"da_simple_202112",
                        "actions":[
                            "Select",
                            "Describe"
                        ],
                        "projectId":9***4,
                        "workspaceId":"9***4"
                    }
                ],
                "contentType":"application/json",
                "granteeAccounts":[
                    {
                        "granteeId":"286***899",
                        "granteeTypeSub":103,
                        "granteeType":1,
                        "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
                    }
                ],
                "odpsProjectName":"da_simple_202112",
                "projectEnv":"1",
                "resourceSummary":"cdd",
                "tenantId":28***656,
                "workspaceId":227859
            },
            "assignmentCategory":"MaxCompute",
            "createTime":1652095981000,
            "processDefinitionId":"definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
            "processId":"528***192",
            "status":"Pending",
            "title":"MaxComputeTable",
            "updateTime":1652095981000
        }

    次の表に、フィールドの説明を示します。

    フィールド名

    タイプ

    説明

    appId

    Long

    ワークスペース ID。

    assignee

    String

    承認者の BaseId。

    assigneeName

    String

    承認者の名前。

    comments

    String

    備考。

    createTime

    Long

    リクエストが作成された UNIX タイムスタンプ。

    processId

    String

    リクエスト ID。

    status

    String

    リクエストステータス。

    taskId

    String

    承認タスク ID。

    tenantId

    String

    テナント ID。

    updateTime

    String

    リクエストが更新された UNIX タイムスタンプ。

    eventType

    String

    イベントタイプ。

    process

    Object

    承認タスクオブジェクト。

    applicant

    String

    BaseID をリクエストできます。

    applicantName

    String

    申請者の名前。

    assignmentCategory

    String

    リクエストされたコンテンツのタイプ。

    createTime

    String

    承認が作成されたタイムスタンプ。

    processDefinitionId

    String

    ワークフロー定義 ID。

    processId

    String

    ワークフロー ID。

    status

    String

    ワークフローステータス。

    title

    String

    ワークフローのタイトル。

    updateTime

    Long

    リクエストが更新された UNIX タイムスタンプ。

    approvalContent

    Object

    承認コンテンツオブジェクト。

    applyPeriod

    String

    権限リクエストの期間。

    applyReason

    String

    権限リクエストの理由。

    contentType

    String

    承認コンテンツのタイプ。

    odpsProjectName

    String

    権限がリクエストされたプロジェクトの名前。

    resourceSummary

    String

    リソースの説明。

    tenantId

    Long

    テナント ID。

    workspaceId

    Long

    ワークスペース ID。

    projectEnv

    String

    権限がリクエストされたプロジェクトの環境。

    granteeAccounts

    Array

    権限付与先のリスト。

    .granteeId

    String

    権限付与先の ID。

    granteeType

    String

    権限付与タイプ。

    granteeTypeSub

    String

    プリンシパルサブタイプ

    granteeName

    String

    付与先の名前。

    arrayData

    Array

    権限付与コンテンツのリスト。詳細については、「開発リファレンス:イベントリストとメッセージフォーマット」をご参照ください。

    eventType

    String

    イベントタイプ。

  • 次の例は、リクエスト完了イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId": 227859,
        "assignee": "286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName": "******.******",
        "comments": "ces",
        "createTime": 1652095981000,
        "eventType": "approval",
        "process": {
          "applicant": "286****899",
          "applicantName": "yupeng.sunyp",
          "approvalContent": {
            "applyPeriod": "2997***0000",
            "applyReason": "test",
            "arrayData": [
              {
                "ownerBaseId": "2382***8*884",
                "objectType": "TABLE",
                "odpsTable": "cdd",
                "objectNameCn": "******",
                "envType": 1,
                "projectGuid": "odps.da_simple_202112",
                "objectGuid": "odps.da_simple_202112.cdd",
                "tenantId": 0,
                "objectName": "cdd",
                "ownerAccountName": "RAM$******(******)",
                "odpsProject": "da_simple_202112",
                "projectName": "da_simple_202112",
                "actions": [
                  "Select",
                  "Describe"
                ],
                "projectId": 9***4,
                "workspaceId": "9***4"
              }
            ],
            "contentType": "application/json",
            "granteeAccounts": [
              {
                "granteeId": "286***899",
                "granteeTypeSub": 103,
                "granteeType": 1,
                "granteeName": "RAM$dataworks_3h1_1:yupeng.sunyp"
              }
            ],
            "odpsProjectName": "da_simple_202112",
            "projectEnv": "1",
            "resourceSummary": "cdd",
            "tenantId": 28***656,
            "workspaceId": 227859
          },
          "assignmentCategory": "MaxCompute",
          "createTime": 1652095981000,
          "processDefinitionId": "definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
          "processId": "528***192",
          "status": "Pending",
          "title": "MaxComputeTable",
          "updateTime": 1652095981000
        }
      }
    }

    フィールドは次のように記述されます:

    フィールド名

    タイプ

    説明

    appId

    Long

    ワークスペース ID。

    assignee

    String

    承認者の BaseId。

    assigneeName

    String

    承認者の名前。

    comments

    String

    備考。

    createTime

    Long

    リクエストが作成された UNIX タイムスタンプ。

    processId

    String

    リクエスト ID。

    status

    String

    リクエストステータス。

    taskId。

    String

    承認タスク ID。

    tenantId

    String

    テナント ID。

    updateTime

    String

    リクエストが最後に更新された UNIX タイムスタンプ。

    eventType

    String

    イベントタイプ。

    process

    Object

    承認タスクオブジェクト。

    applicant

    String

    BaseID をリクエストできます。

    applicantName

    String

    申請者の名前。

    assignmentCategory

    String

    リクエストされたコンテンツのタイプ。

    createTime

    String

    承認が作成されたタイムスタンプ。

    processDefinitionId

    String

    ワークフロー定義 ID。

    processId

    String

    ワークフロー ID。

    status

    String

    ワークフローステータス。

    title

    String

    ワークフローのタイトル。

    updateTime

    Long

    承認が更新されたタイムスタンプ。

    approvalContent

    Object

    承認コンテンツオブジェクト。

    applyPeriod

    String

    期間。

    applyReason

    String

    リクエストの理由。

    contentType

    String

    コンテンツタイプ。

    odpsProjectName

    String

    プロジェクト名。

    resourceSummary

    String

    リソースの説明。

    tenantId

    Long

    テナント ID。

    workspaceId

    Long

    ワークスペース ID。

    projectEnv

    String

    環境。

    granteeAccounts

    Array

    権限付与先のリスト。

    granteeId

    String

    権限付与先の ID。

    granteeType

    String

    権限付与タイプ

    granteeTypeSub

    String

    権限付与先のサブタイプ。これはアカウントタイプを示します:

    • 本番 Alibaba Cloud アカウント (本番スケジューリング用):ACCOUNT_PRD(101)

    • アプリケーションの Alibaba Cloud アカウント:ACCOUNT_APP(102)

    • Alibaba Cloud アカウント (個人):ACCOUNT_USER(103)

    • 部門 Alibaba Cloud アカウント:ACCOUNT_DEPT(104)

    • MOCK アカウント:ACCOUNT_MOCK(106)

    • 他のユーザーの Alibaba Cloud アカウント:ACCOUNT_OTHER_USER(105)

    granteeName

    String

    権限付与先の名前。

    arrayData

    Array

    権限付与コンテンツのリスト。詳細については、「開発リファレンス:イベントリストとメッセージフォーマット」をご参照ください。

    eventType

    String

    イベントタイプ。

セキュリティセンター (テーブル権限リクエスト前イベント)

次の例は、テーブル権限リクエスト前イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventType": "approval-create-before",
    "operator":"19***735",
    "order":{
      "applyReason":"test",
      "deadlineDate":"1",
      "deadlineType":"month",
      "granteeObjectList":[
        {
          "granteeId":"1239****8872"
        }
      ],
      "projectMeta":{
        "envCode":1,
        "labelSecurity":false,
        "objectMetaList":[
          {
            "action":[
              "Select",
              "Describe"
            ],
            "name":"tablei",
            "projectGuid":"odps.d11aa"
          }
        ],
        "projectId":2****0,
        "projectName":"d11aa"
      }
    },
    "projectId":2****0,
    "tenantId":5564****6465
  }
}

次の表に、フィールドの説明を示します。

フィールド名

フィールドタイプ

説明

operator

String

テーブル権限リクエスト前操作を実行したユーザーの UID。

projectId

Long

テーブル権限リクエスト前操作が実行されるワークスペース ID。

tenantId

Long

テーブル権限リクエスト前操作を実行したユーザーのテナント ID。

order

Object

リクエスト情報。

applyReason

String

リクエストの理由。

deadlineDate

String

リクエストの有効期間。

deadlineType

String

リクエストの有効期間の時間単位。例:Day、Month。

granteeObjectList

Object

権限付与先のリスト。

granteeId

String

権限付与先 ID。これは RAM ユーザー ID です。

projectMeta

Object

ワークスペース情報。

envCode

Integer

ワークスペース環境識別子。0 は開発環境、1 は本番環境を示します。

labelSecurity

Boolean

ラベルレベル制御が有効かどうかを示します:

  • true:有効。

  • false:無効。

objectMetaList

Array

権限付与対象のオブジェクトのリスト。

action

Array

権限付与アクション。例:テーブルに対する Select 権限または Describe 権限の付与。

name

String

権限がリクエストされるテーブルの名前。

projectGuid

String

テーブルが配置されているワークスペースの Guid。

projectName

String

テーブルが配置されているワークスペースの名前。

eventType

String

イベントタイプ。

付録:権限付与コンテンツリスト (MaxCompute)

DataWorks がセキュリティセンターで承認およびテーブル権限リクエストをトリガーすると、EventBridge に送信されるイベントメッセージには arrayData フィールドが含まれます。assignmentCategoryMaxCompute の場合、arrayData フィールドのコンテンツは次のとおりです:

{
    "ownerBaseId":"1822931104031845", // テーブル所有者のベースID
    "objectType":"TABLE", // オブジェクトタイプ
    "odpsTable":"oracle_************", // テーブル名
    "envType":1, // 環境タイプ
    "projectGuid":"odps.***********", // MaxCompute プロジェクトの GUID
    "objectGuid":"odps.******.******", // オブジェクトの GUID
    "tenantId":0, // テナント ID
    "objectName":"oracle_******", // オブジェクト名
    "ownerAccountName":"ALIYUN***************", // テーブル所有者のアカウント名
    "odpsProject":"dataworks******", // MaxCompute プロジェクト名
    "projectName":"dataworks******", // プロジェクトコード
    "actions":[ // 操作
      "Select", // 選択
      "Describe" // 記述
    ],
    "projectId":9***4, // プロジェクト ID
    "workspaceId":"9***4" // ワークスペース ID
  }

フィールドは次のように記述されます:

フィールド名

フィールドタイプ

説明

ownerBaseId

String

テーブル所有者の BaseID。

ownerAccountName

String

テーブル所有者の名前。

objectType

String

オブジェクトタイプ。

odpsTable

String

テーブル名。

envType

String

テーブルが属する環境。

projectGuid

String

プロジェクト Guid。

objectGuid

String

オブジェクト Guid。

objectName

String

オブジェクト名。

odpsProject

String

ODPS プロジェクト名。

projectName

String

プロジェクトコード。

projectId

Long

プロジェクト ID。

workspaceId

String

ワークスペース ID。

actions

Array

アクションタイプのリスト。

付録:権限付与コンテンツリスト (DataService)

DataWorks がセキュリティセンターで承認およびテーブル権限リクエストをトリガーすると、EventBridge に送信されるイベントメッセージには arrayData フィールドが含まれます。assignmentCategoryDataService の場合、arrayData フィールドのコンテンツは次のとおりです:

{
    "resourceId":"DsApiDeploy/******/workspaceId/******/dsDeployId/******",
    "ownerName":"******",
    "resourceVersion":1,
    "name":"api_api",
    "dsDeployId":"******",
    "workspaceName":"da_******",
    "id":"******",
    "type":1,
    "ownerId":"19****735",
    "url":"https://******.data.aliyun.com/?projectId=******&type=api&id=******&version=***&defaultProjectId=******",
    "workspaceId":"******"
  }

フィールドは次のように記述されます:

フィールド名

タイプ

説明

resourceId

String

リソース ID。

ownerName

String

リソース所有者の名前。

resourceVersion

Long

リソースバージョン。

name

String

リソース名。

dsDeployId

String

DataService デプロイメント ID。

workspaceName

String

ワークスペース名。

id

String

一意のリソース ID。

type

String

リソースタイプ。有効な値:

  • 1:API。

  • 2:関数。

  • 3:サービスオーケストレーション。

ownerId

String

リソース所有者の BaseID。

url

String

DataService リンクアドレス。

workspaceId

String

ワークスペース ID。

Data Quality イベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

通常のイベント

拡張ポイントイベント

EventBridge イベントタイプ

(Type)

拡張イベントタイプ (eventCode)

Data Quality 検証

検証結果フィードバック

  • 検証結果に対するユーザーのフィードバック

image

image

dataworks:DqcCheck:DqcCheckFeedbackEvent

dqc-check-feedback-event

検証完了

  • ルール検証が完了しました。ルール検証結果 (合格サンプル など) が送信されます。

image

image

dataworks:DqcCheck:DqcCheckFinishedEvent

dqc-check-finished-event

Data Quality ルール事前操作

Data Quality ルール一括作成前イベント

image

image

dataworks:DqcCheck:BatchCreateDataQualityRules

batch-create-data-quality-rules

Data Quality ルール一括更新前イベント

image

image

dataworks:DqcCheck:BatchUpdateDataQualityRules

batch-update-data-quality-rules

Data Quality ルール一括削除事前イベント

image

image

dataworks:DqcCheck:BatchDeleteDataQualityRules

batch-delete-data-quality-rules

Data Quality ルール更新前イベント

image

image

dataworks:DqcCheck:UpdateDataQualityRule

update-data-quality-rule

Data Quality 監視事前操作

データ品質モニタリングのための前提条件イベントの作成

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTask

create-data-quality-evaluation-task

Data Quality 監視更新前イベント

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTask

update-data-quality-evaluation-task

Data Quality 監視チェック事前イベントのクローン

image

image

dataworks:DqcCheck:CloneDataQualityEvaluationTask

clone-data-quality-evaluation-task

Data Quality 監視一括削除事前イベント

image

image

dataworks:DqcCheck:BatchDeleteDataQualityEvaluationTasks

batch-delete-data-quality-evaluation-tasks

Data Quality 監視アラートサブスクリプション事前操作

Data Quality 監視およびアラート通知のサブスクリプション作成事前イベント

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTaskNotification

create-data-quality-evaluation-task-notification

Data Quality 監視アラートサブスクリプション更新前イベント

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTaskNotification

update-data-quality-evaluation-task-notification

Data Quality 監視アラートサブスクリプション削除前イベント

image

image

dataworks:DqcCheck:DeleteDataQualityEvaluationTaskNotification

delete-data-quality-evaluation-task-notification

メッセージフォーマット

Data Quality 検証

  • 次の例は、Data Quality 検証結果フィードバックイベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "ruleCheckId": 521771452,
        "feedbackContent": "Skip", // スキップ
        "ruleId": 28610334,
        "createUser": "110755000425****",
        "taskId": "167644814****9a26ecf4063a88797",
        "beginTime": "1676448145000",
        "envType": "ODPS",
        "projectName": "test_mc_2303_kongjian",
        "projectId": 9***4,
        "tenantId": 28***656
      }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    ruleId

    Long

    Data Quality ルール ID。

    ruleCheckId

    Long

    検証結果の自動インクリメント ID。

    feedbackContent

    String

    フィードバックの内容。

    createUser

    String

    フィードバックを提供したユーザーのユーザー ID。

    taskid

    String

    Data Quality タスクの ID。

    beginTime

    String

    フィードバック時刻。

    envType

    String

    ルールに関連付けられたテーブルのデータソースタイプ。ODPS、EMR、HOLO などが含まれます。

    projectName

    String

    ルールに関連付けられたデータソースの一意の識別子。

    projectId

    Long

    DataWorks プロジェクト ID。

    tenantId

    Long

    DataWorks テナント ID。

  • 次の例は、Data Quality 検証完了イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "projectId": 9***4,
        "tenantId": 28***656,
        "id": 52177****,
        "taskId": "1671***7a6",
        "entityId": 1562***,
        "ruleId": 28610334,
        "property": "-",
        "bizdate": "2023-02-09 00:00:00",
        "dateType": "YMD",
        "actualExpression": "ds\u003d20230210",
        "matchExpression": "ds\u003d$[yyyymmdd]",
        "blockType": 1,
        "checkResult": 0,
        "eventCode": "dqc-check-finished-event",
        "checkResultStatus": 0,
        "methodName": "table_count",
        "beginTime": "2023-02-15 20:14:48",
        "endTime": "2023-02-15 20:14:55",
        "timeConsuming": "7s",
        "externalType": "CWF2",
        "externalId": "triggerByManual",
        "discrete": false,
        "fixedCheck": true,
        "referenceValue": [
          {
            "bizDate": "3000-12-31 00:00:00",
            "discreteProperty": "Table row count, 1-day difference",
            "value": 0.0,
            "singleCheckResult": 0
          }
        ],
        "sampleValue": [
          {
            "bizDate": "2023-02-09 00:00:00",
            "value": 3.0
          }
        ],
        "trend": "\u003e\u003d",
        "expectValue": 0.0,
        "op": "\u003e\u003d",
        "projectName": "test_mc_2303_kongjian",
        "tableName": "sx_dim_1209_001",
        "templateId": 47,
        "checkerType": 0,
        "ruleName": "Previous day difference",
        "isPrediction": false,
        "feedbackStatus": 0,
        "whetherToFilterDirtyData": false
      }
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    id

    Long

    この検証プロセスの主キー ID。ルール検証がトリガーされるたびに、新しい主キー ID レコードが追加されます。

    projectId

    Long

    DataWorks プロジェクト ID

    tenantId

    Long

    DataWorks テナント ID

    taskId

    String

    検証タスクの ID。

    entityId

    Long

    パーティション式 ID。

    ruleId

    Long

    ルール ID。

    property

    String

    ルールプロパティのフィールド。検証中のデータソーステーブルの列名です。

    bizdate

    Long

    ビジネス日付。検証中のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行された日の前日になります。

    dateType

    String

    スケジューリングサイクルのタイプ。通常は YMD で、年次、月次、または日次のタスクを意味します。

    actualExpression

    String

    検証中のデータソーステーブルの実際のパーティション。

    matchExpression

    String

    パーティション式。

    blockType

    Integer

    検証ルールの強度。強度はルールの重要性を示します。有効な値:

    • 1:強制ルール。

    • 0:弱いルール。

    実際のニーズに基づいて重要なルールを強制ルールとして設定できます。強制ルールを使用し、重大なアラートがトリガーされた場合、スケジューリングタスクはブロックされます。

    checkResult

    Integer

    検証結果ステータス。有効な値:

    • -1:検証例外

    • 0:検証合格

    • 1:オレンジしきい値トリガー

    • 2:赤しきい値トリガー

    methodName

    String

    サンプルデータを収集する方法には以下が含まれます:avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct など。

    beginTime

    Long

    検証操作の開始時刻。

    endTime

    Long

    検証結果のクエリを終了する時刻。

    timeConsuming

    String

    検証タスクの実行にかかった時間。

    externalType

    String

    スケジューリングシステムのタイプ。現在は CWF2 のみサポートされています。externalType が空の場合、手動テスト実行タスクを示します。

    externalId

    String

    • externalType が CWF2 の場合、スケジューリングタスクのノード ID を示します。

    • externalType が空の場合、値は triggerByManual で、手動トリガータスクを示します。

    discrete

    Boolean

    離散検証かどうかを示します。有効な値:

    • true:離散検証。

    • false:非離散検証。

    fixedCheck

    Boolean

    固定値検証かどうかを示します。有効な値:

    • true:固定値検証。

    • false:非固定値検証。

    referenceValue

    過去のサンプル値。

    bizDate

    Long

    ビジネス日付。検証中のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行された日の前日になります。

    discreteProperty

    String

    グループ化後のグループごとのフィールド値のサンプリング。例えば、性別フィールドでグループ化した場合、DiscreteProperty は male、female、null になります。

    value

    Decimal

    サンプル値。

    singleCheckResult

    Integer

    検証結果の文字列。

    sampleValue

    使用される現在のサンプル。

    bizDate

    Long

    ビジネス日付。検証中のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行された日の前日になります。

    value

    Decimal

    サンプル値。

    trend

    String

    検証結果の傾向。

    expectValue

    Double

    期待値。

    op

    String

    比較演算子。

    projectName

    String

    Data Quality 検証が必要なエンジンまたはデータソースの名前。

    tableName

    String

    検証中のテーブルの名前。

    templateId

    Integer

    使用される検証テンプレートの ID。

    checkerType

    Integer

    バリデータのタイプ。

    ruleName

    String

    ルールの名前。

    isPrediction

    Boolean

    予測結果かどうかを示します。有効な値:

    • true:予測結果。

    • false:予測結果ではない。

    comment

    String

    検証ルールの説明。

    eventCode

    String

    拡張イベントコード。

Data Quality ルール事前操作イベント (一括作成、更新、削除)

  • 次の例は、Data Quality ルール一括作成事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-create-data-quality-rules",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "dataQualityTaskId": 1001,
          "target": {
            "databaseType": "maxcompute",
            "tableGuid": "odps.project_demo.tb_table_demo"
          },
          "rules": [
            {
              "name": "Table row count greater than 0",
              "enabled": true,
              "severity": "High",
              "description": "Data quality rule creation operation check test",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }
          ]
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    List

    DataWorks プロジェクト ID。

    operator

    String

    操作を実行したユーザーの UID。

    operationTime

    Long

    操作の時刻。

    dataQualityTaskId

    Long

    ルールに関連付けられた Data Quality 監視タスクの ID。空の場合があります。

    target

    DataQualityTarget

    Data Quality ルールの監視対象。

    databaseType

    String

    テーブルタイプのデータセットの場合、テーブルが属するデータベースタイプ。

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    データマップ内のテーブルの一意の ID。

    rules

    List<DataQualityRule>

    Data Quality ルールのリスト。

    name

    String

    ルール名。

    enabled

    Boolean

    ルールが有効かどうかを示します。

    severity

    String

    ビジネスにおけるルールのレベル (ページ上の強制ルールまたは弱いルールに対応)。

    • High

    • Normal

    description

    String

    ルールの説明。

    templateCode

    String

    ルールを作成する際に参照されるルールテンプレート

    samplingConfig

    SamplingConfig

    サンプル収集に必要な設定。

    metric

    String

    サンプリングメトリックの名前。

    • Count:テーブル行数

    • Min:フィールド最小値

    • Max:フィールド最大値

    • Avg:フィールド平均値

    • DistinctCount:フィールドの一意な値の数

    • DistinctPercent:一意なフィールド値の総データ行数に対する比率

    • DuplicatedCount:重複フィールド値の数

    • DuplicatedPercent:重複フィールド値の総データ行数に対する比率

    • TableSize:テーブルサイズ

    • NullValueCount:null フィールド値を持つ行の数

    • NullValuePercent:null フィールド値の割合

    • GroupCount:フィールド値でグループ化した後の各フィールド値の行数

    • CountNotIn:列挙値が一致しない行の数

    • CountDistinctNotIn:一致しない一意な列挙値の数

    • UserDefinedSql:カスタム SQL を使用してサンプルを収集

    checkingConfig

    CheckingConfig

    サンプル検証設定。

    type

    String

    しきい値計算方法

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    しきい値の設定。

    expected

    Threshold

    期待されるしきい値設定。

    expression

    String

    しきい値の式。

    critical

    Threshold

    重大な警告のためのしきい値設定。

  • 次の例は、Data Quality ルール一括更新事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Table row count greater than 0",
          "enabled": true,
          "severity": "High",
          "description": "Data quality rule creation operation check test",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    タイプ

    説明

    eventCode

    String

    イベントコード。

    projectId

    Long

    プロジェクトの ID。

    tenantId

    Long

    テナント ID。

    operator

    String

    ユーザー UID。

    operationTime

    Long

    操作の時刻。

    id

    Long

    ルール ID。

    name

    String

    ルール名。

    enabled

    Boolean

    ルールが有効かどうかを示します。

    true:有効。

    false:無効。

    severity

    String

    ビジネスにおけるルールのレベル (ページ上の強制ルールまたは弱いルールに対応)。

    • High

    • Normal

    description

    String

    ルールの説明。

    templateCode

    String

    パーティションテーブルのパーティション設定。

    samplingConfig

    SamplingConfig

    サンプル収集に必要な設定。

    metric

    String

    サンプリングメトリックの名前。

    • Count:テーブル行数

    • Min:フィールド最小値

    • Max:フィールド最大値

    • Avg:フィールド平均値

    • DistinctCount:フィールドの一意な値の数

    • DistinctPercent:一意なフィールド値の総データ行数に対する比率

    • DuplicatedCount:重複フィールド値の数

    • DuplicatedPercent:重複フィールド値の総データ行数に対する比率

    • TableSize:テーブルサイズ

    • NullValueCount:null フィールド値を持つ行の数

    • NullValuePercent:null フィールド値の割合

    • GroupCount:フィールド値でグループ化した後の各フィールド値の行数

    • CountNotIn:列挙値が一致しない行の数

    • CountDistinctNotIn:一致しない一意な列挙値の数

    • UserDefinedSql:カスタム SQL を使用してサンプルを収集

    checkingConfig

    CheckingConfig

    サンプル検証設定。

    type

    String

    しきい値計算方法

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    しきい値の設定。

    expected

    Threshold

    期待されるしきい値設定。

    expression

    String

    しきい値の式。

    critical

    Threshold

    重大な警告のためのしきい値設定。

  • 次の例は、Data Quality ルール一括削除事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
            "eventCode": "batch-delete-data-quality-rules", // データ品質ルールの一括削除
            "ids": [
                10***01,
                10***02,
                10***03
            ],
            "projectId": 30***03,
            "tenantId": 524***4736,
            "operator": "19***735",
            "operationTime": 1734505954897
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    List

    DataWorks プロジェクト ID。

    operator

    String

    操作を実行したユーザーの UID。

    operationTime

    Long

    操作の時刻。

    ids

    List<Long>

    削除される Data Quality ルールの ID のリスト。

    tenantId

    String

    テナント ID。

    eventCode

    String

    イベントコード

  • 次の例は、Data Quality ルール更新事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Table row count greater than 0",
          "enabled": true,
          "severity": "High",
          "description": "Data quality rule creation operation check test",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    イベントコード

    文字列

    イベントコードです。

    プロジェクト ID

    Long

    プロジェクト ID。

    テナントID

    Long

    テナントIDです。

    オペレーター

    文字列

    ユーザー UID。

    操作時間

    Long

    操作の時刻。

    ID

    Long

    ルール ID です。

    名前

    文字列

    ルール名。

    有効

    ブール値

    ルールが有効かどうかを示します。

    true:有効。

    false:無効。

    重要度

    文字列

    ビジネスにおけるルールのレベル (ページ上の強制ルールまたは弱いルールに対応)。

    • 標準

    説明

    文字列

    ルールの説明。

    templateCode

    String

    パーティションテーブルのパーティション設定。

    samplingConfig

    SamplingConfig

    サンプル収集に必要な設定。

    メトリック

    String

    サンプリングメトリックの名前。

    • Count:テーブル行数

    • Min:フィールド最小値

    • Max:フィールド最大値

    • Avg:フィールド平均値

    • DistinctCount:フィールドの一意な値の数

    • DistinctPercent:一意なフィールド値の総データ行数に対する比率

    • DuplicatedCount:重複フィールド値の数

    • DuplicatedPercent:重複フィールド値の総データ行数に対する比率

    • TableSize:テーブルサイズ

    • NullValueCount:null フィールド値を持つ行の数

    • NullValuePercent:null フィールド値の割合

    • GroupCount:フィールド値でグループ化した後の各フィールド値の行数

    • CountNotIn:列挙値が一致しない行の数

    • CountDistinctNotIn:一致しない一意な列挙値の数

    • UserDefinedSql:カスタム SQL を使用してサンプルを収集

    checkingConfig

    CheckingConfig

    サンプル検証設定。

    種類

    String

    しきい値計算方法

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    しきい値

    しきい値

    しきい値の設定。

    期待値

    しきい値

    期待されるしきい値設定。

    文字列

    しきい値の式。

    重大

    しきい値

    重大な警告のためのしきい値設定。

Data Quality 監視事前操作イベント (作成、更新、クローン、一括削除)

  • 次の例は、Data Quality 監視作成または更新事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task",
          "name": "Table data accuracy monitoring",
          "description": "After the scheduling instance that writes data to the table runs successfully, trigger monitoring to check whether the output data meets expectations",
          "target": {
            "databaseType": "emr",
            "tableGuid": "an-emr-table-guid"
          },
          "trigger": {
            "type": "ByScheduledTaskInstance",
            "taskIds": [
              1001,
              1002
            ]
          },
          "dataSourceId": 201,
          "runtimeConf": "{ \"queue\": \"default\", \"sqlEngine\": \"HIVE_SQL\" }",
          "rules": [
            {
              "name": "Table row count greater than 0",
              "enabled": true,
              "severity": "High",
              "description": "Data quality rule creation operation check test",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }, 
            {
              "id": 100002
              "name": "Table row count greater than 100",
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 100"
                  },
                  "critical": {
                    "expression": "$checkValue <= 100"
                  }
                }
              }
            }
          ],
          "hooks": [
            {
              "type": "BlockTaskInstance",
              "condition": "(${severity} == \"High\" AND ${status} == \"Critical\") OR (${severity} == \"High\" AND ${status} == \"Error\")"
            }
          ],
          "notifications": {
            "condition": "(${severity} == \"High\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Error\")",
            "notifications": [
              {
                "channels": [
                  "Mail",
                  "Sms"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "AliUid",
                    "receiverValues": [
                      "1107550004253538", 
                      "51107550004253538"
                    ]
                  }
                ]
              }, 
              {
                "channels": [
                  "Dingding"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "DingdingUrl",
                    "receiverValues": [
                      "https://api.dingding.com/message-boxes/b1/messages",
                      "https://api.dingding.com/message-boxes/b2/messages"
                    ],
                    "extension": "{ \"atAll\": true }"
                  }
                ]
              }
            ]
          },
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    eventCode

    String

    イベントコード。

    name

    String

    品質監視タスクの名前。

    description

    String

    Data Quality 検証タスクの説明。

    target

    DataQualityTarget

    Data Quality 検証タスクの監視対象。

    databaseType

    String

    テーブルタイプのデータセットの場合、テーブルが属するデータベースタイプ。

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    データマップ内のテーブルの一意の ID。

    trigger

    DataQualityEvaluationTaskTrigger

    Data Quality 検証タスクのトリガー設定。

    type

    String

    品質検証タスクの実行をトリガーできるイベント。

    • ByScheduledTaskInstance:スケジューリングインスタンスが正常に実行されました。パブリッククラウドシナリオでのみサポートされています。

    • ByManual:手動でトリガーされます。

    taskIds

    Array<Long>

    type=ByScheduledTaskInstance の場合に有効です。正常に実行された後に監視をトリガーするスケジューリングノードインスタンスを指定します。

    dataSourceId

    Long

    Data Quality 検証タスクの実行時に使用されるデータソース。

    runtimeConf

    String

    データソースを使用する際の設定。現在は EMR YARN キューの指定や、EMR テーブルデータ収集時の SQL エンジンを SPARK-SQL に設定することをサポートしています。

    rules

    List<DataQualityRule>

    Data Quality ルールのリスト。詳細なパラメーターについては、「Data Quality ルール事前操作イベントパラメーター」をご参照ください。

    hooks

    Array<DataQualityEvaluationTaskHook>

    Data Quality 検証タスクインスタンスのライフサイクル中のコールバック設定。現在はスケジューリングタスクインスタンスをブロックするフックのみをサポートしています。

    type

    String

    後続アクションのタイプ。

    BlockTaskInstance:DataWorks タスクインスタンスの実行をブロックします。

    condition

    String

    フックをトリガーする条件。

    notifications

    Array<Notification>

    具体的なメッセージ通知設定。

    projectId

    Long

    プロジェクト ID

    tenantId

    Long

    テナント ID。

    operator

    String

    操作を実行したユーザーの UID。

    operationTime

    Long

    操作の時刻。

  • 次の例は、Data Quality 監視クローン事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "clone-data-quality-evaluation-task", // データ品質評価タスクのクローン作成
          "id": 10001, // クローン作成対象のモニターID
          "targets": [
            {
              "databaseType": "emr",
              "tableGuid": "an-emr-table-guid"
            },
            {
              "databaseType": "emr",
              "tableGuid": "another-emr-table-guid"
            }
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクト ID。

    tenantId

    String

    テナント ID。

    operator

    String

    操作を実行したユーザーの UID。

    operationTime

    Long

    操作の時刻。

    targets

    List<DataQualityTarget>

    クローン先の Data Quality 監視対象。

    databaseType

    String

    テーブルタイプのデータセットの場合、テーブルが属するデータベースタイプ。

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    データマップ内のテーブルの一意の ID。

    id

    Long

    クローンに使用される元の Data Quality 監視タスクの ID。

    eventCode

    String

    イベントコード。

  • 次の例は、Data Quality 監視一括削除事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-delete-data-quality-evaluation-tasks", // データ品質評価タスクの一括削除
          "ids": [
            10001,
            10002
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクト ID。

    operator

    String

    操作を実行したユーザーの UID。

    operationTime

    Long

    操作の時刻。

    ids

    List<Long>

    削除される Data Quality 監視タスクの ID のリスト。

    tenantId

    String

    テナント ID。

    eventCode

    String

    イベントコード

Data Quality 監視アラートサブスクリプション事前操作イベント (作成、更新、削除)

  • 次の例は、Data Quality 監視アラートサブスクリプション作成または削除事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task-notification", // イベントコード
          "dataQualityEvaluationTaskId": 10001, // 監視ID
          "channel": "sms", // チャンネル
          "receiverValue": "1107***38", // 受信者の値
          "projectId": 30***03, // プロジェクトID
          "operator": "110***3538", // オペレーター
          "operationTime": 1734505954897 // 操作時間
        }
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクト ID。

    operator

    String

    操作を実行したユーザーの UID。

    operationTime

    Long

    操作の時刻。

    dataQualityEvaluationTaskId

    Long

    Data Quality 監視 ID。

    channel

    String

    サブスクリプションメッセージを送信するチャネルタイプ。

    • Mail - メール

    • Sms - テキストメッセージ

    • Phone

    • Feishu - Lark

    • Weixin - WeChat

    • ディンディン - DingTalk

    • Webhook - カスタム Webhook

    receiverValue

    String

    サブスクリプションメッセージを送信する具体的な宛先。

    eventCode

    String

    イベントコード。

  • 次の例は、Data Quality 監視アラートサブスクリプション更新事前操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "currentChannel": "sms",
          "currentReceiverValue": "1107***538",
          "updatedChannel": "sms",
          "updatedReceiverValue": "1107***538",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    projectId

    Long

    DataWorks プロジェクト ID。

    operator

    String

    操作を実行したユーザーの UID。

    operationTime

    Long

    操作の時刻。

    dataQualityEvaluationTaskId

    Long

    Data Quality 監視 ID。

    currentChannel

    String

    更新されるサブスクリプションメッセージの送信チャネルタイプ。

    • Mail - メール

    • Sms - テキストメッセージ

    • Phone

    • Feishu - Lark

    • Weixin - WeChat

    • ディンディン - DingTalk

    • Webhook - カスタム Webhook

    currentReceiverValue

    String

    更新されるサブスクリプションメッセージの具体的な宛先。

    updatedChannel

    String

    サブスクリプションメッセージを送信する更新後のチャネルタイプ。

    • Mail - メール

    • Sms - テキストメッセージ

    • Phone

    • Feishu - Lark

    • Weixin - WeChat

    • ディンディン - DingTalk

    • Webhook - カスタム Webhook

    updatedReceiverValue

    String

    サブスクリプションメッセージを送信する更新後の具体的な宛先。

    eventCode

    String

    イベントコード。

テナントレベルのイベント

テナントレベルのモジュールはテナントレベルのイベントを生成します。例としては、管理コンソールでワークスペースが削除されたときに生成されるイベントメッセージなどがあります。以下のイベントリストは、各モジュールについてどのイベントが通常イベントで、どのイベントが拡張ポイントイベントであるかを示し、各イベントのメッセージフォーマットも示しています。

以下のメッセージフォーマットタブには、一部のコンテンツのみが表示されます。EventBridge または Function Compute に送信される完全なメッセージについては、「付録:メッセージフォーマット」をご参照ください。

管理コンソールイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

通常イベント

拡張ポイントイベント

EventBridge イベントタイプ (Type)

拡張イベントタイプ (eventCode)

プロジェクトスペースの削除

プロジェクトの前提イベントを削除する

image

image

dataworks:ProjectChange:DeleteProject

delete-project

末尾のスペースを削除します。

image

image

dataworks:ProjectChange:ProjectDeleted

project-deleted

メッセージフォーマット

メッセージエンティティフォーマット:プロジェクトスペース削除イベント

  • 次の例は、テナントのプロジェクト削除前イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
     
      "data": {
        "eventCode": "delete-project",
        "projectId": 7***7, // ワークスペース ID
        "tenantId": 2807****0784, // テナント ID
        "operator": "19***735
    }

    次の表に、フィールドの説明を示します:

    フィールド名

    タイプ

    説明

    operator

    String

    DataWorks ワークスペースからユーザーを削除します。

    projectId

    Long

    削除される DataWorks ワークスペースの ID。

    tenantId

    Long

    削除されるワークスペースのテナント ID。

    eventCode

    String

    拡張イベントコード。

  • 次の例は、テナントのプロジェクト削除後イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
        //テナント内のワークスペースを削除した後のイベントのメッセージ本文のサンプルコード
        "data": {
            "eventCode": "project-deleted",
            "tenantId": 28***656, //テナントID
            "blockBusiness": false,
            "projectName": "test2", //ワークスペース名
            "projectId": 9***4, //ワークスペースID
            "operator": "19***735", //操作を実行したユーザーのUID
            "timestamp": 1702260556896 //メッセージが送信されたタイムスタンプ
       } 
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    タイプ

    説明

    operator

    String

    DataWorks ワークスペースからユーザーを削除します。

    projectId

    Long

    削除される DataWorks ワークスペースの ID。

    projectName

    String

    削除される DataWorks ワークスペースの名前。

    tenantId

    Long

    削除されるワークスペースのテナント ID。

    timestamp

    Long

    メッセージが送信されたタイムスタンプ。

    eventCode

    String

    拡張イベントコード。

アップロードおよびダウンロードイベントリスト

イベントリスト

イベントタイプ

イベント (およびトリガー操作)

通常イベント

拡張ポイントイベント

EventBridge イベントタイプ (Type)

拡張イベントタイプ (eventCode)

データのアップロードとダウンロード

データダウンロード前イベント - ファイル生成

image

image

dataworks:ResourcesDownload:DownloadResources

download-resources

データダウンロード前イベント - ファイルダウンロード

image

image

dataworks:ResourcesDownload:DownloadResourcesExecute

download-resources-execute

データアップロード前イベント

image

image

dataworks:ResourcesUpload:UploadDataToTable

upload-data-to-table

メッセージフォーマット

データのアップロードとダウンロード

  • 次の例は、データダウンロード前イベント - ファイル生成のメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    { 
        "data": {
            "eventCode": "download-resources",
            "moduleType": "sqlx_query",
            "operatorBaseId": "123936573******",
            "operatorUid": "14931896037*******",
            "fileName": "File name.csv",
            "fileSize": 10241024,
            "datasourceId": "1111",
            "datasourceName": "odps_first",
            "queryDwProjectId": "9***4",
            "queryDwProjectName": "test_project",
            "dataRowSize": "123456",
            "sqlText": "select sku_code, sku_name from dim_sku",
        }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    moduleType

    String

    ダウンロードされたデータのソース:

    • entity_transfer:セキュリティセンター > セキュリティポリシー > エンティティ転送 > 転送ログからダウンロードされたデータ。

    • develop_query:DataStudio で SQL 文を使用してクエリおよびダウンロードされたデータ。

    • sqlx_query:データ分析 > SQL クエリで SQL 文を使用してクエリおよびダウンロードされたデータ。

    • dw_excel:データ分析 > ワークブックからダウンロードされたデータ。

    operatorBaseId

    String

    ダウンロード操作を実行したユーザーの BaseID。

    operatorUid

    String

    ダウンロード操作を実行したユーザーの UID。

    fileName

    String

    ダウンロードされたファイルの名前。

    fileSize

    Long

    ダウンロードされたファイルのサイズ。

    datasourceId

    String

    ダウンロードされたデータが属するデータソースの ID。

    datasourceName

    String

    ダウンロードされたデータが属するデータソースの名前。

    queryDwProjectId

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの ID。

    queryDwProjectName

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの識別子。

    dataRowSize

    Long

    ダウンロードされたデータの行数。

    sqlText

    String

    SQL 文を使用してデータをクエリおよびダウンロードする場合、このフィールドには使用された SQL コードが含まれます。

    eventCode

    String

    拡張イベントタイプ。

  • 次の例は、データダウンロード前イベント - ファイルダウンロードのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "download-resources-execute",
        "moduleType": "sqlx_query",
        "operatorBaseId": "123936573******",
        "operatorUid": "14931896037*******",
        "fileName": "File name.csv",
        "fileSize": 10241024,
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "dataRowSize": "123456",
        "sqlText": "select sku_code, sku_name from dim_sku",
        "ip": "198.10.X.X"
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesDownload:DownloadResourcesExecute"
    }

    次の表に、重要なフィールドの説明を示します。

    フィールド名

    タイプ

    説明

    moduleType

    String

    ダウンロードされたデータのソース:

    • entity_transfer:セキュリティセンター > セキュリティポリシー > エンティティ転送 > 転送ログからダウンロードされたデータ。

    • develop_query:DataStudio で SQL 文を使用してクエリおよびダウンロードされたデータ。

    • sqlx_query:データ分析 > SQL クエリで SQL 文を使用してクエリおよびダウンロードされたデータ。

    • dw_excel:データ分析 > ワークブックからダウンロードされたデータ。

    operatorBaseId

    String

    ダウンロード操作を実行したユーザーの BaseID。

    operatorUid

    String

    ダウンロード操作を実行したユーザーの UID。

    fileName

    String

    ダウンロードされたファイルの名前。

    fileSize

    Long

    ダウンロードされたファイルのサイズ。

    datasourceId

    String

    ダウンロードされたデータが属するデータソースの ID。

    datasourceName

    String

    ダウンロードされたデータが属するデータソースの名前。

    queryDwProjectId

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの ID。

    queryDwProjectName

    String

    ダウンロードされたデータが属する DataWorks ワークスペースの識別子。

    dataRowSize

    Long

    ダウンロードされたデータの行数。

    sqlText

    String

    次の SQL コードを使用して、データをクエリおよびダウンロードできます。

    ip

    String

    ダウンロード操作を実行したユーザーの IP アドレス。

    eventCode

    String

    拡張イベントタイプ。

  • 次の例は、データアップロード前イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "upload-data-to-table",
        "uploadSourceType": "LOCAL",
        "optTableType": "CREATE",
        "targetEngineType": "MAXCOMPUTE",
        "writeType": "OVERWRITE",
        "conflictMode": "IGNORE",
        "operatorBaseId": "12312*****",
        "operatorUid": "1222222*****",
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "tableGuid": "odps.mc_project.test_table",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "fileSize": 123456
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesUpload:UploadDataToTable"
    }

    次の表に、フィールドの説明を示します。

    フィールド名

    フィールドタイプ

    説明

    uploadSourceType

    String

    アップロードされたデータのソース:

    • LOCAL:ローカルファイルからデータをアップロードします。

    • OSS:OSS ファイルからデータをアップロードします。

    • DW_EXCEL:DataWorks データ分析 > ワークブックからデータをアップロードします。

    • HTTP:HTTP ファイルからデータをアップロードします。

    optTableType

    String

    指定されたエンジンデータソースの既存のテーブルまたは新しいテーブルにデータをアップロードするかどうかを指定します。有効な値:

    • CREATE:新しいテーブルにデータをアップロードします。

    • IMPORT:既存のテーブルにデータをアップロードします。

    targetEngineType

    String

    データがアップロードされるエンジンのタイプ。有効な値:

    • MaxCompute

    • EMR Hive

    • Hologres

    writeType

    String

    宛先テーブルにデータを書き込む方法。有効な値:

    • OVERWRITE:テーブル内の既存のデータを上書きします。

    • APPEND:アップロードされたデータを宛先テーブルに追加します。

    conflictMode

    String

    データアップロード時の宛先テーブルの主キー競合解決ポリシー:

    • IGNORE:主キー競合が存在する場合、アップロードされたデータを無視します。

    • REPLACE:主キー競合が存在する場合、競合するデータを持つ行を削除してから、アップロードされたデータを挿入します。アップロードされたデータで指定されていないフィールドは NULL として書き込まれます。

    • UPDATE:アップロードされたデータは元のテーブルデータを上書きします。アップロードされたデータで指定されたフィールドのみが上書きされます。指定されていないフィールドのデータは変更されません。

    operatorBaseId

    String

    アップロード操作を実行したユーザーの BaseID。

    operatorUid

    String

    アップロード操作を実行したユーザーの UID。

    datasourceId

    String

    データがアップロードされるデータソースの ID。

    datasourceName

    String

    データがアップロードされるデータソースの名前。

    tableGuid

    String

    テーブルの Guid。例:

    • MaxCompute:odps.maxcomputeProject.tableName

    • EMR_Hive:emr_hive.emrClusterId.schema.tableName

    • Holo:holo.hologresInstanceId.database

    queryDwProjectId

    String

    テーブルが属する DataWorks ワークスペースの ID。

    queryDwProjectName

    String

    テーブルが属する DataWorks ワークスペースの名前。

    fileSize

    Long

    アップロードされたファイルのサイズ (バイト単位)。

    eventCode

    String

    拡張イベントコード。

付録:メッセージフォーマット

EventBridge に送信されるメッセージのメッセージフォーマット

OpenEvent を設定し、イベント配信チャネルを追加した後、DataWorks でワークスペースレベルまたはテナントレベルのイベントがトリガーされると、EventBridge で設定したイベントタイプ (Type) に基づいてメッセージがフィルターされます。以下は、DataWorks がイベント配信チャネルを通じて EventBridge にメッセージを送信する際のメッセージフォーマットです。

{ 
 "datacontenttype": "application/json;charset=utf-8",// data パラメーターのコンテンツフォーマット。datacontenttype は application/json のみをサポートします。
  "data": {
 // メッセージ内容はメッセージタイプによって異なります。以下はメッセージ内の 2 つの固定フィールドです。特定のイベントメッセージについては、前のセクションをご参照ください。
 "tenantId": 28378****10656,// テナント ID。各 Alibaba Cloud アカウントは DataWorks テナントに対応し、各テナントには独自のテナント ID があります。この値は DataStudio の右上隅にあるユーザー情報で確認できます。
 "eventCode": "xxxx"//
  },
  "id": "539fd8f4-4ea1-4625-aa8b-6c906674****",// イベント ID。イベントを一意に識別する値。
  "source": "acs.dataworks",// イベントソース。イベントを提供するサービスで、このメッセージが DataWorks によってプッシュされたことを示します。
  "specversion": "1.0",
  "subject": "",
  "time": "2020-11-19T21:04:41+08:00",// イベントが発生した時刻。
  "type": "dataworks:InstanceStatusChanges:InstanceStatusChanges",// イベントタイプ。このイベントタイプは、EventBridge コンソールで DataWorks によってプッシュされたすべてのメッセージをフィルターするために使用できます。Type の値はイベントごとに異なります。さまざまなイベントメッセージタイプについては、前のセクションをご参照ください。
  "aliyunaccountid": "123456789098****",// Alibaba Cloud アカウント ID。
  "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",// EventBridge がイベントを受信した時刻。
  "aliyuneventbusname": "default",// DataWorks イベントメッセージを受信するために使用される EventBridge イベントバスの名前。
  "aliyunregionid": "cn-hangzhou",// イベントが受信されたリージョン。
  "aliyunpublishaddr": "172.25.XX.XX"
}

完全なイベントメッセージには、メッセージエンティティフォーマットと、メッセージ ID、ソース、作成時刻などの基本情報が含まれます。次の表に、重要なフィールドの説明を示します。

フィールド名

タイプ

説明

data

オブジェクト

メッセージエンティティフォーマット。メッセージフォーマットとそのフィールドは、イベントタイプによって異なります。詳細については、以下をご参照ください:

DataStudio イベントメッセージフォーマット:DataStudio イベントリスト

データ統合イベントメッセージフォーマット:データ統合イベントリスト

オペレーションセンターイベントメッセージフォーマット:オペレーションセンターイベントリスト

セキュリティセンターイベントメッセージフォーマット:セキュリティセンターイベントリスト

Data Quality イベントメッセージフォーマット:Data Quality イベントリスト

id

文字列

イベントメッセージの一意の ID。イベントメッセージを特定するために使用されます。

type

文字列

イベントタイプ。イベントソースに関連するイベントタイプを記述します。例:

  • dataworks:FileChange:CommitFile:ファイルのコミットを示します。

  • dataworks:FileChange:DeployFile:ファイルの公開を示します。

このイベントタイプは、EventBridge コンソールで DataWorks によってプッシュされたすべてのメッセージをフィルターするために使用できます。Type の値はイベントごとに異なります。さまざまなイベントメッセージタイプについては、前のセクションをご参照ください。

Function Compute に送信されるメッセージのメッセージフォーマット

DataWorks で Function Compute メソッドを使用して拡張機能を設定すると、DataWorks はトリガーされた拡張ポイントイベントのメッセージを JSON 形式で Function Compute に送信します。以下は、Function Compute に送信されるメッセージフォーマットです。

{
	"blockBusiness": true,
	"eventCategoryType": "resources-download",// イベントカテゴリ
	"eventType": "upload-data-to-table",// イベントタイプ
	"extensionBizId": "job_6603***070",
	"messageBody": {
             // メッセージ内容はメッセージタイプによって異なります。以下はメッセージ内の 2 つの固定フィールドです。特定のイベントメッセージについては、前のセクションをご参照ください。
             "tenantId": 28378****10656,// テナント ID。各 Alibaba Cloud アカウントは DataWorks テナントに対応し、各テナントには独自のテナント ID があります。この値は DataStudio の右上隅にあるユーザー情報で確認できます。
             "eventCode": "xxxx"//
	},
	"messageId": "52d44ee7-b51f-4d4d-afeb-*******"// イベント ID。イベントを一意に識別する値。
}

主要なフィールドは次のように記述されます:

フィールド名

フィールドタイプ

説明

messageId

文字列

イベント ID。イベントを一意に識別する値。

messageBody

DataWorks によってプッシュされた特定のイベントメッセージ。拡張機能を開発する際に使用できます。内容はメッセージタイプによって異なります。

tenantId

テナント ID。各 Alibaba Cloud アカウントは DataWorks テナントに対応し、各テナントには独自のテナント ID があります。この値は DataStudio の右上隅にあるユーザー情報で確認できます。

eventCode

イベントコード。特定のタイプのイベントメッセージを識別するために使用されます。各イベントタイプに対応する eventCode については、開発リファレンス:イベントリストとメッセージフォーマットテーブルの拡張イベントタイプ (eventCode) 列をご参照ください。