本トピックでは、DataWorks のイベントタイプとメッセージフォーマット、およびメッセージ内のフィールドについて説明します。このトピックを参照することで、イベントリストとメッセージフォーマットに関する情報を素早く見つけることができます。
背景情報
DataWorks では、イベントが DataWorks の内部操作をブロックできるかどうか、および自己管理型サービスがイベントをサブスクライブした後に処理結果を返すことができるかどうかに応じて、イベントは通常イベントまたは拡張ポイントイベントに分類されます。
通常イベント:これらのイベントのメッセージをサブスクライブできますが、DataWorks の内部操作をブロックすることはできません。OpenEvent を通じてこれらのイベントメッセージをサブスクライブできます。詳細については、「OpenEvent」をご参照ください。
拡張ポイントイベント:これらのイベントのメッセージをサブスクライブした後、DataWorks オープンプラットフォームの拡張機能を使用して、イベントメッセージへの応答をカスタマイズできます。拡張機能を使用して拡張ポイントでの操作を制御すると、カスタム拡張が処理結果を返すまで、DataWorks プラットフォームでの操作はブロックされます。
本トピックでは、各モジュールでサポートされているイベント、そのタイプ (通常イベントまたは拡張ポイントイベント)、EventBridge イベントタイプ (Type)、および拡張イベントコード (eventCode) をリストアップします。
EventBridge イベントタイプ (Type):イベントメッセージをフィルターするために使用されるフィールドです。詳細については、「メッセージサブスクリプションの有効化」をご参照ください。
拡張イベントコード (eventCode):イベントタイプに対応するイベントコードです。ローカルで開発する際、DataWorks から送信されるメッセージのコンテンツからこのコードを取得して、ターゲットのイベントタイプを識別できます。
ワークスペースレベルのイベント
ワークスペースレベルのモジュールは、ワークスペースレベルのイベントを生成します。例としては、DataStudio でノードが実行されたときに生成されるイベントメッセージや、オペレーションセンターで定期インスタンスのステータスが変更されたときに生成されるイベントメッセージなどがあります。以下のイベントリストは、各モジュールについてどのイベントが通常イベントで、どのイベントが拡張ポイントイベントであるかを示し、各イベントのメッセージフォーマットも示しています。
以下のメッセージフォーマットタブには、一部のコンテンツのみが表示されます。EventBridge または Function Compute に送信される完全なメッセージについては、「付録:メッセージフォーマット」をご参照ください。
データ開発イベントリスト
イベントリスト
イベントタイプ | イベント (およびトリガー操作) | 通常イベント | 拡張ポイントイベント | EventBridge イベントタイプ (Type) | 拡張イベントコード (eventCode) |
ノードの変更 | ノードの作成
|
|
|
|
|
ノードの更新
|
|
|
|
| |
ファイルの変更
| ファイル削除前イベント 開発環境でノードを削除する 説明 削除されたファイルはゴミ箱に移動されます。 |
|
|
|
|
ファイルコミット前イベント |
|
|
|
| |
ファイル公開前イベント |
|
|
|
| |
コード実行前イベント |
|
|
|
| |
テーブルの変更 | フォーム送信前処理イベント |
|
|
|
|
テーブルを本番環境に公開する前のイベント |
|
|
|
|
メッセージフォーマット
ノード変更イベント (作成、更新)
次の例は、ノードの作成、更新、削除イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"nodeName": "****",
"programType": "ODPS_SQL",
"cronExpress": "00 04 00 * * ?",
"blockBusiness": false,
"schedulerType": "NORMAL",
"ownerId": "19****735",
"priority": 1,
"baselineId": 70***287,
"operator": "19***735", // この操作を実行したユーザー
"eventCode": "node-change-created",
"repeatability": true,
"modifyTime": 17***864,
"createTime": 17***864,
"tenantId": 28***656,
"nodeId": 70***003,
"projectId": 9***4
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
nodeName | 文字列 | ノードの名前。 |
programType | 文字列 | ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。 |
cronExpress | 文字列 | 定期スケジュールの cron 式。 このパラメーターは、DataWorks コンソールの データ開発タスクの スケジューリング設定 > 時間プロパティ > Cron 式 に対応します。 スケジューリング周期と予約時間を設定すると、DataWorks は自動的に cron 式を生成します。例:
説明 cron 式には次の制限が適用されます:
|
schedulerType | 文字列 | タスクインスタンスのスケジューリングタイプ。有効な値:
|
ownerId | 文字列 | ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。 |
priority | 整数 | タスクの優先度。有効な値は 1、3、5、7、8 です。値が大きいほど優先度が高くなります。 |
baselineId | ロング | ベースライン ID。 |
repeatability | ブール値 | ノードを繰り返し実行できるかどうかを示します:
|
modifyTime | 長い | ノードが最後に変更された時間。 |
createTime | 長い | ノードが作成された日時。 |
nodeId | 長い | ノード ID。 |
projectId | ロング | ノードが配置されているプロジェクトの ID。 |
tenantId | 長い | ノードが属するテナントの ID。 |
operator | 文字列 | ノードを作成、変更、または削除したユーザーの UID。 |
eventCode | 文字列 | 拡張イベントコード。 |
ファイル変更イベント (コミット、公開、実行、削除)
次の例は、ファイルのコミットおよび公開イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "fileName": "******", "extensionBizId": "eb******9ce", "changeType": "0", "blockBusiness": false, "dataSourceName": "0_******engine", "operator": "19***735", "eventCode": "commit-file", "fileCreateTime": "2024-07-12 11:08:50", "tenantId": 28***656, "fileOwner": "19***735", "fileVersion": 1, "projectId": 9***4, "fileType": 10, "fileId": 50***830, "resourceType": 1 } }フィールドの説明は次のとおりです:
フィールド名
フィールドタイプ
説明
operator
文字列
ファイルをコミットまたは公開したユーザーの UID。
projectId
長い
ファイルが属するプロジェクトの ID。
tenantId
長い
テナント ID。
nodeId
長い
スケジューリングノード ID。
fileType
長い
ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。
fileName
文字列
ファイル名。
fileOwner
文字列
ファイル所有者。
extensionBizId
文字列
拡張チェックポイントプロセスの ID。
changeType
文字列
ファイル変更のタイプ:
0:ファイルの作成。
1:ファイルの更新。
2:ファイルの削除。
fileCreateTime
文字列
ファイルが作成された時刻。フォーマットは
yyyy-MM-dd HH:mm:ssです。fileId
長い
ファイル ID です。
fileVersion
長い
ファイルバージョン。
dataSourceName
文字列
データソース名。
eventCode
文字列
拡張イベントコード。
次の例は、ファイルの削除および実行イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "fileName": "***", "extensionBizId": "bf******6e3", "blockBusiness": false, "operator": "19***735", "eventCode": "delete-file", "fileCreateTime": "2024-07-12 11:08:50", // ファイル作成時刻 "tenantId": 28***656, "fileOwner": "19***735", // ファイル所有者 "nodeId": 70***003, "projectId": 9***4, "fileType": 10, "fileId": 50***830, "resourceType": 1 } }次の表に、フィールドの説明を示します。
フィールド名
タイプ
説明
operator
文字列
ファイルを削除または実行したユーザーの UID。
projectId
長い
ファイルが属するプロジェクトの ID。
tenantId
長い
テナント ID。
nodeId
長い
スケジューリングノード ID。
fileType
長い
ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。
fileName
文字列
ファイル名。
fileOwner
文字列
ファイル所有者。
extensionBizId
文字列
拡張チェックポイントプロセスの ID。
fileCreateTime
文字列
ファイルが作成された時刻。フォーマットは
yyyy-MM-dd HH:mm:ssです。fileId
長い
ファイル ID です。
eventCode
文字列
拡張イベントコード。
テーブル変更イベント (開発環境へのテーブルのコミット、本番環境へのテーブルの公開)
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"operator": "**************", // オペレーター
"projectId": 12*****56, // プロジェクトID
"tenantId": 12******56, // テナントID
"extensionBizId": "12***56", // 拡張機能のチェックプロセスID
"tableName":"table1", // テーブル名
"tableType":"ODPS", // テーブルタイプ
"maxComputeProject":"project1" // MaxComputeプロジェクト名
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
operator | 文字列 | テーブルをコミットまたは公開したユーザーの UID。 |
projectId | 長い | プロジェクト ID |
tenantId | 長い | テナント ID。 |
extensionBizId | 文字列 | 拡張チェックポイントプロセスの ID。 |
tableName | 文字列 | テーブル名。 |
tableType | 文字列 | テーブルタイプ。値は ODPS です。 |
maxComputeProject | 文字列 | 対応する MaxCompute プロジェクトの名前。 |
データ統合イベントリスト
イベントリスト
イベントタイプ | イベント (およびトリガー操作) | 通常のイベント | 拡張ポイントイベント | EventBridge イベントタイプ (Type) | 拡張イベントタイプ (eventCode) |
ノード変更イベント | タスクの開始 |
|
|
|
|
タスクの一括開始 |
|
|
|
|
メッセージフォーマット
ノード変更イベント - タスクの開始
次の例は、「タスクの開始」ノード変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
## メッセージ v1:開始するテーブル数が 500 未満の場合
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"eventCode": "start-diJob",
"extensionBizId": "0a4***b8ae",
"extensionBizName": "sync_mysql_to_odps_20240726_192307",
"appId": 293624,
"showTableMapping": true,
"tenantId": 28***656,
"blockBusiness": true,
"id": 5280,
"projectId": 9***4,
"tableMapping": [
{
"srcTable": "xb_test_116",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_116"
},
{
"srcTable": "xb_test_117",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_117"
},
{
"srcTable": "xb_test_118",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_118"
},
{
"srcTable": "xb_test_135",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_135"
}
],
"operator": "1504650005316516"
}
}
## メッセージ v2:開始するテーブル数が 500 未満の場合
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"extensionBizId": "59d***50fc",
"extensionBizName": "sync_mysql_to_holo_20240911_170801",
"blockBusiness": true,
"operator": "19***735",
"setting": {
"lastStartPosition": "2024-09-11 12:00:00"
},
"eventCode": "start-diJob",
"jobId": 5777,
"forceRun": false,
"appId": 293624,
"showTableMapping": true,
"tenantId": 28***656,
"startAsV2": false,
"tableMapping": [
{
"srcTable": "test_verify1",
"dstDatasourceName": "molin_db",
"srcDatabaseName": "di_test",
"srcDatasourceName": "mysql_public",
"dstTable": "test_verify1"
},
{
"srcTable": "test_verify1_dst",
"dstDatasourceName": "molin_db",
"srcDatabaseName": "di_test",
"srcDatasourceName": "mysql_public",
"dstTable": "test_verify1_dst"
},
{
"srcTable": "mysql_0_timetest2",
"dstDatasourceName": "molin_db",
"srcDatabaseName": "di_test",
"srcDatasourceName": "mysql_public",
"dstTable": "mysql_0_timetest2"
}
]
}
}
## メッセージ v2:開始するテーブル数が 500 を超える場合、"showTableMapping": false
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"eventCode": "start-diJob",
"jobId": 5502,
"forceRun": false,
"extensionBizId": "f4c***7cbc",
"extensionBizName": "sync_mysql_to_holo_20240412_213634",
"appId": 330914,
"showTableMapping": false,
"tenantId": 28***656,
"blockBusiness": true,
"startAsV2": false,
"operator": "19***735",
"setting": {
"lastStartPosition": "2024-04-12 22:07:02",
"startDateTime": "2024-09-10 17:00:00",
"timeZone": "Asia/Shanghai"
}
}
}
## 正規表現
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"eventCode": "start-diJob",
"jobId": 5778,
"forceRun": false,
"extensionBizId": "a5d***75ba",
"extensionBizName": "sync_mysql_to_holo_20240912_170517",
"appId": 293624,
"showTableMapping": true,
"tenantId": 28***656,
"blockBusiness": true,
"startAsV2": false,
"tableMapping": [
{
"srcTable": "test.*",
"dstDatasourceName": "molin_db",
"srcDatabaseName": ".*",
"srcDatasourceName": "mysql_public",
"dstTable": "aaa"
},
{
"srcTable": "shard.*",
"dstDatasourceName": "molin_db",
"srcDatabaseName": ".*",
"srcDatasourceName": "mysql_public",
"dstTable": "vvv"
}
],
"operator": "19***735"
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
projectId | Long | DataWorks プロジェクト ID。 |
operator | String | 操作を実行したユーザーの UID。 |
extensionBizName | String | ソリューション名。 |
showTableMapping | ブール値 | テーブルマッピング情報を返すかどうかを示します。
テーブル数が 500 を超える場合、showTableMapping のデフォルト値は |
tableMapping | JSONArray | テーブルマッピング。 |
srcDatasourceName | String | ソースデータソース名。 |
srcDatabaseName | String | ソースデータベース名。 |
srcTable | String | ソーステーブル名。 |
dstDatasourceName | String | ターゲットデータソースの名前。 |
dstTable | String | 宛先テーブル名。 |
tenantId | Long | テナント ID。 |
eventCode | String | 拡張イベントコード。 |
ノード変更イベント - タスクの一括開始
次の例は、「タスクの一括開始」ノード変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"needErrorMessage": false,
"extensionBizId": "2de***c4c6",
"extensionBizName": "sync_mysql_to_holo_20240911_170801,sync_mysql_to_odps_20240726_192307",
"errorMessageOnlyFailedFileIds": false,
"blockBusiness": true,
"env": "prod",
"operator": "15***516",
"setting": {
"startDateTime": "2024-09-12 14:00:00",
"timeZone": "Asia/Shanghai"
},
"jobIds": [
5777,
5679
],
"eventCode": "batch-start-diJob",
"tableMappings": [
{
"extensionBizName": "sync_mysql_to_holo_20240911_170801",
"id": 5777,
"tableMapping": [
{
"srcTable": "test_verify1",
"dstDatasourceName": "molin_db",
"srcDatabaseName": "di_test",
"srcDatasourceName": "mysql_public",
"dstTable": "test_verify1"
},
{
"srcTable": "test_verify1_dst",
"dstDatasourceName": "molin_db",
"srcDatabaseName": "di_test",
"srcDatasourceName": "mysql_public",
"dstTable": "test_verify1_dst"
},
{
"srcTable": "mysql_0_timetest2",
"dstDatasourceName": "molin_db",
"srcDatabaseName": "di_test",
"srcDatasourceName": "mysql_public",
"dstTable": "mysql_0_timetest2"
}
]
},
{
"extensionBizName": "sync_mysql_to_odps_20240726_192307",
"id": 5679,
"tableMapping": [
{
"srcTable": "xb_test_116",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_116"
},
{
"srcTable": "xb_test_117",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_117"
},
{
"srcTable": "xb_test_118",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_118"
},
{
"srcTable": "xb_test_135",
"dstDatasourceName": "odps_first",
"srcDatabaseName": "xiaobo_sharding_79fz",
"srcDatasourceName": "mysql_3357_pub_ip_1",
"dstTable": "ods_xb_test_135"
}
]
}
],
"appId": 293624,
"showTableMapping": true,
"tenantId": 52***018,
"projectId": 9***4
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
projectId | Long | DataWorks プロジェクト ID。 |
operator | String | 操作を実行したユーザーの UID。 |
extensionBizName | String | ソリューション名。 |
setting | JSONObject | 起動設定項目。 |
startDateTime | String | 起動時刻。 |
timeZone | String | 起動タイムゾーン。 |
tableMapping | JSONArray | テーブルマッピング。 |
srcDatasourceName | String | ソースデータソース名。 |
srcDatabaseName | String | ソースデータベース名。 |
srcTable | String | ソーステーブル名。 |
dstDatasourceName | String | ターゲットデータソースの名前を指定します。 |
dstTable | String | 宛先テーブル名。 |
showTableMapping | ブール値 | テーブルマッピング情報を返すかどうかを示します。
テーブル数が 500 を超える場合、showTableMapping のデフォルト値は |
tenantId | Long | テナント ID。 |
eventCode | String | 拡張イベントコード。 |
オペレーションセンターイベントリスト
イベントリスト
スケジュールリソースグループまたは所有者を変更すると、node-change-updated イベントがトリガーされます。
イベントタイプ | イベント (およびトリガー操作) | 通常のイベント | 拡張ポイントイベント | EventBridge イベントタイプ (Type) | 拡張イベントタイプ (eventCode) |
ノードの変更 | ノードの削除
|
|
|
|
|
ノード非公開前イベント 本番環境で定期タスクノードを直接オフラインにする 説明 この操作は DataStudio のノードも削除し、ゴミ箱に移動します。 |
|
|
|
| |
ノード凍結前イベント 重要 このイベントは node-change-updated イベントもトリガーします。 |
|
|
|
| |
ノード凍結解除前イベント 重要 このイベントは node-change-updated イベントもトリガーします。 |
|
|
|
| |
ノードデータバックフィル | データバックフィル前イベント |
|
|
|
|
タスクステータスの変更 | スケジューリングタスクステータスの変更 |
|
|
|
|
インスタンスの変更 | インスタンスの凍結 |
|
|
|
|
インスタンスの凍結解除 |
|
|
|
| |
インスタンスの停止 |
|
|
|
| |
インスタンスの再実行
|
|
|
|
| |
インスタンスを成功に設定 |
|
|
|
| |
インスタンスの指定された上流依存関係を削除 |
|
|
|
| |
インスタンス凍結前イベント |
|
|
|
| |
インスタンス凍結解除前イベント |
|
|
|
| |
インスタンス再実行前イベント |
|
|
|
| |
インスタンスを成功イベントに事前設定 |
|
|
|
| |
インスタンス強制終了前イベント |
|
|
|
| |
期限切れインスタンスの削除 |
|
|
|
| |
ワークフローステータスの変更 | ワークフローステータスの変更
|
|
|
|
|
監視とアラート | 監視とアラート |
|
|
|
|
メッセージフォーマット
ノード変更イベント (削除、非公開、凍結、凍結解除)
次の例は、ノード削除イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "nodeName": "", "programType": "ODPS_SQL", "cronExpress": "00 20 00 * * ?", "schedulerType": "NORMAL", "ownerId": "19****735", "priority": 1, "baselineId": 117801853, "repeatability": true, "modifyTime": 1646364549642, "createTime": 1646364549642, "datasource": "odps_source", "tenantId": 28378****10656, "nodeId": 100***150, "projectId": 30**95, "operator": "19***735" // この操作を実行したユーザー } }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
nodeName
文字列
ノードの名前。
programType
文字列
ファイルのコードタイプです。ListFileType 操作を呼び出してファイルのコードタイプをクエリするか、「サポートされているノードタイプ」をご参照ください。
cronExpress
文字列
定期スケジュールの cron 式。
このパラメーターは、DataWorks コンソールの データ開発タスクの スケジューリング設定 > 時間プロパティ > Cron 式 設定に対応します。
スケジューリング周期と予約時間を設定すると、DataWorks は自動的に cron 式を生成します。例:
毎日 05:30 に実行するようにスケジュール:
00 30 05 * * ?毎時 15 分に実行するようにスケジュール:
00 15 * * * ?10 分ごとに実行するようにスケジュール:
00 00/10 * * * ?毎日 08:00 から 17:00 まで 10 分ごとに実行するようにスケジュール:
00 00-59/10 8-17 * * * ?毎月 1 日の 00:20 に実行するようにスケジュール:
00 20 00 1 * ?1 月 1 日の 00:10 から 3 ヶ月ごとに実行するようにスケジュール:
00 10 00 1 1-12/3 ?火曜日と金曜日の 00:05 に実行するようにスケジュール:
00 05 00 * * 2,5
説明cron 式には次の制限が適用されます:
最小スケジューリング間隔は 5 分です。
最も早い予約時間は 00:05 です。
schedulerType
文字列
タスクインスタンスのスケジューリングタイプ。有効な値:
0:NORMAL。タスクは定期的にスケジュールされたタスクであり、繰り返し実行されます。
1:MANUAL。タスクはワンタイムタスクであり、繰り返し実行されません。
2:PAUSE。タスクは凍結されています。定期的にスケジュールされますが、起動時にステータスが失敗に設定されます。
3:SKIP。タスクはドライランタスクです。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。
4:SKIP_UNCHOOSE。タスクは一時的なワークフローで選択されていません。一時的なワークフローにのみ存在し、起動時にステータスが成功に設定されます。
5:SKIP_CYCLE。タスクは週次または月次のタスクで、実行サイクルに達していません。定期的にスケジュールされますが、起動時にステータスが成功に設定されます。
6:CONDITION_UNCHOOSE。上流インスタンスにブランチ (IF) ノードがありますが、この子孫ノードはブランチノードによって選択されていません。タスクはドライランタスクとして扱われます。
7:REALTIME_DEPRECATED。定期インスタンスはリアルタイムで生成されますが、期限切れになっています。このタイプのタスクのステータスは成功に設定されます。
ownerId
文字列
ノード所有者の Alibaba Cloud ユーザー ID。このパラメーターが空の場合、デフォルトで呼び出し元の Alibaba Cloud ユーザー ID が使用されます。
priority
整数
タスクの優先度。有効な値は 1、3、5、7、8 です。値が大きいほど優先度が高くなります。
baselineId
長い
ベースライン ID。
repeatability
ブール値
ノードを繰り返し実行できるかどうかを示します:
true:ノードは繰り返し実行できます。
false:ノードは繰り返し実行できません。
modifyTime
長い
ノードが最後に変更された時刻。
createTime
長い
ノードが作成された日時。
nodeId
長い
ノード ID。
projectId
長い
ノードが配置されているプロジェクトの ID。
tenantId
長い
ノードが属するテナントの ID。
operator
文字列
ノードを作成、変更、または削除したユーザーの UID。
次の例は、ノードの凍結、凍結解除、非公開イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "operator": "19***735", // オペレーター "projectId": 12***56, // プロジェクトID "tenantId": 28***656, // テナントID "nodeIds":[1,2,3], // ノードIDのリスト "extensionBizId": "12***56" // 拡張機能のビジネスID } }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
operator
文字列
ノードを凍結、凍結解除、または非公開にしたユーザーの UID。
projectId
長い
ノードが配置されているプロジェクトの ID。
tenantId
長い
テナント ID。
nodeIds
配列
操作されたノードの ID のリスト。
extensionBizId
文字列
拡張チェックポイントプロセスの ID。
ノードデータバックフィル
次の例は、データバックフィル操作イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"excludeNodeIds":[], // 除外するノードIDのリスト
"rootNodeId": 1000****271, // ルートノードID
"startFutureInstanceImmediately": false, // 将来のインスタンスをすぐに開始するかどうか
"useMultipleTimePeriods": true, // 複数の期間を使用するかどうか
"operator": "19***735", // オペレーター
"eventCode": "backfill-data", // イベントコード
"multipleTimePeriods": "[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]", // 複数の期間
"parallelGroup": 1, // 並列グループ
"rootNodeProjectId": 12*****8, // ルートノードのプロジェクトID
"isParallel": false, // 並列実行するかどうか
"name": "P_fff_20220418_215404", // ワークフロー名
"tenantId": 16935*****3377, // テナントID
"includeNodeIds": // 含まれるノードIDのリスト
[
10***271
],
"projectId": 9***4, // プロジェクトID
"order": "asc", // 順序
"extensionBizId": "12***56" // 拡張機能のビジネスID
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
name | 文字列 | データバックフィルワークフローの名前。 |
rootNodeId | 長い | データバックフィルワークフローのルート頂点の ID。 |
rootNodeProjectId | 長い | データバックフィルワークフローのルート頂点が配置されているプロジェクトの ID。 |
includeNodeIds | 配列 | データがバックフィルされるノード ID のリスト。 |
excludeNodeIds | 配列 | データがバックフィルされないノード ID のリスト。これらのノードに対してドライランインスタンスが生成されます。スケジュールされた後、ドライランインスタンスはスクリプトコンテンツを実行せずに正常に実行されます。 |
bizBeginTime | 文字列 | タスクの開始時刻。このパラメーターは、時間単位でスケジュールされたタスクにのみ必要です。フォーマットは |
bizEndTime | 文字列 | タスクの終了時刻。このパラメーターは、時間単位でスケジュールされたタスクにのみ必要です。フォーマットは |
isParallel | ブール値 | データバックフィル操作を並列実行できるかどうかを示します:
|
parallelGroup | 整数 | 並列実行のグループ数。値 1 はグループ化なしを意味します。 |
startFutureInstanceImmediately | ブール値 | 予約時間をスキップして、将来の時刻のインスタンスをすぐに実行するかどうかを示します:
|
order | 文字列 | データタイムスタンプに基づいてデータバックフィルが実行される順序:
|
multipleTimePeriods | 文字列 | データタイムスタンプをセグメントで選択します。例: |
tenantId | 長い | テナント ID。 |
projectId | ロング | データバックフィル操作が実行されるプロジェクトの ID。 |
operator | 文字列 | データバックフィル操作を実行したユーザーの ID。 |
extensionBizId | 文字列 | 拡張チェックポイントプロセスの ID。 |
eventCode | 文字列 | 拡張イベントコード。 |
タスクステータス変更イベント
次の例は、スケジューリングタスクステータス変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"beginWaitTimeTime": 1652700576000, // 待機開始時間
"dagId": 446***330, // DAG ID
"dagType": 0, // DAGタイプ
"eventCode": "instance-status-changes", // イベントコード
"taskType": 0, // タスクタイプ
"modifyTime": 1652700577000, // 更新時間
"createTime": 1652543233000, // 作成時間
"appId": 3*****2, // アプリケーションID
"tenantId": 235454***432001, // テナントID
"opCode": 31, // 操作コード
"flowId": 1, // フローID
"nodeId": 100***219, // ノードID
"beginWaitResTime": 1652700577000, // リソース待機開始時間
"taskId": 453***169, // タスクID
"status": 3 // ステータス
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
finishTime | 長い | スケジューリングタスクインスタンスが実行を終了した特定の時刻。 |
beginWaitTimeTime | 長い | スケジューリングタスクインスタンスが実行待機を開始した特定の時刻。 |
beginRunningTime | ロング | スケジューリングタスクインスタンスが実行を開始した特定の時刻。 |
dagId | 長い |
|
dagType | 整数 | Dag のタイプ。有効な値:
|
taskType | 整数 | タスクインスタンスのスケジューリングタイプ。有効な値:
|
modifyTime | 長い | タスクインスタンスが最後に変更された時刻。 |
createTime | 長い | タスクインスタンスが作成された時刻。 |
appId | ロング | ワークスペース ID。ListProjects を呼び出してワークスペース ID を表示できます。 |
tenantId | 長い | スケジューリングタスクインスタンスが配置されているワークスペースのテナントの ID。 |
opCode | 整数 | スケジューリングタスクインスタンスの操作コード。このフィールドは無視できます。 |
flowId | 長い | ワークフローIDです。
|
nodeId | 長い | スケジューリングタスクインスタンスに対応するノードの ID。 |
beginWaitResTime | 長い | スケジューリングタスクインスタンスがリソース待機を開始した特定の時刻。 |
taskId | 長い | スケジューリングタスクインスタンスの ID。 |
status | 整数 | タスクのステータス。有効な値:
|
eventCode | 文字列 | 拡張イベントコード。 |
インスタンス変更イベント (凍結、凍結解除、停止、再実行、成功に設定)
次の例は、インスタンス変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"eventCode": "freeze-instance",
"operator": "19***735",
"projectId": 12***8,
"projectType": "PROD",
"taskIds": [
523***9736
],
"tenantId": 28***656
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
operator | 文字列 | インスタンスに対して操作 (凍結、凍結解除、停止、再実行、成功に設定など) を実行したユーザーの UID。 |
projectType | 文字列 | 実行環境。
|
taskIds | List<Long> | インスタンス ID のコレクション。 |
projectId | ロング | DataWorks プロジェクト ID。 |
tenantId | 長い | インスタンスが配置されているワークスペースのテナントの ID。 |
eventCode | 文字列 | イベントコードです。 |
インスタンス変更前イベント (凍結、凍結解除、再実行、成功に設定、インスタンス強制終了)
次の例は、インスタンス変更前イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"eventCode": "pre-freeze-instance", // イベントコード
"extensionBizId": "055***afaa", // 拡張機能のチェックプロセスのID
"extensionBizName": "Node name", // ノード名
"projectId": 9***4, // プロジェクトID
"taskIds": [
523536569736 // タスクID
],
"tenantId": 28***656, // テナントID
"operator": "19***735" // オペレーター
}
}次の表に、フィールドの説明を示します。
フィールド名 | タイプ | 説明 |
extensionBizId | String | 拡張チェックポイントプロセスの ID。 |
extensionBizName | String | 操作対象のオブジェクトの名前。複数のオブジェクトがある場合は、「オブジェクト名...」と記述されます。 |
projectId | Long | DataWorks プロジェクト ID。 |
taskIds | List<Long> | インスタンス ID のコレクション。 |
tenantId | String | インスタンスが配置されているワークスペースのテナントの ID。 |
operator | Long | インスタンスを操作したユーザーの UID。 |
eventCode | String | 拡張ポイントイベントコード。 |
インスタンス変更イベント - 期限切れインスタンスの削除
次の例は、期限切れインスタンスを削除するイベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
// データコンテンツタイプ
"data": {
"eventCode": "expired-task-instances-deleted",
// イベントコード
"deletedTaskInstanceIds": [
524***035,
524***498,
524***637
],
// 削除されたタスクインスタンスID
"appId": 307303,
// アプリケーションID
"tenantId": 28***656,
// テナントID
"blockBusiness": false,
// ビジネスをブロックするかどうか
"owner": "1107***538",
// オーナー
"operationTime": 1734505954897
// 操作時間
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
deletedTaskInstanceIds | リスト | 削除されたインスタンスの ID のリスト。 |
owner | 文字列 | インスタンス所有者のユーザー ID。 |
operationTime | Long | 操作の時刻。 |
blockBusiness | ブール値 | 拡張機能が存在する場合にプロセスを停止するかどうかを示します。
|
appId | Long | DataWorks プロジェクト ID。 |
tenantId | 文字列 | インスタンスが配置されているワークスペースのテナントの ID。 |
operator | Long | インスタンスを操作したユーザーの UID。 |
eventCode | 文字列 | 拡張ポイントイベントコード。 |
インスタンスイベントの指定された上流依存関係の削除
次の例は、インスタンスの指定された上流依存関係を削除するためのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"aliyunaccountid": "110******38",
"aliyunpublishtime": "2024-12-18T07:12:35.463Z",
"data": {
"eventCode": "delete-task-instance-dependencies",
"upstreamTaskInstanceIds": [
52******35,
52******98,
52******37
],
"appId": 3***03,
"tenantId": 52******36,
"blockBusiness": false,
"taskInstanceId": 52******49,
"operator": "19***735",
"operationTime": 1734505954897
}
}フィールドは次のように記述されます:
フィールド名 | フィールドタイプ | 説明 |
taskInstanceId | 長い | 下流インスタンス ID。 |
upstreamTaskInstanceIds | リスト | 依存関係が削除される上流インスタンス ID のリスト。 |
operator | 文字列 | 操作を実行したユーザーの UID。 |
operationTime | 長い | 操作の時刻。 |
ワークフローステータス変更イベント
次の例は、ワークフローステータス変更イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"bizDate": "2022-11-07 00:00:00",
"createTime": "2022-11-08 10:56:32",
"dagId": 500358972116,
"dagName": "P_test_spark_true_copy_20221108_105631",
"eventCode": "dag-status-changes",
"dagType": 3,
"flowId": 1,
"flowName": "ATCLOUD_FLOW",
"operator": "11****538",
"projectEnv": "PROD",
"projectId": 25***63,
"status": 6,
"tenantId": 52***736
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
bizDate | 文字列 | ワークフローのデータタイムスタンプは |
createTime | 文字列 | ワークフローが作成された時刻。フォーマットは |
dagId | 長い | DagId。DagId に基づいて Dag の詳細を取得できます。 |
dagName | 文字列 | ワークフローの名前。 |
dagType | 整数 | Dag のタイプ。有効な値:
|
flowId | 整数 | ワークフローに対応するビジネスフローの ID。 |
flowName | 文字列 | ワークフローに関連付けられたビジネスフローの名前。 |
operator | 文字列 | ワークフローを作成したユーザーの UID。 |
projectEnv | 文字列 | ワークフローが属する環境。有効な値:
|
tenantId | 長い | スケジューリングタスクインスタンスが配置されているワークスペースのテナントの ID。 |
projectId | 長い | ワークスペース ID。 |
status | 整数 | ワークフロー内のタスクのステータス。有効な値:
|
eventCode | 文字列 | 拡張イベントコード。 |
監視とアラート
次の例は、ベースラインアラートのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "workbench-monitor-alert", "alarmType": "SLA_ALERT", "baselineId": 137***723, "baselineName": "ods layer check task dedicated -- hourly", "baselineStatus": 3, "bizDate": 1654444800000, "inGroupId": 14, "nodeId": 1000***8734, "projectId": 76***34, "taskId": 307***3778, "tenantId": 28***656 } }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
alarmType
文字列
アラートメトリック。有効な値:
SLA_ALERT
REMIND_ALERT
TOPIC_ALERT
baselineId
長い
ベースライン ID。
baselineName
文字列
ベースライン名。
baselineStatus
整数
ベースラインステータス。有効な値:
-1:異常。
1:安全。
2:警告。
3:破線。
bizDate
長い
タイムスタンプ。
inGroupId
整数
ベースラインインスタンスのサイクル番号。日次ベースラインの場合、値は
1です。時間単位のベースラインの場合、値の範囲は[1,24]です。nodeId
長い
ベースラインが異常になった原因のノードの ID。
projectId
長い
ベースラインが属するプロジェクトの ID。
taskId
長い
ベースラインが異常になった原因のインスタンスの ID。
tenantId
長い
テナント ID。
eventCode
文字列
拡張イベントコード。
次の例は、イベントアラートのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "alarmType": "TOPIC_ALERT", "nodeId": 1000***315, "projectId": 91***09, "taskId": 307***0357, "taskStatus": 5, "tenantId": 28***656, "topicId": 1084769 } }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
alarmType
文字列
アラートメトリック。有効な値:
SLA_ALERT
REMIND_ALERT
TOPIC_ALERT
topicId
長い
イベント ID。
taskStatus
文字列
イベントをトリガーしたノードインスタンスのステータス。
nodeId
整数
イベントをトリガーしたノードの ID。
projectId
長い
イベントをトリガーしたノードが属するプロジェクトの ID。
taskId
長い
イベントをトリガーしたノードインスタンスの ID。
tenantId
長い
テナント ID。
次の例は、タスクルールアラートのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。説明通常、ルールオブジェクトはタスクノード、ベースライン、ワークスペース、またはワークフローです。
{ "datacontenttype": "application/json;charset=utf-8", "data": { "alarmType": "REMIND_ALERT", "nodeIds": "1000***5472,1000***5473,1000***5474", "projectId": 9***4, "remindId": 7605, "remindName": "Error Alert", "remindType": "ERROR", "remindUnit": "NODE", "taskIds": "307***0896,307***0870,307***0855", "tenantId": 28***656 } }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
alarmType
文字列
アラートメトリック。有効な値:
SLA_ALERT
REMIND_ALERT
TOPIC_ALERT
nodeIds
文字列
ルールアラートをトリガーしたノードのリスト。
remindId
長い
ルール ID。
remindType
Stirng
ルールをトリガーする条件。有効な値:
FINISHED:完了。
UNFINISHED:未完了。
ERROR:実行中にエラーが発生しました。
CYCLE_UNFINISHED:サイクル未完了。
TIMEOUT:実行がタイムアウトしました。
projectId
長い
ルールをトリガーしたノードが属するプロジェクトの ID。
remindUnit
文字列
ルールをトリガーしたオブジェクトのタイプ。有効な値:
NODE:タスクノード。
GATEWAY_RES:スケジューリング用の排他的リソースグループ。
DI_RES:データ統合リソースグループ。
tenantId
長い
テナント ID。
taskId
文字列
ルールアラートをトリガーしたインスタンスのリスト。
remindName
文字列
ルール名。
次の例は、リソースグループルールアラートのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "alarmType": "REMIND_ALERT", "projectId": 9***4, "remindId": 200***186, "remindName": "Exclusive Resource Group Alert", "remindType": "RES_GROUP_THRESHOLD", "remindUnit": "GATEWAY_RES", "resourceGroupIdentifier": "S_res_group_195820716552192_1650965857744", "resourceGroupName": "emr_exclusive_scheduld", "resourceGroupType": "GATEWAY", "tenantId": 28***656 } }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
アラートタイプ
String
アラートメトリック。有効な値:
SLA_ALERT
REMIND_ALERT
TOPIC_ALERT
リマインド ID
Long
ルール ID。
リマインドタイプ
Stirng
ルールをトリガーする条件。有効な値:
FINISHED:完了。
UNFINISHED:未完了。
ERROR:実行中にエラーが発生しました。
CYCLE_UNFINISHED:サイクル未完了。
TIMEOUT:実行がタイムアウトしました。
RES_GROUP_THRESHOL:リソースグループ使用率。
RES_GROUP_WAIT_AMOUNT:リソースグループでリソースを待機しているインスタンスの数。
プロジェクト ID
Long
ルールをトリガーしたノードが属するプロジェクトの ID。
リマインダー単位
文字列
ルールをトリガーしたオブジェクトのタイプ。有効な値:
NODE:タスクノード。
GATEWAY_RES:スケジューリング用の排他的リソースグループ。
DI_RES:データ統合リソースグループ。
テナント ID
Long
テナント ID です。
リマインド名
文字列
ルール名。
リソースグループ識別子
文字列
リソースグループの一意の識別子。
リソースグループ名
文字列
リソースグループ名。
リソースグループの種類
文字列
リソースグループタイプ。有効な値:
GATEWAY:スケジュールリソースグループ。
DI:データ統合リソースグループ。
セキュリティセンターイベントリスト
イベントリスト
イベントタイプ | イベント (およびトリガー操作) | 通常のイベント | 拡張ポイントイベント | EventBridge イベントタイプ (Type) | 拡張メッセージタイプ (eventCode) |
承認センター | 権限リクエスト作成前イベント |
|
|
|
|
リクエストの完了 |
|
|
|
| |
セキュリティセンター (テーブル権限リクエスト) | テーブル権限リクエスト前イベント |
|
|
|
|
メッセージフォーマット
承認センター (作成、リクエスト完了)
次の例は、権限リクエスト作成前イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "appId":194209, "assignee":"286098539641742899", "assigneeName":"yupeng.sunyp", "createTime":1652094363000, "eventType":"approval", "process":{ "applicant":"286098539641742899", "applicantName":"yupeng.sunyp", "approvalContent":{ "applyPeriod":"2997964800000", "applyReason":"test", "arrayData":[ { "ownerBaseId":"1822***45", "objectType":"TABLE", "odpsTable":"loghub_070103", "envType":1, "projectGuid":"odps.b_mc1", "objectGuid":"odps.b_mc1.loghub_070103", "tenantId":28***656, "objectName":"loghub_070103", "ownerAccountName":"ALIYUN$******(******)", "odpsProject":"B_MC1", "projectName":"B_MC1", "actions":[ "Select", "Describe" ], "projectId":9***4, "workspaceId":"9***4" } ], "contentType":"application/json", "granteeAccounts":[ { "granteeId":"2860985***99", "granteeTypeSub":103, "granteeType":1, "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp" }, { "granteeId":"237857631119109360", "granteeTypeSub":105, "granteeType":1, "granteeName":"RAM$dataworks_3h1_1:dev" } ], "odpsProjectName":"B_MC1", "projectEnv":"1", "resourceSummary":"loghub_070103", "tenantId":28***656, "workspaceId":194209 }, "assignmentCategory":"MaxCompute", "createTime":1652094363000, "processDefinitionId":"definition-3dcc9ce7-d29d-435d-a908-60d4355ff5e2", "processId":"528535869984706", "status":"Pending", "title":"MaxComputeTable", "updateTime":1652094363000 }, "processId":"528535869984706", "status":"Submit", "eventCode": "approval-change-created", "taskId":"528535870015424", "tenantId":28***656, "updateTime":1652094364000 } }{ "datacontenttype": "application/json;charset=utf-8", "data": { "appId":227859, "assignee":"286098539641742899", "eventCode": "approval-change-finished", "assigneeName":"******.******", "comments":"ces", "createTime":1652095981000, "eventType":"approval", "process":{ "applicant":"286098***2899", "applicantName":"yupeng.sunyp", "approvalContent":{ "applyPeriod":"2997964800000", "applyReason":"test", "arrayData":[ { "ownerBaseId":"2382***884", "objectType":"TABLE", "odpsTable":"cdd", "objectNameCn":"******", "envType":1, "projectGuid":"odps.da_simple_202112", "objectGuid":"odps.da_simple_202112.cdd", "tenantId":0, "objectName":"cdd", "ownerAccountName":"RAM$******(******)", "odpsProject":"da_simple_202112", "projectName":"da_simple_202112", "actions":[ "Select", "Describe" ], "projectId":9***4, "workspaceId":"9***4" } ], "contentType":"application/json", "granteeAccounts":[ { "granteeId":"286***899", "granteeTypeSub":103, "granteeType":1, "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp" } ], "odpsProjectName":"da_simple_202112", "projectEnv":"1", "resourceSummary":"cdd", "tenantId":28***656, "workspaceId":227859 }, "assignmentCategory":"MaxCompute", "createTime":1652095981000, "processDefinitionId":"definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a", "processId":"528***192", "status":"Pending", "title":"MaxComputeTable", "updateTime":1652095981000 }次の表に、フィールドの説明を示します。
フィールド名
タイプ
説明
appId
Long
ワークスペース ID。
assignee
String
承認者の BaseId。
assigneeName
String
承認者の名前。
comments
String
備考。
createTime
Long
リクエストが作成された UNIX タイムスタンプ。
processId
String
リクエスト ID。
status
String
リクエストステータス。
taskId
String
承認タスク ID。
tenantId
String
テナント ID。
updateTime
String
リクエストが更新された UNIX タイムスタンプ。
eventType
String
イベントタイプ。
process
Object
承認タスクオブジェクト。
applicant
String
BaseID をリクエストできます。
applicantName
String
申請者の名前。
assignmentCategory
String
リクエストされたコンテンツのタイプ。
createTime
String
承認が作成されたタイムスタンプ。
processDefinitionId
String
ワークフロー定義 ID。
processId
String
ワークフロー ID。
status
String
ワークフローステータス。
title
String
ワークフローのタイトル。
updateTime
Long
リクエストが更新された UNIX タイムスタンプ。
approvalContent
Object
承認コンテンツオブジェクト。
applyPeriod
String
権限リクエストの期間。
applyReason
String
権限リクエストの理由。
contentType
String
承認コンテンツのタイプ。
odpsProjectName
String
権限がリクエストされたプロジェクトの名前。
resourceSummary
String
リソースの説明。
tenantId
Long
テナント ID。
workspaceId
Long
ワークスペース ID。
projectEnv
String
権限がリクエストされたプロジェクトの環境。
granteeAccounts
Array
権限付与先のリスト。
.granteeId
String
権限付与先の ID。
granteeType
String
権限付与タイプ。
granteeTypeSub
String
プリンシパルサブタイプ
granteeName
String
付与先の名前。
arrayData
Array
権限付与コンテンツのリスト。詳細については、「開発リファレンス:イベントリストとメッセージフォーマット」をご参照ください。
eventType
String
イベントタイプ。
次の例は、リクエスト完了イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "appId": 227859, "assignee": "286098539641742899", "eventCode": "approval-change-finished", "assigneeName": "******.******", "comments": "ces", "createTime": 1652095981000, "eventType": "approval", "process": { "applicant": "286****899", "applicantName": "yupeng.sunyp", "approvalContent": { "applyPeriod": "2997***0000", "applyReason": "test", "arrayData": [ { "ownerBaseId": "2382***8*884", "objectType": "TABLE", "odpsTable": "cdd", "objectNameCn": "******", "envType": 1, "projectGuid": "odps.da_simple_202112", "objectGuid": "odps.da_simple_202112.cdd", "tenantId": 0, "objectName": "cdd", "ownerAccountName": "RAM$******(******)", "odpsProject": "da_simple_202112", "projectName": "da_simple_202112", "actions": [ "Select", "Describe" ], "projectId": 9***4, "workspaceId": "9***4" } ], "contentType": "application/json", "granteeAccounts": [ { "granteeId": "286***899", "granteeTypeSub": 103, "granteeType": 1, "granteeName": "RAM$dataworks_3h1_1:yupeng.sunyp" } ], "odpsProjectName": "da_simple_202112", "projectEnv": "1", "resourceSummary": "cdd", "tenantId": 28***656, "workspaceId": 227859 }, "assignmentCategory": "MaxCompute", "createTime": 1652095981000, "processDefinitionId": "definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a", "processId": "528***192", "status": "Pending", "title": "MaxComputeTable", "updateTime": 1652095981000 } } }フィールドは次のように記述されます:
フィールド名
タイプ
説明
appId
Long
ワークスペース ID。
assignee
String
承認者の BaseId。
assigneeName
String
承認者の名前。
comments
String
備考。
createTime
Long
リクエストが作成された UNIX タイムスタンプ。
processId
String
リクエスト ID。
status
String
リクエストステータス。
taskId。
String
承認タスク ID。
tenantId
String
テナント ID。
updateTime
String
リクエストが最後に更新された UNIX タイムスタンプ。
eventType
String
イベントタイプ。
process
Object
承認タスクオブジェクト。
applicant
String
BaseID をリクエストできます。
applicantName
String
申請者の名前。
assignmentCategory
String
リクエストされたコンテンツのタイプ。
createTime
String
承認が作成されたタイムスタンプ。
processDefinitionId
String
ワークフロー定義 ID。
processId
String
ワークフロー ID。
status
String
ワークフローステータス。
title
String
ワークフローのタイトル。
updateTime
Long
承認が更新されたタイムスタンプ。
approvalContent
Object
承認コンテンツオブジェクト。
applyPeriod
String
期間。
applyReason
String
リクエストの理由。
contentType
String
コンテンツタイプ。
odpsProjectName
String
プロジェクト名。
resourceSummary
String
リソースの説明。
tenantId
Long
テナント ID。
workspaceId
Long
ワークスペース ID。
projectEnv
String
環境。
granteeAccounts
Array
権限付与先のリスト。
granteeId
String
権限付与先の ID。
granteeType
String
権限付与タイプ
granteeTypeSub
String
権限付与先のサブタイプ。これはアカウントタイプを示します:
本番 Alibaba Cloud アカウント (本番スケジューリング用):ACCOUNT_PRD(101)
アプリケーションの Alibaba Cloud アカウント:ACCOUNT_APP(102)
Alibaba Cloud アカウント (個人):ACCOUNT_USER(103)
部門 Alibaba Cloud アカウント:ACCOUNT_DEPT(104)
MOCK アカウント:ACCOUNT_MOCK(106)
他のユーザーの Alibaba Cloud アカウント:ACCOUNT_OTHER_USER(105)
granteeName
String
権限付与先の名前。
arrayData
Array
権限付与コンテンツのリスト。詳細については、「開発リファレンス:イベントリストとメッセージフォーマット」をご参照ください。
eventType
String
イベントタイプ。
セキュリティセンター (テーブル権限リクエスト前イベント)
次の例は、テーブル権限リクエスト前イベントのメッセージエンティティフォーマット (data フィールドのコンテンツ) を示しています。
{
"datacontenttype": "application/json;charset=utf-8",
"data": {
"eventType": "approval-create-before",
"operator":"19***735",
"order":{
"applyReason":"test",
"deadlineDate":"1",
"deadlineType":"month",
"granteeObjectList":[
{
"granteeId":"1239****8872"
}
],
"projectMeta":{
"envCode":1,
"labelSecurity":false,
"objectMetaList":[
{
"action":[
"Select",
"Describe"
],
"name":"tablei",
"projectGuid":"odps.d11aa"
}
],
"projectId":2****0,
"projectName":"d11aa"
}
},
"projectId":2****0,
"tenantId":5564****6465
}
}次の表に、フィールドの説明を示します。
フィールド名 | フィールドタイプ | 説明 |
operator | String | テーブル権限リクエスト前操作を実行したユーザーの UID。 |
projectId | Long | テーブル権限リクエスト前操作が実行されるワークスペース ID。 |
tenantId | Long | テーブル権限リクエスト前操作を実行したユーザーのテナント ID。 |
order | Object | リクエスト情報。 |
applyReason | String | リクエストの理由。 |
deadlineDate | String | リクエストの有効期間。 |
deadlineType | String | リクエストの有効期間の時間単位。例:Day、Month。 |
granteeObjectList | Object | 権限付与先のリスト。 |
granteeId | String | 権限付与先 ID。これは RAM ユーザー ID です。 |
projectMeta | Object | ワークスペース情報。 |
envCode | Integer | ワークスペース環境識別子。0 は開発環境、1 は本番環境を示します。 |
labelSecurity | Boolean | ラベルレベル制御が有効かどうかを示します:
|
objectMetaList | Array | 権限付与対象のオブジェクトのリスト。 |
action | Array | 権限付与アクション。例:テーブルに対する Select 権限または Describe 権限の付与。 |
name | String | 権限がリクエストされるテーブルの名前。 |
projectGuid | String | テーブルが配置されているワークスペースの Guid。 |
projectName | String | テーブルが配置されているワークスペースの名前。 |
eventType | String | イベントタイプ。 |
付録:権限付与コンテンツリスト (MaxCompute)
DataWorks がセキュリティセンターで承認およびテーブル権限リクエストをトリガーすると、EventBridge に送信されるイベントメッセージには arrayData フィールドが含まれます。assignmentCategory が MaxCompute の場合、arrayData フィールドのコンテンツは次のとおりです:
{
"ownerBaseId":"1822931104031845", // テーブル所有者のベースID
"objectType":"TABLE", // オブジェクトタイプ
"odpsTable":"oracle_************", // テーブル名
"envType":1, // 環境タイプ
"projectGuid":"odps.***********", // MaxCompute プロジェクトの GUID
"objectGuid":"odps.******.******", // オブジェクトの GUID
"tenantId":0, // テナント ID
"objectName":"oracle_******", // オブジェクト名
"ownerAccountName":"ALIYUN***************", // テーブル所有者のアカウント名
"odpsProject":"dataworks******", // MaxCompute プロジェクト名
"projectName":"dataworks******", // プロジェクトコード
"actions":[ // 操作
"Select", // 選択
"Describe" // 記述
],
"projectId":9***4, // プロジェクト ID
"workspaceId":"9***4" // ワークスペース ID
}フィールドは次のように記述されます:
フィールド名 | フィールドタイプ | 説明 |
ownerBaseId | String | テーブル所有者の BaseID。 |
ownerAccountName | String | テーブル所有者の名前。 |
objectType | String | オブジェクトタイプ。 |
odpsTable | String | テーブル名。 |
envType | String | テーブルが属する環境。 |
projectGuid | String | プロジェクト Guid。 |
objectGuid | String | オブジェクト Guid。 |
objectName | String | オブジェクト名。 |
odpsProject | String | ODPS プロジェクト名。 |
projectName | String | プロジェクトコード。 |
projectId | Long | プロジェクト ID。 |
workspaceId | String | ワークスペース ID。 |
actions | Array | アクションタイプのリスト。 |
付録:権限付与コンテンツリスト (DataService)
DataWorks がセキュリティセンターで承認およびテーブル権限リクエストをトリガーすると、EventBridge に送信されるイベントメッセージには arrayData フィールドが含まれます。assignmentCategory が DataService の場合、arrayData フィールドのコンテンツは次のとおりです:
{
"resourceId":"DsApiDeploy/******/workspaceId/******/dsDeployId/******",
"ownerName":"******",
"resourceVersion":1,
"name":"api_api",
"dsDeployId":"******",
"workspaceName":"da_******",
"id":"******",
"type":1,
"ownerId":"19****735",
"url":"https://******.data.aliyun.com/?projectId=******&type=api&id=******&version=***&defaultProjectId=******",
"workspaceId":"******"
}フィールドは次のように記述されます:
フィールド名 | タイプ | 説明 |
resourceId | String | リソース ID。 |
ownerName | String | リソース所有者の名前。 |
resourceVersion | Long | リソースバージョン。 |
name | String | リソース名。 |
dsDeployId | String | DataService デプロイメント ID。 |
workspaceName | String | ワークスペース名。 |
id | String | 一意のリソース ID。 |
type | String | リソースタイプ。有効な値:
|
ownerId | String | リソース所有者の BaseID。 |
url | String | DataService リンクアドレス。 |
workspaceId | String | ワークスペース ID。 |
Data Quality イベントリスト
イベントリスト
イベントタイプ | イベント (およびトリガー操作) | 通常のイベント | 拡張ポイントイベント | EventBridge イベントタイプ (Type) | 拡張イベントタイプ (eventCode) |
Data Quality 検証 | 検証結果フィードバック
|
|
|
| |
検証完了
|
|
|
|
| |
Data Quality ルール事前操作 | Data Quality ルール一括作成前イベント |
|
|
|
|
Data Quality ルール一括更新前イベント |
|
|
|
| |
Data Quality ルール一括削除事前イベント |
|
|
|
| |
Data Quality ルール更新前イベント |
|
|
|
| |
Data Quality 監視事前操作 | データ品質モニタリングのための前提条件イベントの作成 |
|
|
|
|
Data Quality 監視更新前イベント |
|
|
|
| |
Data Quality 監視チェック事前イベントのクローン |
|
|
|
| |
Data Quality 監視一括削除事前イベント |
|
|
|
| |
Data Quality 監視アラートサブスクリプション事前操作 | Data Quality 監視およびアラート通知のサブスクリプション作成事前イベント |
|
|
| create-data-quality-evaluation-task-notification |
Data Quality 監視アラートサブスクリプション更新前イベント |
|
|
|
| |
Data Quality 監視アラートサブスクリプション削除前イベント |
|
|
|
|
メッセージフォーマット
Data Quality 検証
次の例は、Data Quality 検証結果フィードバックイベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "ruleCheckId": 521771452, "feedbackContent": "Skip", // スキップ "ruleId": 28610334, "createUser": "110755000425****", "taskId": "167644814****9a26ecf4063a88797", "beginTime": "1676448145000", "envType": "ODPS", "projectName": "test_mc_2303_kongjian", "projectId": 9***4, "tenantId": 28***656 } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
ruleId
Long
Data Quality ルール ID。
ruleCheckId
Long
検証結果の自動インクリメント ID。
feedbackContent
String
フィードバックの内容。
createUser
String
フィードバックを提供したユーザーのユーザー ID。
taskid
String
Data Quality タスクの ID。
beginTime
String
フィードバック時刻。
envType
String
ルールに関連付けられたテーブルのデータソースタイプ。ODPS、EMR、HOLO などが含まれます。
projectName
String
ルールに関連付けられたデータソースの一意の識別子。
projectId
Long
DataWorks プロジェクト ID。
tenantId
Long
DataWorks テナント ID。
次の例は、Data Quality 検証完了イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "projectId": 9***4, "tenantId": 28***656, "id": 52177****, "taskId": "1671***7a6", "entityId": 1562***, "ruleId": 28610334, "property": "-", "bizdate": "2023-02-09 00:00:00", "dateType": "YMD", "actualExpression": "ds\u003d20230210", "matchExpression": "ds\u003d$[yyyymmdd]", "blockType": 1, "checkResult": 0, "eventCode": "dqc-check-finished-event", "checkResultStatus": 0, "methodName": "table_count", "beginTime": "2023-02-15 20:14:48", "endTime": "2023-02-15 20:14:55", "timeConsuming": "7s", "externalType": "CWF2", "externalId": "triggerByManual", "discrete": false, "fixedCheck": true, "referenceValue": [ { "bizDate": "3000-12-31 00:00:00", "discreteProperty": "Table row count, 1-day difference", "value": 0.0, "singleCheckResult": 0 } ], "sampleValue": [ { "bizDate": "2023-02-09 00:00:00", "value": 3.0 } ], "trend": "\u003e\u003d", "expectValue": 0.0, "op": "\u003e\u003d", "projectName": "test_mc_2303_kongjian", "tableName": "sx_dim_1209_001", "templateId": 47, "checkerType": 0, "ruleName": "Previous day difference", "isPrediction": false, "feedbackStatus": 0, "whetherToFilterDirtyData": false } }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
id
Long
この検証プロセスの主キー ID。ルール検証がトリガーされるたびに、新しい主キー ID レコードが追加されます。
projectId
Long
DataWorks プロジェクト ID
tenantId
Long
DataWorks テナント ID
taskId
String
検証タスクの ID。
entityId
Long
パーティション式 ID。
ruleId
Long
ルール ID。
property
String
ルールプロパティのフィールド。検証中のデータソーステーブルの列名です。
bizdate
Long
ビジネス日付。検証中のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行された日の前日になります。
dateType
String
スケジューリングサイクルのタイプ。通常は YMD で、年次、月次、または日次のタスクを意味します。
actualExpression
String
検証中のデータソーステーブルの実際のパーティション。
matchExpression
String
パーティション式。
blockType
Integer
検証ルールの強度。強度はルールの重要性を示します。有効な値:
1:強制ルール。
0:弱いルール。
実際のニーズに基づいて重要なルールを強制ルールとして設定できます。強制ルールを使用し、重大なアラートがトリガーされた場合、スケジューリングタスクはブロックされます。
checkResult
Integer
検証結果ステータス。有効な値:
-1:検証例外
0:検証合格
1:オレンジしきい値トリガー
2:赤しきい値トリガー
methodName
String
サンプルデータを収集する方法には以下が含まれます:avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct など。
beginTime
Long
検証操作の開始時刻。
endTime
Long
検証結果のクエリを終了する時刻。
timeConsuming
String
検証タスクの実行にかかった時間。
externalType
String
スケジューリングシステムのタイプ。現在は CWF2 のみサポートされています。externalType が空の場合、手動テスト実行タスクを示します。
externalId
String
externalType が CWF2 の場合、スケジューリングタスクのノード ID を示します。
externalType が空の場合、値は triggerByManual で、手動トリガータスクを示します。
discrete
Boolean
離散検証かどうかを示します。有効な値:
true:離散検証。
false:非離散検証。
fixedCheck
Boolean
固定値検証かどうかを示します。有効な値:
true:固定値検証。
false:非固定値検証。
referenceValue
過去のサンプル値。
bizDate
Long
ビジネス日付。検証中のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行された日の前日になります。
discreteProperty
String
グループ化後のグループごとのフィールド値のサンプリング。例えば、性別フィールドでグループ化した場合、DiscreteProperty は male、female、null になります。
value
Decimal
サンプル値。
singleCheckResult
Integer
検証結果の文字列。
sampleValue
使用される現在のサンプル。
bizDate
Long
ビジネス日付。検証中のビジネスエンティティがオフラインデータの場合、ビジネス日付は通常、検証操作が実行された日の前日になります。
value
Decimal
サンプル値。
trend
String
検証結果の傾向。
expectValue
Double
期待値。
op
String
比較演算子。
projectName
String
Data Quality 検証が必要なエンジンまたはデータソースの名前。
tableName
String
検証中のテーブルの名前。
templateId
Integer
使用される検証テンプレートの ID。
checkerType
Integer
バリデータのタイプ。
ruleName
String
ルールの名前。
isPrediction
Boolean
予測結果かどうかを示します。有効な値:
true:予測結果。
false:予測結果ではない。
comment
String
検証ルールの説明。
eventCode
String
拡張イベントコード。
Data Quality ルール事前操作イベント (一括作成、更新、削除)
次の例は、Data Quality ルール一括作成事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "batch-create-data-quality-rules", "projectId": 30***03, "tenantId": 28***656, "operator": "19***735", "operationTime": 1734505954897, "dataQualityTaskId": 1001, "target": { "databaseType": "maxcompute", "tableGuid": "odps.project_demo.tb_table_demo" }, "rules": [ { "name": "Table row count greater than 0", "enabled": true, "severity": "High", "description": "Data quality rule creation operation check test", "templateCode": "system:table:table_count:fixed:0", "samplingConfig": { "metric": "count" }, "checkingConfig": { "type": "fixed", "thresholds": { "expected": { "expression": "$checkValue > 0" }, "critical": { "expression": "$checkValue <= 0" } } } } ] } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
projectId
List
DataWorks プロジェクト ID。
operator
String
操作を実行したユーザーの UID。
operationTime
Long
操作の時刻。
dataQualityTaskId
Long
ルールに関連付けられた Data Quality 監視タスクの ID。空の場合があります。
target
DataQualityTarget
Data Quality ルールの監視対象。
databaseType
String
テーブルタイプのデータセットの場合、テーブルが属するデータベースタイプ。
MaxCompute
EMR
CDH
Hologres
AnalyticDB for PostgreSQL
tableGuid
String
データマップ内のテーブルの一意の ID。
rules
List<DataQualityRule>
Data Quality ルールのリスト。
name
String
ルール名。
enabled
Boolean
ルールが有効かどうかを示します。
severity
String
ビジネスにおけるルールのレベル (ページ上の強制ルールまたは弱いルールに対応)。
High
Normal
description
String
ルールの説明。
templateCode
String
ルールを作成する際に参照されるルールテンプレート
samplingConfig
SamplingConfig
サンプル収集に必要な設定。
metric
String
サンプリングメトリックの名前。
Count:テーブル行数
Min:フィールド最小値
Max:フィールド最大値
Avg:フィールド平均値
DistinctCount:フィールドの一意な値の数
DistinctPercent:一意なフィールド値の総データ行数に対する比率
DuplicatedCount:重複フィールド値の数
DuplicatedPercent:重複フィールド値の総データ行数に対する比率
TableSize:テーブルサイズ
NullValueCount:null フィールド値を持つ行の数
NullValuePercent:null フィールド値の割合
GroupCount:フィールド値でグループ化した後の各フィールド値の行数
CountNotIn:列挙値が一致しない行の数
CountDistinctNotIn:一致しない一意な列挙値の数
UserDefinedSql:カスタム SQL を使用してサンプルを収集
checkingConfig
CheckingConfig
サンプル検証設定。
type
String
しきい値計算方法
Fixed
Fluctation
FluctationDiscreate
Auto
Average
Variance
thresholds
Thresholds
しきい値の設定。
expected
Threshold
期待されるしきい値設定。
expression
String
しきい値の式。
critical
Threshold
重大な警告のためのしきい値設定。
次の例は、Data Quality ルール一括更新事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "update-data-quality-rule", "projectId": 30***03, "tenantId": 28***656, "operator": "19***735", "operationTime": 1734505954897, "id": 100001, "name": "Table row count greater than 0", "enabled": true, "severity": "High", "description": "Data quality rule creation operation check test", "templateCode": "system:table:table_count:fixed:0", "samplingConfig": { "metric": "count" }, "checkingConfig": { "type": "fixed", "thresholds": { "expected": { "expression": "$checkValue > 0" }, "critical": { "expression": "$checkValue <= 0" } } } } }次の表に、重要なフィールドの説明を示します。
フィールド名
タイプ
説明
eventCode
String
イベントコード。
projectId
Long
プロジェクトの ID。
tenantId
Long
テナント ID。
operator
String
ユーザー UID。
operationTime
Long
操作の時刻。
id
Long
ルール ID。
name
String
ルール名。
enabled
Boolean
ルールが有効かどうかを示します。
true:有効。
false:無効。
severity
String
ビジネスにおけるルールのレベル (ページ上の強制ルールまたは弱いルールに対応)。
High
Normal
description
String
ルールの説明。
templateCode
String
パーティションテーブルのパーティション設定。
samplingConfig
SamplingConfig
サンプル収集に必要な設定。
metric
String
サンプリングメトリックの名前。
Count:テーブル行数
Min:フィールド最小値
Max:フィールド最大値
Avg:フィールド平均値
DistinctCount:フィールドの一意な値の数
DistinctPercent:一意なフィールド値の総データ行数に対する比率
DuplicatedCount:重複フィールド値の数
DuplicatedPercent:重複フィールド値の総データ行数に対する比率
TableSize:テーブルサイズ
NullValueCount:null フィールド値を持つ行の数
NullValuePercent:null フィールド値の割合
GroupCount:フィールド値でグループ化した後の各フィールド値の行数
CountNotIn:列挙値が一致しない行の数
CountDistinctNotIn:一致しない一意な列挙値の数
UserDefinedSql:カスタム SQL を使用してサンプルを収集
checkingConfig
CheckingConfig
サンプル検証設定。
type
String
しきい値計算方法
Fixed
Fluctation
FluctationDiscreate
Auto
Average
Variance
thresholds
Thresholds
しきい値の設定。
expected
Threshold
期待されるしきい値設定。
expression
String
しきい値の式。
critical
Threshold
重大な警告のためのしきい値設定。
次の例は、Data Quality ルール一括削除事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "batch-delete-data-quality-rules", // データ品質ルールの一括削除 "ids": [ 10***01, 10***02, 10***03 ], "projectId": 30***03, "tenantId": 524***4736, "operator": "19***735", "operationTime": 1734505954897 } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
projectId
List
DataWorks プロジェクト ID。
operator
String
操作を実行したユーザーの UID。
operationTime
Long
操作の時刻。
ids
List<Long>
削除される Data Quality ルールの ID のリスト。
tenantId
String
テナント ID。
eventCode
String
イベントコード。
次の例は、Data Quality ルール更新事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "update-data-quality-rule", "projectId": 30***03, "tenantId": 524***4736, "operator": "110***3538", "operationTime": 1734505954897, "id": 100001, "name": "Table row count greater than 0", "enabled": true, "severity": "High", "description": "Data quality rule creation operation check test", "templateCode": "system:table:table_count:fixed:0", "samplingConfig": { "metric": "count" }, "checkingConfig": { "type": "fixed", "thresholds": { "expected": { "expression": "$checkValue > 0" }, "critical": { "expression": "$checkValue <= 0" } } } } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
イベントコード
文字列
イベントコードです。
プロジェクト ID
Long
プロジェクト ID。
テナントID
Long
テナントIDです。
オペレーター
文字列
ユーザー UID。
操作時間
Long
操作の時刻。
ID
Long
ルール ID です。
名前
文字列
ルール名。
有効
ブール値
ルールが有効かどうかを示します。
true:有効。
false:無効。
重要度
文字列
ビジネスにおけるルールのレベル (ページ上の強制ルールまたは弱いルールに対応)。
高
標準
説明
文字列
ルールの説明。
templateCode
String
パーティションテーブルのパーティション設定。
samplingConfig
SamplingConfig
サンプル収集に必要な設定。
メトリック
String
サンプリングメトリックの名前。
Count:テーブル行数
Min:フィールド最小値
Max:フィールド最大値
Avg:フィールド平均値
DistinctCount:フィールドの一意な値の数
DistinctPercent:一意なフィールド値の総データ行数に対する比率
DuplicatedCount:重複フィールド値の数
DuplicatedPercent:重複フィールド値の総データ行数に対する比率
TableSize:テーブルサイズ
NullValueCount:null フィールド値を持つ行の数
NullValuePercent:null フィールド値の割合
GroupCount:フィールド値でグループ化した後の各フィールド値の行数
CountNotIn:列挙値が一致しない行の数
CountDistinctNotIn:一致しない一意な列挙値の数
UserDefinedSql:カスタム SQL を使用してサンプルを収集
checkingConfig
CheckingConfig
サンプル検証設定。
種類
String
しきい値計算方法
Fixed
Fluctation
FluctationDiscreate
Auto
Average
Variance
しきい値
しきい値
しきい値の設定。
期待値
しきい値
期待されるしきい値設定。
式
文字列
しきい値の式。
重大
しきい値
重大な警告のためのしきい値設定。
Data Quality 監視事前操作イベント (作成、更新、クローン、一括削除)
次の例は、Data Quality 監視作成または更新事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "create-data-quality-evaluation-task", "name": "Table data accuracy monitoring", "description": "After the scheduling instance that writes data to the table runs successfully, trigger monitoring to check whether the output data meets expectations", "target": { "databaseType": "emr", "tableGuid": "an-emr-table-guid" }, "trigger": { "type": "ByScheduledTaskInstance", "taskIds": [ 1001, 1002 ] }, "dataSourceId": 201, "runtimeConf": "{ \"queue\": \"default\", \"sqlEngine\": \"HIVE_SQL\" }", "rules": [ { "name": "Table row count greater than 0", "enabled": true, "severity": "High", "description": "Data quality rule creation operation check test", "templateCode": "system:table:table_count:fixed:0", "samplingConfig": { "metric": "count" }, "checkingConfig": { "type": "fixed", "thresholds": { "expected": { "expression": "$checkValue > 0" }, "critical": { "expression": "$checkValue <= 0" } } } }, { "id": 100002 "name": "Table row count greater than 100", "checkingConfig": { "type": "fixed", "thresholds": { "expected": { "expression": "$checkValue > 100" }, "critical": { "expression": "$checkValue <= 100" } } } } ], "hooks": [ { "type": "BlockTaskInstance", "condition": "(${severity} == \"High\" AND ${status} == \"Critical\") OR (${severity} == \"High\" AND ${status} == \"Error\")" } ], "notifications": { "condition": "(${severity} == \"High\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Error\")", "notifications": [ { "channels": [ "Mail", "Sms" ], "notificaionReceivers": [ { "receiverType": "AliUid", "receiverValues": [ "1107550004253538", "51107550004253538" ] } ] }, { "channels": [ "Dingding" ], "notificaionReceivers": [ { "receiverType": "DingdingUrl", "receiverValues": [ "https://api.dingding.com/message-boxes/b1/messages", "https://api.dingding.com/message-boxes/b2/messages" ], "extension": "{ \"atAll\": true }" } ] } ] }, "projectId": 30***03, "tenantId": 524***4736, "operator": "110***3538", "operationTime": 1734505954897 } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
eventCode
String
イベントコード。
name
String
品質監視タスクの名前。
description
String
Data Quality 検証タスクの説明。
target
DataQualityTarget
Data Quality 検証タスクの監視対象。
databaseType
String
テーブルタイプのデータセットの場合、テーブルが属するデータベースタイプ。
MaxCompute
EMR
CDH
Hologres
AnalyticDB for PostgreSQL
tableGuid
String
データマップ内のテーブルの一意の ID。
trigger
DataQualityEvaluationTaskTrigger
Data Quality 検証タスクのトリガー設定。
type
String
品質検証タスクの実行をトリガーできるイベント。
ByScheduledTaskInstance:スケジューリングインスタンスが正常に実行されました。パブリッククラウドシナリオでのみサポートされています。
ByManual:手動でトリガーされます。
taskIds
Array<Long>
type=ByScheduledTaskInstance の場合に有効です。正常に実行された後に監視をトリガーするスケジューリングノードインスタンスを指定します。
dataSourceId
Long
Data Quality 検証タスクの実行時に使用されるデータソース。
runtimeConf
String
データソースを使用する際の設定。現在は EMR YARN キューの指定や、EMR テーブルデータ収集時の SQL エンジンを SPARK-SQL に設定することをサポートしています。
rules
List<DataQualityRule>
Data Quality ルールのリスト。詳細なパラメーターについては、「Data Quality ルール事前操作イベントパラメーター」をご参照ください。
hooks
Array<DataQualityEvaluationTaskHook>
Data Quality 検証タスクインスタンスのライフサイクル中のコールバック設定。現在はスケジューリングタスクインスタンスをブロックするフックのみをサポートしています。
type
String
後続アクションのタイプ。
BlockTaskInstance:DataWorks タスクインスタンスの実行をブロックします。
condition
String
フックをトリガーする条件。
notifications
Array<Notification>
具体的なメッセージ通知設定。
projectId
Long
プロジェクト ID
tenantId
Long
テナント ID。
operator
String
操作を実行したユーザーの UID。
operationTime
Long
操作の時刻。
次の例は、Data Quality 監視クローン事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "clone-data-quality-evaluation-task", // データ品質評価タスクのクローン作成 "id": 10001, // クローン作成対象のモニターID "targets": [ { "databaseType": "emr", "tableGuid": "an-emr-table-guid" }, { "databaseType": "emr", "tableGuid": "another-emr-table-guid" } ], "projectId": 9***4, "tenantId": 28***656, "operator": "19***735", "operationTime": 1734505954897 } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
projectId
Long
DataWorks プロジェクト ID。
tenantId
String
テナント ID。
operator
String
操作を実行したユーザーの UID。
operationTime
Long
操作の時刻。
targets
List<DataQualityTarget>
クローン先の Data Quality 監視対象。
databaseType
String
テーブルタイプのデータセットの場合、テーブルが属するデータベースタイプ。
MaxCompute
EMR
CDH
Hologres
AnalyticDB for PostgreSQL
tableGuid
String
データマップ内のテーブルの一意の ID。
id
Long
クローンに使用される元の Data Quality 監視タスクの ID。
eventCode
String
イベントコード。
次の例は、Data Quality 監視一括削除事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "batch-delete-data-quality-evaluation-tasks", // データ品質評価タスクの一括削除 "ids": [ 10001, 10002 ], "projectId": 9***4, "tenantId": 28***656, "operator": "19***735", "operationTime": 1734505954897 } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
projectId
Long
DataWorks プロジェクト ID。
operator
String
操作を実行したユーザーの UID。
operationTime
Long
操作の時刻。
ids
List<Long>
削除される Data Quality 監視タスクの ID のリスト。
tenantId
String
テナント ID。
eventCode
String
イベントコード。
Data Quality 監視アラートサブスクリプション事前操作イベント (作成、更新、削除)
次の例は、Data Quality 監視アラートサブスクリプション作成または削除事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "create-data-quality-evaluation-task-notification", // イベントコード "dataQualityEvaluationTaskId": 10001, // 監視ID "channel": "sms", // チャンネル "receiverValue": "1107***38", // 受信者の値 "projectId": 30***03, // プロジェクトID "operator": "110***3538", // オペレーター "operationTime": 1734505954897 // 操作時間 } }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
projectId
Long
DataWorks プロジェクト ID。
operator
String
操作を実行したユーザーの UID。
operationTime
Long
操作の時刻。
dataQualityEvaluationTaskId
Long
Data Quality 監視 ID。
channel
String
サブスクリプションメッセージを送信するチャネルタイプ。
Mail - メール
Sms - テキストメッセージ
Phone
Feishu - Lark
Weixin - WeChat
ディンディン - DingTalk
Webhook - カスタム Webhook
receiverValue
String
サブスクリプションメッセージを送信する具体的な宛先。
eventCode
String
イベントコード。
次の例は、Data Quality 監視アラートサブスクリプション更新事前操作イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "data": { "eventCode": "update-data-quality-evaluation-task-notification", "dataQualityEvaluationTaskId": 10001, "currentChannel": "sms", "currentReceiverValue": "1107***538", "updatedChannel": "sms", "updatedReceiverValue": "1107***538", "projectId": 30***03, "operator": "110***3538", "operationTime": 1734505954897 }次の表に、重要なフィールドの説明を示します。
フィールド名
フィールドタイプ
説明
projectId
Long
DataWorks プロジェクト ID。
operator
String
操作を実行したユーザーの UID。
operationTime
Long
操作の時刻。
dataQualityEvaluationTaskId
Long
Data Quality 監視 ID。
currentChannel
String
更新されるサブスクリプションメッセージの送信チャネルタイプ。
Mail - メール
Sms - テキストメッセージ
Phone
Feishu - Lark
Weixin - WeChat
ディンディン - DingTalk
Webhook - カスタム Webhook
currentReceiverValue
String
更新されるサブスクリプションメッセージの具体的な宛先。
updatedChannel
String
サブスクリプションメッセージを送信する更新後のチャネルタイプ。
Mail - メール
Sms - テキストメッセージ
Phone
Feishu - Lark
Weixin - WeChat
ディンディン - DingTalk
Webhook - カスタム Webhook
updatedReceiverValue
String
サブスクリプションメッセージを送信する更新後の具体的な宛先。
eventCode
String
イベントコード。
テナントレベルのイベント
テナントレベルのモジュールはテナントレベルのイベントを生成します。例としては、管理コンソールでワークスペースが削除されたときに生成されるイベントメッセージなどがあります。以下のイベントリストは、各モジュールについてどのイベントが通常イベントで、どのイベントが拡張ポイントイベントであるかを示し、各イベントのメッセージフォーマットも示しています。
以下のメッセージフォーマットタブには、一部のコンテンツのみが表示されます。EventBridge または Function Compute に送信される完全なメッセージについては、「付録:メッセージフォーマット」をご参照ください。
管理コンソールイベントリスト
イベントリスト
イベントタイプ | イベント (およびトリガー操作) | 通常イベント | 拡張ポイントイベント | EventBridge イベントタイプ (Type) | 拡張イベントタイプ (eventCode) |
プロジェクトスペースの削除 | プロジェクトの前提イベントを削除する |
|
|
|
|
末尾のスペースを削除します。 |
|
|
|
|
メッセージフォーマット
メッセージエンティティフォーマット:プロジェクトスペース削除イベント
次の例は、テナントのプロジェクト削除前イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "data": { "eventCode": "delete-project", "projectId": 7***7, // ワークスペース ID "tenantId": 2807****0784, // テナント ID "operator": "19***735 }次の表に、フィールドの説明を示します:
フィールド名
タイプ
説明
operator
String
DataWorks ワークスペースからユーザーを削除します。
projectId
Long
削除される DataWorks ワークスペースの ID。
tenantId
Long
削除されるワークスペースのテナント ID。
eventCode
String
拡張イベントコード。
次の例は、テナントのプロジェクト削除後イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ //テナント内のワークスペースを削除した後のイベントのメッセージ本文のサンプルコード "data": { "eventCode": "project-deleted", "tenantId": 28***656, //テナントID "blockBusiness": false, "projectName": "test2", //ワークスペース名 "projectId": 9***4, //ワークスペースID "operator": "19***735", //操作を実行したユーザーのUID "timestamp": 1702260556896 //メッセージが送信されたタイムスタンプ } }次の表に、フィールドの説明を示します。
フィールド名
タイプ
説明
operator
String
DataWorks ワークスペースからユーザーを削除します。
projectId
Long
削除される DataWorks ワークスペースの ID。
projectName
String
削除される DataWorks ワークスペースの名前。
tenantId
Long
削除されるワークスペースのテナント ID。
timestamp
Long
メッセージが送信されたタイムスタンプ。
eventCode
String
拡張イベントコード。
アップロードおよびダウンロードイベントリスト
イベントリスト
イベントタイプ | イベント (およびトリガー操作) | 通常イベント | 拡張ポイントイベント | EventBridge イベントタイプ (Type) | 拡張イベントタイプ (eventCode) |
データのアップロードとダウンロード | データダウンロード前イベント - ファイル生成 |
|
| dataworks:ResourcesDownload:DownloadResources | download-resources |
データダウンロード前イベント - ファイルダウンロード |
|
| dataworks:ResourcesDownload:DownloadResourcesExecute | download-resources-execute | |
データアップロード前イベント |
|
| dataworks:ResourcesUpload:UploadDataToTable | upload-data-to-table |
メッセージフォーマット
データのアップロードとダウンロード
次の例は、データダウンロード前イベント - ファイル生成のメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "data": { "eventCode": "download-resources", "moduleType": "sqlx_query", "operatorBaseId": "123936573******", "operatorUid": "14931896037*******", "fileName": "File name.csv", "fileSize": 10241024, "datasourceId": "1111", "datasourceName": "odps_first", "queryDwProjectId": "9***4", "queryDwProjectName": "test_project", "dataRowSize": "123456", "sqlText": "select sku_code, sku_name from dim_sku", }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
moduleType
String
ダウンロードされたデータのソース:
entity_transfer:セキュリティセンター > セキュリティポリシー > エンティティ転送 > 転送ログからダウンロードされたデータ。
develop_query:DataStudio で SQL 文を使用してクエリおよびダウンロードされたデータ。
sqlx_query:データ分析 > SQL クエリで SQL 文を使用してクエリおよびダウンロードされたデータ。
dw_excel:データ分析 > ワークブックからダウンロードされたデータ。
operatorBaseId
String
ダウンロード操作を実行したユーザーの BaseID。
operatorUid
String
ダウンロード操作を実行したユーザーの UID。
fileName
String
ダウンロードされたファイルの名前。
fileSize
Long
ダウンロードされたファイルのサイズ。
datasourceId
String
ダウンロードされたデータが属するデータソースの ID。
datasourceName
String
ダウンロードされたデータが属するデータソースの名前。
queryDwProjectId
String
ダウンロードされたデータが属する DataWorks ワークスペースの ID。
queryDwProjectName
String
ダウンロードされたデータが属する DataWorks ワークスペースの識別子。
dataRowSize
Long
ダウンロードされたデータの行数。
sqlText
String
SQL 文を使用してデータをクエリおよびダウンロードする場合、このフィールドには使用された SQL コードが含まれます。
eventCode
String
拡張イベントタイプ。
次の例は、データダウンロード前イベント - ファイルダウンロードのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "aliyunaccountid": "1493189603770213", "aliyunpublishtime": "2023-12-11T02:10:00.194Z", "data": { "eventCode": "download-resources-execute", "moduleType": "sqlx_query", "operatorBaseId": "123936573******", "operatorUid": "14931896037*******", "fileName": "File name.csv", "fileSize": 10241024, "datasourceId": "1111", "datasourceName": "odps_first", "queryDwProjectId": "9***4", "queryDwProjectName": "test_project", "dataRowSize": "123456", "sqlText": "select sku_code, sku_name from dim_sku", "ip": "198.10.X.X" }, "aliyunoriginalaccountid": "149318960******", "specversion": "1.0", "aliyuneventbusname": "default", "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7", "source": "acs.dataworks", "time": "2023-12-11T10:10:00.117Z", "aliyunregionid": "cn-shanghai", "type": "dataworks:ResourcesDownload:DownloadResourcesExecute" }次の表に、重要なフィールドの説明を示します。
フィールド名
タイプ
説明
moduleType
String
ダウンロードされたデータのソース:
entity_transfer:セキュリティセンター > セキュリティポリシー > エンティティ転送 > 転送ログからダウンロードされたデータ。
develop_query:DataStudio で SQL 文を使用してクエリおよびダウンロードされたデータ。
sqlx_query:データ分析 > SQL クエリで SQL 文を使用してクエリおよびダウンロードされたデータ。
dw_excel:データ分析 > ワークブックからダウンロードされたデータ。
operatorBaseId
String
ダウンロード操作を実行したユーザーの BaseID。
operatorUid
String
ダウンロード操作を実行したユーザーの UID。
fileName
String
ダウンロードされたファイルの名前。
fileSize
Long
ダウンロードされたファイルのサイズ。
datasourceId
String
ダウンロードされたデータが属するデータソースの ID。
datasourceName
String
ダウンロードされたデータが属するデータソースの名前。
queryDwProjectId
String
ダウンロードされたデータが属する DataWorks ワークスペースの ID。
queryDwProjectName
String
ダウンロードされたデータが属する DataWorks ワークスペースの識別子。
dataRowSize
Long
ダウンロードされたデータの行数。
sqlText
String
次の SQL コードを使用して、データをクエリおよびダウンロードできます。
ip
String
ダウンロード操作を実行したユーザーの IP アドレス。
eventCode
String
拡張イベントタイプ。
次の例は、データアップロード前イベントのメッセージエンティティフォーマット (
dataフィールドのコンテンツ) を示しています。{ "datacontenttype": "application/json;charset=utf-8", "aliyunaccountid": "1493189603770213", "aliyunpublishtime": "2023-12-11T02:10:00.194Z", "data": { "eventCode": "upload-data-to-table", "uploadSourceType": "LOCAL", "optTableType": "CREATE", "targetEngineType": "MAXCOMPUTE", "writeType": "OVERWRITE", "conflictMode": "IGNORE", "operatorBaseId": "12312*****", "operatorUid": "1222222*****", "datasourceId": "1111", "datasourceName": "odps_first", "tableGuid": "odps.mc_project.test_table", "queryDwProjectId": "9***4", "queryDwProjectName": "test_project", "fileSize": 123456 }, "aliyunoriginalaccountid": "149318960******", "specversion": "1.0", "aliyuneventbusname": "default", "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7", "source": "acs.dataworks", "time": "2023-12-11T10:10:00.117Z", "aliyunregionid": "cn-shanghai", "type": "dataworks:ResourcesUpload:UploadDataToTable" }次の表に、フィールドの説明を示します。
フィールド名
フィールドタイプ
説明
uploadSourceType
String
アップロードされたデータのソース:
LOCAL:ローカルファイルからデータをアップロードします。
OSS:OSS ファイルからデータをアップロードします。
DW_EXCEL:DataWorks データ分析 > ワークブックからデータをアップロードします。
HTTP:HTTP ファイルからデータをアップロードします。
optTableType
String
指定されたエンジンデータソースの既存のテーブルまたは新しいテーブルにデータをアップロードするかどうかを指定します。有効な値:
CREATE:新しいテーブルにデータをアップロードします。
IMPORT:既存のテーブルにデータをアップロードします。
targetEngineType
String
データがアップロードされるエンジンのタイプ。有効な値:
MaxCompute
EMR Hive
Hologres
writeType
String
宛先テーブルにデータを書き込む方法。有効な値:
OVERWRITE:テーブル内の既存のデータを上書きします。
APPEND:アップロードされたデータを宛先テーブルに追加します。
conflictMode
String
データアップロード時の宛先テーブルの主キー競合解決ポリシー:
IGNORE:主キー競合が存在する場合、アップロードされたデータを無視します。
REPLACE:主キー競合が存在する場合、競合するデータを持つ行を削除してから、アップロードされたデータを挿入します。アップロードされたデータで指定されていないフィールドは NULL として書き込まれます。
UPDATE:アップロードされたデータは元のテーブルデータを上書きします。アップロードされたデータで指定されたフィールドのみが上書きされます。指定されていないフィールドのデータは変更されません。
operatorBaseId
String
アップロード操作を実行したユーザーの BaseID。
operatorUid
String
アップロード操作を実行したユーザーの UID。
datasourceId
String
データがアップロードされるデータソースの ID。
datasourceName
String
データがアップロードされるデータソースの名前。
tableGuid
String
テーブルの Guid。例:
MaxCompute:
odps.maxcomputeProject.tableName。EMR_Hive:
emr_hive.emrClusterId.schema.tableName。Holo:
holo.hologresInstanceId.database。
queryDwProjectId
String
テーブルが属する DataWorks ワークスペースの ID。
queryDwProjectName
String
テーブルが属する DataWorks ワークスペースの名前。
fileSize
Long
アップロードされたファイルのサイズ (バイト単位)。
eventCode
String
拡張イベントコード。
付録:メッセージフォーマット
EventBridge に送信されるメッセージのメッセージフォーマット
OpenEvent を設定し、イベント配信チャネルを追加した後、DataWorks でワークスペースレベルまたはテナントレベルのイベントがトリガーされると、EventBridge で設定したイベントタイプ (Type) に基づいてメッセージがフィルターされます。以下は、DataWorks がイベント配信チャネルを通じて EventBridge にメッセージを送信する際のメッセージフォーマットです。
{
"datacontenttype": "application/json;charset=utf-8",// data パラメーターのコンテンツフォーマット。datacontenttype は application/json のみをサポートします。
"data": {
// メッセージ内容はメッセージタイプによって異なります。以下はメッセージ内の 2 つの固定フィールドです。特定のイベントメッセージについては、前のセクションをご参照ください。
"tenantId": 28378****10656,// テナント ID。各 Alibaba Cloud アカウントは DataWorks テナントに対応し、各テナントには独自のテナント ID があります。この値は DataStudio の右上隅にあるユーザー情報で確認できます。
"eventCode": "xxxx"//
},
"id": "539fd8f4-4ea1-4625-aa8b-6c906674****",// イベント ID。イベントを一意に識別する値。
"source": "acs.dataworks",// イベントソース。イベントを提供するサービスで、このメッセージが DataWorks によってプッシュされたことを示します。
"specversion": "1.0",
"subject": "",
"time": "2020-11-19T21:04:41+08:00",// イベントが発生した時刻。
"type": "dataworks:InstanceStatusChanges:InstanceStatusChanges",// イベントタイプ。このイベントタイプは、EventBridge コンソールで DataWorks によってプッシュされたすべてのメッセージをフィルターするために使用できます。Type の値はイベントごとに異なります。さまざまなイベントメッセージタイプについては、前のセクションをご参照ください。
"aliyunaccountid": "123456789098****",// Alibaba Cloud アカウント ID。
"aliyunpublishtime": "2020-11-19T21:04:42.179PRC",// EventBridge がイベントを受信した時刻。
"aliyuneventbusname": "default",// DataWorks イベントメッセージを受信するために使用される EventBridge イベントバスの名前。
"aliyunregionid": "cn-hangzhou",// イベントが受信されたリージョン。
"aliyunpublishaddr": "172.25.XX.XX"
}完全なイベントメッセージには、メッセージエンティティフォーマットと、メッセージ ID、ソース、作成時刻などの基本情報が含まれます。次の表に、重要なフィールドの説明を示します。
フィールド名 | タイプ | 説明 |
data | オブジェクト | メッセージエンティティフォーマット。メッセージフォーマットとそのフィールドは、イベントタイプによって異なります。詳細については、以下をご参照ください: DataStudio イベントメッセージフォーマット:DataStudio イベントリスト。 データ統合イベントメッセージフォーマット:データ統合イベントリスト。 オペレーションセンターイベントメッセージフォーマット:オペレーションセンターイベントリスト。 セキュリティセンターイベントメッセージフォーマット:セキュリティセンターイベントリスト。 Data Quality イベントメッセージフォーマット:Data Quality イベントリスト。 |
id | 文字列 | イベントメッセージの一意の ID。イベントメッセージを特定するために使用されます。 |
type | 文字列 | イベントタイプ。イベントソースに関連するイベントタイプを記述します。例:
このイベントタイプは、EventBridge コンソールで DataWorks によってプッシュされたすべてのメッセージをフィルターするために使用できます。Type の値はイベントごとに異なります。さまざまなイベントメッセージタイプについては、前のセクションをご参照ください。 |
Function Compute に送信されるメッセージのメッセージフォーマット
DataWorks で Function Compute メソッドを使用して拡張機能を設定すると、DataWorks はトリガーされた拡張ポイントイベントのメッセージを JSON 形式で Function Compute に送信します。以下は、Function Compute に送信されるメッセージフォーマットです。
{
"blockBusiness": true,
"eventCategoryType": "resources-download",// イベントカテゴリ
"eventType": "upload-data-to-table",// イベントタイプ
"extensionBizId": "job_6603***070",
"messageBody": {
// メッセージ内容はメッセージタイプによって異なります。以下はメッセージ内の 2 つの固定フィールドです。特定のイベントメッセージについては、前のセクションをご参照ください。
"tenantId": 28378****10656,// テナント ID。各 Alibaba Cloud アカウントは DataWorks テナントに対応し、各テナントには独自のテナント ID があります。この値は DataStudio の右上隅にあるユーザー情報で確認できます。
"eventCode": "xxxx"//
},
"messageId": "52d44ee7-b51f-4d4d-afeb-*******"// イベント ID。イベントを一意に識別する値。
}主要なフィールドは次のように記述されます:
フィールド名 | フィールドタイプ | 説明 | |
messageId | 文字列 | イベント ID。イベントを一意に識別する値。 | |
messageBody | DataWorks によってプッシュされた特定のイベントメッセージ。拡張機能を開発する際に使用できます。内容はメッセージタイプによって異なります。 | ||
tenantId | テナント ID。各 Alibaba Cloud アカウントは DataWorks テナントに対応し、各テナントには独自のテナント ID があります。この値は DataStudio の右上隅にあるユーザー情報で確認できます。 | ||
eventCode | イベントコード。特定のタイプのイベントメッセージを識別するために使用されます。各イベントタイプに対応する eventCode については、開発リファレンス:イベントリストとメッセージフォーマットテーブルの拡張イベントタイプ (eventCode) 列をご参照ください。 | ||