データ品質モニタリング実行インスタンスを作成します。
操作説明
DataWorks のベーシック版以上をご購入いただく必要があります。
今すぐお試しください
テスト
RAM 認証
リクエスト構文
POST HTTP/1.1リクエストパラメーター
|
パラメーター |
型 |
必須 / 任意 |
説明 |
例 |
| Id |
integer |
任意 |
データ品質モニタリング実行レコードの ID。 |
1006059507 |
レスポンスフィールド
|
フィールド |
型 |
説明 |
例 |
|
object |
応答。 |
||
| RequestId |
string |
リクエスト ID。 |
0bc14115****159376359 |
| DataQualityScanRun |
object |
データ品質モニタリングの実行レコード。 |
|
| Id |
integer |
実行レコードの ID。 |
1016440997 |
| CreateTime |
integer |
データ品質モニターの実行開始時刻。 |
1706247622000 |
| FinishTime |
integer |
データ品質モニターの実行終了時刻。 |
1706247622000 |
| Status |
string |
現在の実行ステータス。
|
Fail |
| Scan |
object |
検証開始時のデータ品質モニター構成のスナップショット。 |
|
| Id |
integer |
データ品質モニターの ID。 |
21077 |
| Name |
string |
データ品質検証タスクの名称。数字、英字、漢字、半角および全角の句読点を含めることができ、最大長は 255 文字です。 |
Hourly partition quality monitoring |
| Description |
string |
データ品質検証タスクの説明。最大長：65,535 文字。 |
This is a hourly run data quality evaluation plan. |
| ProjectId |
integer |
プロジェクト ID。 |
164024 |
| CreateTime |
integer |
データ品質モニターの作成時刻。 |
1706247622000 |
| ModifyTime |
integer |
データ品質モニターの最終更新時刻。 |
1706247622000 |
| CreateUser |
string |
データ品質モニターの作成者。 |
7892346529452 |
| ModifyUser |
string |
データ品質モニターの最終更新者。 |
7892346529452 |
| Owner |
string |
データ品質モニターのオーナー。 |
7892346529452 |
| Spec |
string |
データ品質モニター Spec。詳細については、「データ品質 Spec 構成の説明」をご参照ください。 |
{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] } |
| Parameters |
array<object> |
データ品質モニターのパラメーター設定。 |
|
|
object |
データ品質モニターのパラメーター設定。 |
||
| Value |
string |
パラメーター値。 |
$[yyyy-mm-dd-1] |
| Name |
string |
パラメーター名。 |
dt |
| ComputeResource |
object |
データ品質モニターのコンピュートリソース設定。 |
|
| Name |
string |
コンピュートリソースの名称。これは、コンピュートリソース API の ComputeResource データ構造における Name 属性に対応します。 |
emr_cluster_001 |
| Runtime |
object |
データ品質モニターの追加ランタイム設定。 |
|
| Engine |
string |
コンピュートエンジンのタイプ。これらの設定は EMR コンピュートエンジンでのみサポートされます。
|
Hive |
| SparkConf |
object |
Spark エンジン向けの追加パラメーター。現時点では、キューを指定するための spark.yarn.queue のみがサポートされています。 |
spark.yarn.queue=dq_queue |
| HiveConf |
object |
Hive エンジン向けの追加パラメーター。現時点では、キューを指定するための mapreduce.job.queuename のみがサポートされています。 |
mapreduce.job.queuename=dq_queue |
| EnvType |
string |
コンピュートエンジンが属するワークスペース環境。
|
Dev |
| RuntimeResource |
object |
データ品質モニター実行に使用されるリソースグループ。 |
|
| Id |
string |
リソースグループ ID。 |
60597 |
| Cu |
number |
リソースグループで予約された CU 数。 |
1 |
| Image |
string |
実行構成のイメージ ID。 |
i-xxxx |
| Trigger |
object |
データ品質モニターのトリガー構成。 |
|
| Type |
string |
データ品質モニターのトリガーメソッド。
|
BySchedule |
| TaskIds |
array |
トリガーモードが BySchedule に設定されている場合、スケジューリングタスク ID を指定する必要があります。 |
|
|
integer |
スケジューリングタスク ID。 |
1014217266 |
|
| Hooks |
array<object> |
データ品質モニター停止後のフック構成。 |
|
|
object |
データ品質モニター停止後のフック構成。 |
||
| Condition |
string |
フックのトリガー条件。現在、以下の式構文のみがサポートされています：
|
results.any { r -> r.status == 'fail' && r.rule.severity == 'High' } |
| Type |
string |
フックのタイプ。
|
BlockTaskInstance |
| Parameters |
array<object> |
実際の実行時に使用されるパラメーター設定。 |
|
|
object |
パラメーター設定。 |
||
| Value |
string |
パラメーター値。 |
$[yyyy-mm-dd-1] |
| Name |
string |
パラメーター名。 |
dt |
| Results |
array<object> |
各ルールの検証結果。 |
|
|
array<object> |
ルールの検証結果。 |
||
| Status |
string |
検証結果ステータス。
|
Fail |
| Details |
array<object> |
データ品質チェックに関する情報。 |
|
|
object |
データ品質チェックに関する情報。 |
||
| Status |
string |
最終的な比較結果ステータス。
|
Fail |
| ReferenceValue |
string |
CheckedValue を算出する際のベースラインとして使用されるリファレンスサンプル。 |
0.0 |
| CheckValue |
string |
しきい値との比較に使用される最終的な値。 |
100.0 |
| Sample |
string |
検証で使用されるサンプル値。 |
{ "value": "100.0" } |
| CreateTime |
integer |
検証結果が生成された時刻。 |
1725506795000 |
| Rule |
string |
検証開始時のルール Spec のスナップショット。 |
{ "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } |
例
成功レスポンス
JSONJSON
{
"RequestId": "0bc14115****159376359",
"DataQualityScanRun": {
"Id": 1016440997,
"CreateTime": 1706247622000,
"FinishTime": 1706247622000,
"Status": "Fail",
"Scan": {
"Id": 21077,
"Name": "Hourly partition quality monitoring",
"Description": "This is a hourly run data quality evaluation plan.",
"ProjectId": 164024,
"CreateTime": 1706247622000,
"ModifyTime": 1706247622000,
"CreateUser": "7892346529452",
"ModifyUser": "7892346529452",
"Owner": "7892346529452",
"Spec": "{\n \"datasets\": [\n {\n \"type\": \"Table\",\n \"dataSource\": {\n \"name\": \"odps_first\",\n \"envType\": \"Prod\"\n },\n \"tables\": [\n \"ods_d_user_info\"\n ],\n \"filter\": \"pt = $[yyyymmdd-1]\"\n }\n ],\n \"rules\": [\n {\n \"assertion\": \"row_count > 0\"\n }, {\n \"templateId\": \"SYSTEM:field:null_value:fixed\",\n \"pass\": \"when = 0\",\n \"name\": \"The id cannot be empty.\",\n \"severity\": \"High\",\n \"identity\": \"a-customized-data-quality-rule-uuid\"\n }\n ]\n}",
"Parameters": [
{
"Value": "$[yyyy-mm-dd-1]",
"Name": "dt"
}
],
"ComputeResource": {
"Name": "emr_cluster_001",
"Runtime": {
"Engine": "Hive",
"SparkConf": {
"test": "test",
"test2": 1
},
"HiveConf": {
"test": "test",
"test2": 1
}
},
"EnvType": "Dev"
},
"RuntimeResource": {
"Id": "60597",
"Cu": 1,
"Image": "i-xxxx"
},
"Trigger": {
"Type": "BySchedule",
"TaskIds": [
1014217266
]
},
"Hooks": [
{
"Condition": "results.any { r -> r.status == 'fail' && r.rule.severity == 'High' }",
"Type": "BlockTaskInstance"
}
]
},
"Parameters": [
{
"Value": "$[yyyy-mm-dd-1]",
"Name": "dt"
}
],
"Results": [
{
"Status": "Fail",
"Details": [
{
"Status": "Fail",
"ReferenceValue": "0.0",
"CheckValue": "100.0"
}
],
"Sample": "{\n \"value\": \"100.0\"\n}\n",
"CreateTime": 1725506795000,
"Rule": "{\n \"templateId\": \"SYSTEM:field:null_value:fixed\",\n \"pass\": \"when = 0\",\n \"name\": \"The id cannot be empty.\",\n \"severity\": \"High\",\n \"identity\": \"a-customized-data-quality-rule-uuid\"\n}"
}
]
}
}エラーコード
完全なリストについては、「エラーコード」をご参照ください。
変更履歴
完全なリストについては、「変更履歴」をご参照ください。