查看Data Integration任務。
介面說明
需要購買 DataWorks 基礎版及以上版本才能使用。
調試
您可以在OpenAPI Explorer中直接運行該介面,免去您計算簽名的困擾。運行成功後,OpenAPI Explorer可以自動產生SDK程式碼範例。
調試
授權資訊
請求參數
|
名稱 |
類型 |
必填 |
描述 |
樣本值 |
| Id |
integer |
否 |
執行個體 ID。 |
11588 |
| WithDetails |
boolean |
否 |
是否返回詳細配置資訊,詳細配置資訊包括 TransformationRules、TableMappings、JobSettings。預設返回。 |
true |
| ProjectId |
integer |
否 |
DataWorks 工作空間 ID。您可以通過 ListProjects 介面擷取工作空間 ID。 |
10000 |
DIJobId
deprecated
|
integer |
否 |
該欄位已廢棄,請使用 Id 欄位。 |
11588 |
返回參數
|
名稱 |
類型 |
描述 |
樣本值 |
|
object |
|||
| RequestId |
string |
請求的 ID。用於定位日誌,排查問題。 |
C99E2BE6-9DEA-5C2E-8F51-1DDCFEADE490 |
| PagingInfo |
object |
分頁資訊 |
|
| Id |
integer |
任務 ID。 |
32601 |
| Description |
string |
描述。 |
description |
| DestinationDataSourceSettings |
array<object> |
目的端資料來源屬性列表。 |
|
|
object |
單個目的端資料來源屬性。 |
||
| DataSourceName |
string |
目的端資料來源名稱。 |
dw_mysql |
| DestinationDataSourceType |
string |
目標端資料來源類型,枚舉值:Hologres,OSS-HDFS,OSS,MaxCompute,LogHub,StarRocks,DataHub,AnalyticDB_For_MySQL,Kafka,Hive。 |
Hologres |
| JobName |
string |
任務名稱。 |
imp_ods_dms_det_dealer_info_df |
| JobSettings |
object |
運行時設定。 |
|
| ChannelSettings |
string |
通道相關任務設定,可以對一些特定通道進行特殊配置,目前支援 Holo2Holo(從 holo 同步到 holo),Holo2Kafka(從 Holo 同步到 Kafka)
|
{"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""} |
| ColumnDataTypeSettings |
array<object> |
列類型映射。 |
|
|
object |
列類型映射。 |
||
| DestinationDataType |
string |
目標端類型。如 bigint,boolean,string,text,datetime,timestamp,decimal,binary,不同資料來源類型會有類型差異 |
text |
| SourceDataType |
string |
源端類型。如 bigint,boolean,string,text,datetime,timestamp,decimal,binary,不同資料來源類型會有類型差異 |
bigint |
| CycleScheduleSettings |
object |
周期調度設定。 |
|
| CycleMigrationType |
string |
需要周期調度的同步類型。取值範圍:
|
Full |
| ScheduleParameters |
string |
調度參數。 |
bizdate=$bizdate |
| DdlHandlingSettings |
array<object> |
DDL 類型處理數組,包含一系列需要處理的 DDL 類型以及對應規則。 |
|
|
object |
單條 DDL 類型處理規則。 |
||
| Action |
string |
處理動作,可選的枚舉值:
|
Ignore |
| Type |
string |
DDL 類型,可選的枚舉值:
|
CreateTable |
| RuntimeSettings |
array<object> |
運行時設定。 |
|
|
object |
運行時設定。 |
||
| Name |
string |
設定名稱,可選的枚舉值:
|
runtime.offline.concurrent |
| Value |
string |
設定取值。 |
1 |
| MigrationType |
string |
同步類型,枚舉值有:
|
FullAndRealtimeIncremental |
| JobType |
string |
任務類型
|
DatabaseRealtimeMigration |
| ProjectId |
integer |
DataWorks 工作空間的 ID。您可以登入 DataWorks 控制台,進入工作空間配置頁面擷取工作空間 ID。 該參數用來確定本次 API 呼叫操作使用的 DataWorks 工作空間。 |
98330 |
| ResourceSettings |
object |
資源設定。 |
|
| OfflineResourceSettings |
object |
離線同步資源。 |
|
| RequestedCu |
number |
離線同步任務使用的調度資源群組 cu。 |
2.0 |
| ResourceGroupIdentifier |
string |
離線同步使用的Data Integration資源群組名稱。 |
di_resourcegroup_v1 |
| RealtimeResourceSettings |
object |
即時同步資源。 |
|
| RequestedCu |
number |
即時同步使用的Data Integration資源群組 cu |
2.0 |
| ResourceGroupIdentifier |
string |
即時任務使用的Data Integration資源群組名稱。 |
di_resourcegroup_v1 |
| ScheduleResourceSettings |
object |
調度資源 |
|
| RequestedCu |
number |
離線調度任務使用的Data Integration資源群組 cu |
2.0 |
| ResourceGroupIdentifier |
string |
離線調度任務使用的調度資源群組名稱。 |
schedual_resourcegroup_v1 |
| SourceDataSourceSettings |
array<object> |
源端資料來源設定數組列表。 |
|
|
array<object> |
單個源端資料來源設定。 |
||
| DataSourceName |
string |
資料來源名稱。 |
dw_mysql |
| DataSourceProperties |
object |
資料來源屬性。 |
|
| Encoding |
string |
資料庫編碼。 |
UTF-8 |
| Timezone |
string |
時區 |
GMT+8 |
| SourceDataSourceType |
string |
源端資料來源類型,枚舉值: PolarDB,MySQL,Kafka,LogHub,Hologres,Oracle,OceanBase,MongoDB,RedShift,Hive,SQLServer,Doris,ClickHouse。 |
Mysql |
| TableMappings |
array<object> |
同步對象轉換映射列表,列表中每個元素描述了一組源端同步對象選擇規則列表和在該組同步對象上應用的同步對象轉換規則列表。 說明
[ { "SourceObjectSelectionRules":[ { "ObjectType":"Database", "Action":"Include", "ExpressionType":"Exact", "Expression":"biz_db" }, { "ObjectType":"Schema", "Action":"Include", "ExpressionType":"Exact", "Expression":"s1" }, { "ObjectType":"Table", "Action":"Include", "ExpressionType":"Exact", "Expression":"table1" } ], "TransformationRuleNames":[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema" } ] } ] |
|
|
array<object> |
每條規則代表選擇需要同步的一個表。 |
||
| SourceObjectSelectionRules |
array<object> |
每條規則可選擇待同步源端對象的集合,多條規則群組成選一個表。 |
|
|
object |
每條規則可選擇待同步源端對象的不同物件類型,如選擇源端資料庫、源端資料表。 |
||
| Action |
string |
選擇動作,取值範圍:Include/Exclude |
Include |
| Expression |
string |
運算式。 |
mysql_table_1 |
| ExpressionType |
string |
運算式類型,取值範圍:Exact/Regex |
Exact |
| ObjectType |
string |
物件類型,可選的枚舉值:
|
Table |
| TransformationRules |
array<object> |
同步對象轉換規則定義列表,列表中每個元素為一條轉換規則定義。 |
|
|
object |
源端對象上應用的轉換規則。 |
||
| RuleName |
string |
規則名稱,當動作類型和動作作用的目標類型相同時,規則名稱需保證唯一性。 |
rename_rule_1 |
| RuleActionType |
string |
動作類型,可選的枚舉值:
|
AddColumn |
| RuleTargetType |
string |
動作作用的目標類型,可選的枚舉值:
|
Table |
| TransformationRules |
array<object> |
同步對象轉換規則定義列表。 說明
[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema", "RuleExpression":"{"expression":"${srcDatasoureName}_${srcDatabaseName}"}" } ] |
|
|
object |
同步對象轉換規則定義列表,列表中每個元素為一條轉換規則定義。 |
||
| RuleActionType |
string |
動作類型,可選的枚舉值:
|
Rename |
| RuleExpression |
string |
規則運算式,json string 格式。
|
{"expression":"${srcDatasoureName}_${srcDatabaseName}"} |
| RuleName |
string |
規則名稱,在一種動作類型+動作作用的目標類型下規則名稱唯一。 |
rename_rule_1 |
| RuleTargetType |
string |
動作作用的目標類型,可選的枚舉值:
|
Table |
| JobStatus |
string |
任務狀態。 同步狀態,取值範圍:
|
Running |
DIJobId
deprecated
|
string |
該欄位已廢棄,請使用 Id 欄位。 |
32601 |
| Owner |
string |
樣本
正常返回樣本
JSON格式
{
"RequestId": "C99E2BE6-9DEA-5C2E-8F51-1DDCFEADE490",
"PagingInfo": {
"Id": 32601,
"Description": "description",
"DestinationDataSourceSettings": [
{
"DataSourceName": "dw_mysql"
}
],
"DestinationDataSourceType": "Hologres",
"JobName": "imp_ods_dms_det_dealer_info_df",
"JobSettings": {
"ChannelSettings": "{\"structInfo\":\"MANAGED\",\"storageType\":\"TEXTFILE\",\"writeMode\":\"APPEND\",\"partitionColumns\":[{\"columnName\":\"pt\",\"columnType\":\"STRING\",\"comment\":\"\"}],\"fieldDelimiter\":\"\"}",
"ColumnDataTypeSettings": [
{
"DestinationDataType": "text",
"SourceDataType": "bigint"
}
],
"CycleScheduleSettings": {
"CycleMigrationType": "Full",
"ScheduleParameters": "bizdate=$bizdate\n"
},
"DdlHandlingSettings": [
{
"Action": "Ignore",
"Type": "CreateTable"
}
],
"RuntimeSettings": [
{
"Name": "runtime.offline.concurrent\n",
"Value": "1"
}
]
},
"MigrationType": "FullAndRealtimeIncremental",
"JobType": "DatabaseRealtimeMigration",
"ProjectId": 98330,
"ResourceSettings": {
"OfflineResourceSettings": {
"RequestedCu": 2,
"ResourceGroupIdentifier": "di_resourcegroup_v1"
},
"RealtimeResourceSettings": {
"RequestedCu": 2,
"ResourceGroupIdentifier": "di_resourcegroup_v1"
},
"ScheduleResourceSettings": {
"RequestedCu": 2,
"ResourceGroupIdentifier": "schedual_resourcegroup_v1"
}
},
"SourceDataSourceSettings": [
{
"DataSourceName": "dw_mysql",
"DataSourceProperties": {
"Encoding": "UTF-8\n",
"Timezone": "GMT+8\n"
}
}
],
"SourceDataSourceType": "Mysql",
"TableMappings": [
{
"SourceObjectSelectionRules": [
{
"Action": "Include",
"Expression": "mysql_table_1",
"ExpressionType": "Exact",
"ObjectType": "Table"
}
],
"TransformationRules": [
{
"RuleName": "rename_rule_1",
"RuleActionType": "AddColumn",
"RuleTargetType": "Table"
}
]
}
],
"TransformationRules": [
{
"RuleActionType": "Rename",
"RuleExpression": "{\"expression\":\"${srcDatasoureName}_${srcDatabaseName}\"}",
"RuleName": "rename_rule_1",
"RuleTargetType": "Table"
}
],
"JobStatus": "Running",
"DIJobId": "32601",
"Owner": ""
}
}
錯誤碼
訪問錯誤中心查看更多錯誤碼。
變更歷史
更多資訊,參考變更詳情。