データ統合タスクの新しいバージョンを作成します。
操作説明
この API は、DataWorks Basic Edition またはそれ以上のエディションが必要です。
この API は、Data Integration の同期タスクを作成します。主要なパラメーターには、
SourceDataSourceSettings、DestinationDataSourceSettings、MigrationTypeがあります。TransformationRulesパラメーターは、列の追加やテーブル名の置換など、同期対象テーブルの変換ルールを定義します。TableMappingsパラメーターは、同期するテーブルとそのマッピングルールを指定します。JobSettingsパラメーターは、列マッピングやスケジューリングなどのタスク設定を構成します。
今すぐお試しください
テスト
RAM 認証
リクエストパラメーター
|
パラメーター |
型 |
必須 / 任意 |
説明 |
例 |
| DestinationDataSourceType |
string |
任意 |
送信先データソースのタイプ。有効な値: |
Hologres |
| Description |
string |
任意 |
ジョブの説明。 |
DI Job Demo |
| SourceDataSourceType |
string |
任意 |
ソースデータソースのタイプ。有効な値: |
MySQL |
| ProjectId |
integer |
任意 |
この API 呼び出しの DataWorks ワークスペースの ID。ワークスペース ID を取得するには、DataWorks コンソールにログインし、[ワークスペース管理] ページに移動します。 |
10000 |
| Name |
string |
任意 |
ジョブの名前。 |
mysql_to_holo_sync_8772 |
| MigrationType |
string |
任意 |
同期タイプ。有効な値:
|
FullAndRealtimeIncremental |
| JobType |
string |
任意 |
ジョブタイプ。有効な値:
|
DatabaseRealtimeMigration |
| SourceDataSourceSettings |
array<object> |
任意 |
ソースデータソースの設定。 |
|
|
array<object> |
任意 |
単一のソースデータソースの設定。 |
||
| DataSourceName |
string |
任意 |
データソースの名前。 |
mysql_datasource_1 |
| DataSourceProperties |
object |
任意 |
データソースのプロパティ。 |
|
| Encoding |
string |
任意 |
データベースのエンコード形式。 |
UTF-8 |
| Timezone |
string |
任意 |
タイムゾーン。 |
Asia/Shanghai |
| ConnectionProperties |
string |
任意 |
インスタンス ID、アクセス認証情報、インスタンスリージョンなど、データソースのカスタム接続設定。このパラメーターまたは このパラメーターは、データソースがインスタンスモード ( |
{ "instanceId": "rm-2ze09gn3x6xxx", "password": "xxxx", "database": "agent", "username": "zmtest" "regionId": "cn-beijing" } |
| DestinationDataSourceSettings |
array<object> |
任意 |
送信先データソースの設定。 |
|
|
array<object> |
任意 |
単一の送信先データソースの設定。 |
||
| DataSourceName |
string |
任意 |
データソースの名前。 |
holo_datasource_1 |
| DataSourceProperties |
object |
任意 |
データソースのプロパティ。 |
|
| ConnectionProperties |
string |
任意 |
インスタンス ID、アクセス認証情報、インスタンスリージョンなど、データソースのカスタム接続設定。このパラメーターまたは このパラメーターは、データソースがインスタンスモード ( |
{ "instanceId": "rm-2ze09gn3x6xxx", "password": "xxxx", "database": "agent", "username": "zmtest" "regionId": "cn-beijing" } |
| ResourceSettings |
object |
任意 |
リソース設定。 |
|
| OfflineResourceSettings |
object |
任意 |
バッチ同期のリソース設定。 |
|
| RequestedCu |
number |
任意 |
バッチ同期に使用される Data Integration 用リソースグループの CU 数。 |
2 |
| ResourceGroupIdentifier |
string |
任意 |
バッチ同期に使用される Data Integration 用リソースグループの識別子。 |
S_res_group_111_222 |
| RealtimeResourceSettings |
object |
任意 |
リアルタイム同期のリソース。 |
|
| RequestedCu |
number |
任意 |
リアルタイム同期に使用される Data Integration 用リソースグループの CU 数。 |
2 |
| ResourceGroupIdentifier |
string |
任意 |
リアルタイム同期に使用される Data Integration 用リソースグループの識別子。 |
S_res_group_111_222 |
| ScheduleResourceSettings |
object |
任意 |
スケジューリングリソース。 |
|
| RequestedCu |
number |
任意 |
バッチ同期ジョブに使用されるスケジューリングリソースグループの CU 数。 |
2 |
| ResourceGroupIdentifier |
string |
任意 |
バッチ同期ジョブに使用されるスケジューリングリソースグループの識別子。 |
S_res_group_222_333 |
| TransformationRules |
array<object> |
任意 |
同期するオブジェクトの変換ルールのリスト。 説明
[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema", "RuleExpression":"{\"expression\":\"${srcDatasoureName}_${srcDatabaseName}\"}" } ] |
|
|
object |
任意 |
単一の変換ルール。 |
||
| RuleActionType |
string |
任意 |
アクションタイプ。有効な値:
|
Rename |
| RuleExpression |
string |
任意 |
ルール式。JSON 文字列として指定します。
|
{ "expression": "${srcDatasoureName}_${srcDatabaseName}" } |
| RuleName |
string |
任意 |
ルールの名前。ルール名は、特定のアクションタイプとターゲットオブジェクトタイプに対して一意である必要があります。最大長:50 文字。 |
rename_rule_1 |
| RuleTargetType |
string |
任意 |
アクションが適用されるオブジェクトのタイプ。有効な値:
|
Table |
| TableMappings |
array<object> |
任意 |
同期するオブジェクトの変換マッピング。各マッピングは、ソースオブジェクトのグループに対する選択ルールと、それらに適用する変換ルールを定義します。 説明
[ { "SourceObjectSelectionRules":[ { "ObjectType":"Database", "Action":"Include", "ExpressionType":"Exact", "Expression":"biz_db" }, { "ObjectType":"Schema", "Action":"Include", "ExpressionType":"Exact", "Expression":"s1" }, { "ObjectType":"Table", "Action":"Include", "ExpressionType":"Exact", "Expression":"table1" } ], "TransformationRuleNames":[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema" } ] } ] |
|
|
array<object> |
任意 |
ソースオブジェクトのセットを選択し、適用する変換ルールを指定するマッピング。 |
||
| SourceObjectSelectionRules |
array<object> |
任意 |
各ルールは、同期するソースオブジェクトのセットを選択できます。複数のルールを組み合わせて 1 つのテーブルを選択します。 |
|
|
object |
任意 |
データベースやテーブルなど、特定のタイプのソースオブジェクトを選択するルール。 |
||
| Action |
string |
任意 |
選択アクション。有効な値: |
Include |
| Expression |
string |
任意 |
式。 |
mysql_table_1 |
| ExpressionType |
string |
任意 |
式のタイプ。有効な値: |
Exact |
| ObjectType |
string |
任意 |
オブジェクトタイプ。有効な値:
|
Table |
| TransformationRules |
array<object> |
任意 |
選択したオブジェクトに適用する変換ルールの名前。 |
|
|
object |
任意 |
ソースオブジェクトに適用される変換ルール。 |
||
| RuleName |
string |
任意 |
変換ルールの名前。ルール名は、特定のアクションタイプとターゲットオブジェクトタイプに対して一意である必要があります。最大長:50 文字。 |
rename_rule_1 |
| RuleActionType |
string |
任意 |
アクションタイプ。有効な値:
|
Rename |
| RuleTargetType |
string |
任意 |
アクションが適用されるオブジェクトのタイプ。有効な値:
|
Table |
| JobSettings |
object |
任意 |
DDL 処理ポリシー、ソース列と送信先列間のデータ型マッピング、実行時パラメーターなど、同期ジョブの設定。 |
|
| ChannelSettings |
string |
任意 |
データ同期チャネルの設定。特定のチャネルに対して特別な設定を構成できます。サポートされているチャネルは、Hologres から Hologres (Holo2Holo) への同期と、Hologres から Kafka (Holo2Kafka) への同期です。
|
{ "structInfo": "MANAGED", "storageType": "TEXTFILE", "writeMode": "APPEND", "partitionColumns": [ { "columnName": "pt", "columnType": "STRING", "comment": "" } ], "fieldDelimiter": "" } |
| ColumnDataTypeSettings |
array<object> |
任意 |
列データ型マッピング。 説明
"ColumnDataTypeSettings":[ { "SourceDataType":"Bigint", "DestinationDataType":"Text" } ] |
|
|
object |
任意 |
ソースデータ型から送信先データ型へのマッピング。 |
||
| DestinationDataType |
string |
任意 |
送信先データ型。例: |
text |
| SourceDataType |
string |
任意 |
ソースデータ型。例: |
bigint |
| CycleScheduleSettings |
object |
任意 |
周期的スケジューリング設定。 |
|
| CycleMigrationType |
string |
任意 |
周期的スケジューリングの同期タイプ。有効な値:
|
Full |
| ScheduleParameters |
string |
任意 |
スケジューリングパラメーター。 |
bizdate=$bizdate |
| DdlHandlingSettings |
array<object> |
任意 |
DDL 処理設定。 説明
"DDLHandlingSettings":[ { "Type":"Insert", "Action":"Normal" } ] |
|
|
object |
任意 |
単一の DDL 処理設定。 |
||
| Action |
string |
任意 |
処理アクション。有効な値:
|
Critical |
| Type |
string |
任意 |
DDL タイプ。有効な値:
|
AddColumn |
| RuntimeSettings |
array<object> |
任意 |
ランタイム設定。 |
|
|
object |
任意 |
ランタイム設定。 |
||
| Name |
string |
任意 |
設定の名前。有効な値:
|
runtime.offline.concurrent |
| Value |
string |
任意 |
設定の値。 |
1 |
JobName
deprecated
|
string |
任意 |
このパラメーターは非推奨です。代わりに |
mysql_to_holo_sync_8772 |
| Owner |
string |
任意 |
ジョブの所有者。 |
3726346 |
| FileSpec |
string |
任意 |
スクリプトモードで作成されたジョブのコード。 |
{ "resourceSettings": { "realtimeResourceSettings": { "requestedCu": 2, "resourceGroupIdentifier": "Serverless_res_group_123_456" }, "offlineResourceSettings": { "requestedCu": 2, "resourceGroupIdentifier": "Serverless_res_group_123_456" } }, "tableMappings": [ { "sourceObjectSelectionRules": [ { "expression": "autotest_hologres", "action": "Include", "expressionType": "Exact", "objectType": "Datasource" }, { "expression": "auto_holo_2661647", "action": "Include", "expressionType": "Exact", "objectType": "Table" }, { "expression": "public", "action": "Include", "expressionType": "Exact", "objectType": "Schema" } ], "transformationRules": [ { "ruleTargetType": "Table", "ruleActionType": "SourceSchema", "ruleName": "SourceSchema_Table_BStf8aXPSCJjOWGe" }, { "ruleTargetType": "Schema", "ruleActionType": "Rename", "ruleName": "Rename_Schema_3qWNOIsljtInvKJy" }, { "ruleTargetType": "Table", "ruleActionType": "Rename", "ruleName": "Rename_Table_o3PVQq1aIKDGoVVW" }, { "ruleTargetType": "Table", "ruleActionType": "DefineDstTableSettings", "ruleName": "DefineDstTableSettings_Table_BhJltOmOCIc81fzi" }, { "ruleTargetType": "Table", "ruleActionType": "ColumnMapping", "ruleName": "ColumnMapping_Table_nP4hJPX1wh2W3fpo" } ] } ], "sourceDataSourceSettings": [ { "dataSourceProperties": { "timeZone": "Asia/Shanghai" }, "dataSourceName": "autotest_hologres" } ], "jobSettings": { "runtimeSettings": [ ], "ddlHandlingSettings": [ ], "columnDataTypeSettings": [ ], "cycleScheduleSettings": { }, "channelSettings": { "destinationChannelSettings": { "conflictMode": "replace", "dynamicColumnAction": "replay", "writeMode": "replay" }, "sourceChannelSettings": { } } }, "destinationDataSourceType": "Hologres", "transformationRules": [ { "ruleTargetType": "Table", "ruleName": "SourceSchema_Table_BStf8aXPSCJjOWGe", "ruleActionType": "SourceSchema", "ruleExpression": { "columns": [ { "name": "id", "category": "normal", "type": "BIGINT" }, { "name": "decimal", "category": "normal", "type": "DECIMAL" } ] } }, { "ruleTargetType": "Schema", "ruleName": "Rename_Schema_3qWNOIsljtInvKJy", "ruleActionType": "Rename", "ruleExpression": { "expression": "public" } }, { "ruleTargetType": "Table", "ruleName": "Rename_Table_o3PVQq1aIKDGoVVW", "ruleActionType": "Rename", "ruleExpression": { "expression": "auto_holo_2661647_dst" } }, { "ruleTargetType": "Table", "ruleName": "DefineDstTableSettings_Table_BhJltOmOCIc81fzi", "ruleActionType": "DefineDstTableSettings", "ruleExpression": { "ddlString": "BEGIN; CREATE TABLE IF NOT EXISTS public.auto_holo_2661647_dst ( id BIGINT PRIMARY KEY, "decimal" DECIMAL(38,18) ); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'time_to_live_in_seconds', '3153600000'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'orientation', 'column'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'binlog.level', 'replica'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'binlog.ttl', '2592000'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'bitmap_columns', '"text","char","varchar"'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'dictionary_encoding_columns', '"text":auto,"bytea":auto,"char":auto,"varchar":auto'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'distribution_key', '"id"'); COMMIT; ", "ddlType": "STRUCT" } }, { "ruleTargetType": "Table", "ruleName": "ColumnMapping_Table_nP4hJPX1wh2W3fpo", "ruleActionType": "ColumnMapping", "ruleExpression": { "columnMapping": [ { "sourceColName": "id", "dstColName": "id" }, { "sourceColName": "decimal", "dstColName": "decimal" } ] } } ], "migrationType": "FullAndRealtimeIncremental", "destinationDataSourceSettings": [ { "dataSourceProperties": { }, "dataSourceName": "autotest_hologres" } ], "sourceDataSourceType": "Hologres" } |
レスポンスフィールド
|
フィールド |
型 |
説明 |
例 |
|
object |
応答スキーマ。 |
||
| Id |
integer |
Data Integration ジョブの ID。 |
11792 |
| RequestId |
string |
リクエスト ID。この ID を使用してログの特定や問題のトラブルシューティングを行います。 |
4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB |
DIJobId
deprecated
|
integer |
このフィールドは非推奨です。代わりに |
11792 |
例
成功レスポンス
JSONJSON
{
"Id": 11792,
"RequestId": "4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB",
"DIJobId": 11792
}
エラーコード
完全なリストについては、「エラーコード」をご参照ください。
変更履歴
完全なリストについては、「変更履歴」をご参照ください。