Data Integration タスクを作成します。
操作説明
この機能を使用するには、DataWorks Basic Edition 以上のエディションを購入する必要があります。
この操作は Data Integration 同期タスクを作成します。パラメーターには、ソース構成 SourceDataSourceSettings と送信先構成 DestinationDataSourceSettings、サポートされる同期タイプ MigrationType、列の追加やテーブル名の変更などのマッピング操作のために TransformationRules で定義された変換ルール、TableMappings で定義された同期対象の特定のテーブルおよび適用するマッピングルール、JobSettings で定義された列マッピングやスケジューリング構成などのタスクレベルの設定が含まれます。
今すぐお試しください
テスト
RAM 認証
リクエストパラメーター
|
パラメーター |
型 |
必須 / 任意 |
説明 |
例 |
| DestinationDataSourceType |
string |
任意 |
送信先データソースのタイプ。有効な値: Hologres、OSS-HDFS、OSS、MaxCompute、LogHub、StarRocks、DataHub、AnalyticDB_For_MySQL、Kafka、Hive。 |
Hologres |
| Description |
string |
任意 |
タスクの説明。 |
DI Job Demo |
| SourceDataSourceType |
string |
任意 |
ソースデータソースのタイプ。有効な値: PolarDB、MySQL、Kafka、LogHub、Hologres、Oracle、OceanBase、MongoDB、RedShift、Hive、SQLServer、Doris、ClickHouse。 |
MySQL |
| ProjectId |
integer |
任意 |
DataWorks ワークスペースの ID。DataWorks コンソール にログインし、ワークスペース管理ページに移動して ID を取得できます。 このパラメーターは、この API 呼び出しの DataWorks ワークスペースを指定します。 |
10000 |
| Name |
string |
任意 |
タスクの名前。 |
mysql_to_holo_sync_8772 |
| MigrationType |
string |
任意 |
同期タイプ。有効な値:
|
FullAndRealtimeIncremental |
| JobType |
string |
任意 |
タスクタイプ。有効な値:
|
DatabaseRealtimeMigration |
| SourceDataSourceSettings |
array<object> |
任意 |
ソースデータソース設定のリスト。 |
|
|
array<object> |
任意 |
単一のソースデータソース設定。 |
||
| DataSourceName |
string |
任意 |
データソースの名前。 |
mysql_datasource_1 |
| DataSourceProperties |
object |
任意 |
データソースのプロパティ。 |
|
| Encoding |
string |
任意 |
データベースのエンコーディング。 |
UTF-8 |
| Timezone |
string |
任意 |
タイムゾーン。 |
Asia/Shanghai |
| ConnectionProperties |
string |
任意 |
このパラメーターまたは DataSourceName のいずれかを指定します。このパラメーターは、インスタンス ID、アクセス ID、インスタンスリージョンを含むカスタムデータソース接続設定情報を指定します。 このパラメーターは、インスタンスパターン (ConnectionPropertiesMode) のデータソース接続設定のみをサポートします。データソースごとにプロパティの仕様が異なります。詳細については、「データソース接続情報 ConnectionProperties」を参照してください。 |
{ "instanceId": "rm-2ze09gn3x6xxx", "password": "xxxx", "database": "agent", "username": "zmtest" "regionId": "cn-beijing" } |
| DestinationDataSourceSettings |
array<object> |
任意 |
送信先データソース設定のリスト。 |
|
|
array<object> |
任意 |
単一の送信先データソース設定。 |
||
| DataSourceName |
string |
任意 |
データソースの名前。 |
holo_datasource_1 |
| DataSourceProperties |
object |
任意 |
データソースのプロパティ。 |
|
| ConnectionProperties |
string |
任意 |
このパラメーターまたは DataSourceName のいずれかを指定します。このパラメーターは、インスタンス ID、アクセス ID、インスタンスリージョンを含むカスタムデータソース接続設定情報を指定します。 このパラメーターは、インスタンスパターン (ConnectionPropertiesMode) のデータソース接続設定のみをサポートします。データソースごとにプロパティの仕様が異なります。詳細については、「データソース接続情報 ConnectionProperties」を参照してください。 |
{ "instanceId": "rm-2ze09gn3x6xxx", "password": "xxxx", "database": "agent", "username": "zmtest" "regionId": "cn-beijing" } |
| ResourceSettings |
object |
任意 |
リソース設定。 |
|
| OfflineResourceSettings |
object |
任意 |
オフライン同期リソース設定。 |
|
| RequestedCu |
number |
任意 |
オフライン同期に使用される Data Integration リソースグループのコンピュートユニット (CU) 数。 |
2 |
| ResourceGroupIdentifier |
string |
任意 |
オフライン同期に使用される Data Integration リソースグループの名前。 |
S_res_group_111_222 |
| RealtimeResourceSettings |
object |
任意 |
リアルタイム同期リソース設定。 |
|
| RequestedCu |
number |
任意 |
リアルタイム同期に使用される Data Integration リソースグループの CU 数。 |
2 |
| ResourceGroupIdentifier |
string |
任意 |
リアルタイム同期に使用される Data Integration リソースグループの名前。 |
S_res_group_111_222 |
| ScheduleResourceSettings |
object |
任意 |
スケジュールリソース設定。 |
|
| RequestedCu |
number |
任意 |
オフライン同期ノードに使用されるスケジューリングリソースグループの CU 数。 |
2 |
| ResourceGroupIdentifier |
string |
任意 |
オフライン同期ノードに使用されるスケジューリングリソースグループの名前。 |
S_res_group_222_333 |
| TransformationRules |
array<object> |
任意 |
同期オブジェクト変換ルール定義のリスト。 説明
[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema", "RuleExpression":"{"expression":"${srcDatasoureName}_${srcDatabaseName}"}" } ] |
|
|
object |
任意 |
単一の同期オブジェクト変換ルールの定義。各要素は 1 つの変換ルールを表します。 |
||
| RuleActionType |
string |
任意 |
操作タイプ。有効な値:
|
Rename |
| RuleExpression |
string |
任意 |
JSON 文字列フォーマットのルール式。
|
{ |
| RuleName |
string |
任意 |
ルール名。操作タイプとターゲットタイプが同じ場合、ルール名は一意である必要があります。名前の長さは 50 文字を超えることはできません。 |
rename_rule_1 |
| RuleTargetType |
string |
任意 |
操作が適用されるターゲットタイプ。有効な値:
|
Table |
| TableMappings |
array<object> |
任意 |
同期オブジェクト変換マッピングのリスト。各要素は、ソースオブジェクト選択ルールのグループとそのグループに適用される変換ルールを記述します。 説明
[ { "SourceObjectSelectionRules":[ { "ObjectType":"Database", "Action":"Include", "ExpressionType":"Exact", "Expression":"biz_db" }, { "ObjectType":"Schema", "Action":"Include", "ExpressionType":"Exact", "Expression":"s1" }, { "ObjectType":"Table", "Action":"Include", "ExpressionType":"Exact", "Expression":"table1" } ], "TransformationRuleNames":[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema" } ] } ] |
|
|
array<object> |
任意 |
各ルールは同期するテーブルの選択を表します。 |
||
| SourceObjectSelectionRules |
array<object> |
任意 |
各ルールは同期するソースオブジェクトのセットを選択します。複数のルールを組み合わせて単一テーブルを選択します。 |
|
|
object |
任意 |
各ルールは、ソースデータベースやソーステーブルなど、同期するソースオブジェクトの異なるオブジェクトタイプを選択します。 |
||
| Action |
string |
任意 |
選択操作。有効な値: Include、Exclude。 |
Include |
| Expression |
string |
任意 |
式。 |
mysql_table_1 |
| ExpressionType |
string |
任意 |
式のタイプ。有効な値: Exact、Regex。 |
Exact |
| ObjectType |
string |
任意 |
オブジェクトタイプ。有効な値: |
Table |
| TransformationRules |
array<object> |
任意 |
同期オブジェクトの変換ルール定義のリスト。各要素は 1 つの変換ルールを表します。 |
|
|
object |
任意 |
ソースオブジェクトに適用される変換ルール。 |
||
| RuleName |
string |
任意 |
ルール名。同じ操作タイプとターゲットタイプの組み合わせ内で、名前は一意である必要があります。名前の長さは 50 文字を超えることはできません。 |
rename_rule_1 |
| RuleActionType |
string |
任意 |
操作タイプ。有効な値:
|
Rename |
| RuleTargetType |
string |
任意 |
操作が適用されるターゲットタイプ。有効な値:
|
Table |
| JobSettings |
object |
任意 |
タスクレベルの設定。DDL 処理ポリシー、ソースから送信先への列データの型マッピングポリシー、タスクランタイムパラメーターが含まれます。 |
|
| ChannelSettings |
string |
任意 |
チャンネル関連のタスク設定。特定のチャンネルに対して特別な設定を行うことができます。現在サポートされているチャンネルには、Holo2Holo (Hologres から Hologres への同期) および Holo2Kafka (Hologres から Kafka への同期) が含まれます。
|
{ |
| ColumnDataTypeSettings |
array<object> |
任意 |
列データの型マッピング配列。 説明
["ColumnDataTypeSettings":[ { "SourceDataType":"Bigint", "DestinationDataType":"Text" } ] |
|
|
object |
任意 |
単一の列データの型マッピング。 |
||
| DestinationDataType |
string |
任意 |
送信先のデータの型 (bigint、boolean、string、text、datetime、timestamp、decimal、binary など)。利用可能なタイプはデータソースのタイプによって異なります。 |
text |
| SourceDataType |
string |
任意 |
ソースデータの型 (bigint、boolean、string、text、datetime、timestamp、decimal、binary など)。利用可能なタイプはデータソースのタイプによって異なります。 |
bigint |
| CycleScheduleSettings |
object |
任意 |
サイクルスケジューリング設定。 |
|
| CycleMigrationType |
string |
任意 |
サイクルスケジューリングが必要な同期タイプ。有効な値:
|
Full |
| ScheduleParameters |
string |
任意 |
スケジューリングパラメーター。 |
bizdate=$bizdate |
| DdlHandlingSettings |
array<object> |
任意 |
DDL 処理設定配列。 説明
["DDLHandlingSettings":[ { "Type":"Insert", "Action":"Normal" } ] |
|
|
object |
任意 |
単一の DDL 処理設定。 |
||
| Action |
string |
任意 |
処理操作。有効な値:
|
Critical |
| Type |
string |
任意 |
DDL タイプ。有効な値:
|
AddColumn |
| RuntimeSettings |
array<object> |
任意 |
ランタイム設定。 |
|
|
object |
任意 |
|||
| Name |
string |
任意 |
設定名。有効な値:
|
runtime.offline.concurrent |
| Value |
string |
任意 |
設定値。 |
1 |
JobName
deprecated
|
string |
任意 |
[非推奨] 代わりに Name パラメーターを使用してください。 |
mysql_to_holo_sync_8772 |
| Owner |
string |
任意 |
タスクのオーナー。 |
3726346 |
| FileSpec |
string |
任意 |
スクリプトモードのコード内容。 |
{ |
レスポンスフィールド
|
フィールド |
型 |
説明 |
例 |
|
object |
レスポンスのスキーマ。 |
||
| Id |
integer |
Data Integration タスクの ID。 |
11792 |
| RequestId |
string |
リクエスト ID。この ID を使用してログを検索し、問題のトラブルシューティングを行うことができます。 |
4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB |
DIJobId
deprecated
|
integer |
[非推奨] 代わりに Id レスポンスパラメーターを使用してください。 |
11792 |
例
成功レスポンス
JSONJSON
{
"Id": 11792,
"RequestId": "4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB",
"DIJobId": 11792
}
エラーコード
完全なリストについては、「エラーコード」をご参照ください。
変更履歴
完全なリストについては、「変更履歴」をご参照ください。