すべてのプロダクト
Search
ドキュメントセンター

DataWorks:CreateDIJob

最終更新日:Apr 07, 2026

データ統合タスクの新しいバージョンを作成します。

操作説明

  • この API は、DataWorks Basic Edition またはそれ以上のエディションが必要です。

  • この API は、Data Integration の同期タスクを作成します。主要なパラメーターには、SourceDataSourceSettingsDestinationDataSourceSettingsMigrationType があります。TransformationRules パラメーターは、列の追加やテーブル名の置換など、同期対象テーブルの変換ルールを定義します。TableMappings パラメーターは、同期するテーブルとそのマッピングルールを指定します。JobSettings パラメーターは、列マッピングやスケジューリングなどのタスク設定を構成します。

今すぐお試しください

この API を OpenAPI Explorer でお試しください。手作業による署名は必要ありません。呼び出しに成功すると、入力したパラメーターに基づき、資格情報が組み込まれた SDK コードが自動的に生成されます。このコードをダウンロードしてローカルで使用できます。

テスト

RAM 認証

この操作の認証情報はありません。問題が発生した場合は、アカウントマネージャーにご連絡ください。

リクエストパラメーター

パラメーター

必須 / 任意

説明

DestinationDataSourceType

string

任意

送信先データソースのタイプ。有効な値:HologresOSS-HDFSOSSMaxComputeLogHubStarRocksDataHubAnalyticDB for MySQLKafkaHive

Hologres

Description

string

任意

ジョブの説明。

DI Job Demo

SourceDataSourceType

string

任意

ソースデータソースのタイプ。有効な値:PolarDBMySQLKafkaLogHubHologresOracleOceanBaseMongoDBRedshiftHiveSQL ServerDorisClickHouse

MySQL

ProjectId

integer

任意

この API 呼び出しの DataWorks ワークスペースの ID。ワークスペース ID を取得するには、DataWorks コンソールにログインし、[ワークスペース管理] ページに移動します。

10000

Name

string

任意

ジョブの名前。

mysql_to_holo_sync_8772

MigrationType

string

任意

同期タイプ。有効な値:

  • FullAndRealtimeIncremental:データベース全体のフル同期とリアルタイム増分同期。

  • RealtimeIncremental:単一テーブルのリアルタイム増分同期。

  • Full:データベース全体のフルバッチ同期。

  • OfflineIncremental:バッチモードでの増分同期。

  • FullAndOfflineIncremental:データベース全体のフルバッチ同期と増分バッチ同期。

FullAndRealtimeIncremental

JobType

string

任意

ジョブタイプ。有効な値:

  • DatabaseRealtimeMigration:複数のソースデータベースから複数のテーブルをリアルタイム (ストリーム同期) で同期します。このタイプは、フル同期、増分同期、またはその両方をサポートします。

  • DatabaseOfflineMigration:複数のソースデータベースから複数のテーブルをバッチで同期します。このタイプは、フル同期、増分同期、またはその両方をサポートします。

  • SingleTableRealtimeMigration:単一のソーステーブルをリアルタイム (ストリーム同期) で同期します。

DatabaseRealtimeMigration

SourceDataSourceSettings

array<object>

任意

ソースデータソースの設定。

array<object>

任意

単一のソースデータソースの設定。

DataSourceName

string

任意

データソースの名前。

mysql_datasource_1

DataSourceProperties

object

任意

データソースのプロパティ。

Encoding

string

任意

データベースのエンコード形式。

UTF-8

Timezone

string

任意

タイムゾーン。

Asia/Shanghai

ConnectionProperties

string

任意

インスタンス ID、アクセス認証情報、インスタンスリージョンなど、データソースのカスタム接続設定。このパラメーターまたは DataSourceName を指定する必要があります。

このパラメーターは、データソースがインスタンスモード (ConnectionPropertiesMode) で構成されている場合にのみ適用されます。プロパティのフォーマットはデータソースによって異なります。詳細については、「データソースの ConnectionProperties」をご参照ください。

{ "instanceId": "rm-2ze09gn3x6xxx", "password": "xxxx", "database": "agent", "username": "zmtest" "regionId": "cn-beijing" }

DestinationDataSourceSettings

array<object>

任意

送信先データソースの設定。

array<object>

任意

単一の送信先データソースの設定。

DataSourceName

string

任意

データソースの名前。

holo_datasource_1

DataSourceProperties

object

任意

データソースのプロパティ。

ConnectionProperties

string

任意

インスタンス ID、アクセス認証情報、インスタンスリージョンなど、データソースのカスタム接続設定。このパラメーターまたは DataSourceName を指定する必要があります。

このパラメーターは、データソースがインスタンスモード (ConnectionPropertiesMode) で構成されている場合にのみ適用されます。プロパティのフォーマットはデータソースによって異なります。詳細については、「データソースの ConnectionProperties」をご参照ください。

{ "instanceId": "rm-2ze09gn3x6xxx", "password": "xxxx", "database": "agent", "username": "zmtest" "regionId": "cn-beijing" }

ResourceSettings

object

任意

リソース設定。

OfflineResourceSettings

object

任意

バッチ同期のリソース設定。

RequestedCu

number

任意

バッチ同期に使用される Data Integration 用リソースグループの CU 数。

2

ResourceGroupIdentifier

string

任意

バッチ同期に使用される Data Integration 用リソースグループの識別子。

S_res_group_111_222

RealtimeResourceSettings

object

任意

リアルタイム同期のリソース。

RequestedCu

number

任意

リアルタイム同期に使用される Data Integration 用リソースグループの CU 数。

2

ResourceGroupIdentifier

string

任意

リアルタイム同期に使用される Data Integration 用リソースグループの識別子。

S_res_group_111_222

ScheduleResourceSettings

object

任意

スケジューリングリソース。

RequestedCu

number

任意

バッチ同期ジョブに使用されるスケジューリングリソースグループの CU 数。

2

ResourceGroupIdentifier

string

任意

バッチ同期ジョブに使用されるスケジューリングリソースグループの識別子。

S_res_group_222_333

TransformationRules

array<object>

任意

同期するオブジェクトの変換ルールのリスト。

説明

[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema", "RuleExpression":"{\"expression\":\"${srcDatasoureName}_${srcDatabaseName}\"}" } ]

object

任意

単一の変換ルール。

RuleActionType

string

任意

アクションタイプ。有効な値:

  • DefinePrimaryKey:プライマリキーを定義します。

  • Rename:オブジェクトの名前を変更します。

  • AddColumn:列を追加します。

  • HandleDml:DML 操作を処理します。

  • DefineIncrementalCondition:増分条件を定義します。

  • DefineCycleScheduleSettings:周期的スケジューリング設定を定義します。

  • DefinePartitionKey:パーティションキーを定義します。

Rename

RuleExpression

string

任意

ルール式。JSON 文字列として指定します。

  1. 名前変更ルール (Rename)

  • 例:{"expression":"${srcDatasourceName}_${srcDatabaseName}_0922" }

  • expression:名前変更式。次の変数を使用できます:${srcDatasourceName} (ソースデータソース名)、${srcDatabaseName} (ソースデータベース名)、${srcTableName} (ソーステーブル名)。

  1. 列追加ルール (AddColumn)

  • 例:{"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]}

  • このルールを指定しない場合、列は追加されません。

  • columnName:追加する列の名前。

  • columnValueType:追加する列の値のタイプ。有効な値:ConstantVariable

  • columnValue:追加する列の値。columnValueTypeConstant の場合、値はカスタム文字列定数です。columnValueTypeVariable の場合、値は組み込み変数です。有効な組み込み変数には、EXECUTE_TIME (実行時間、Long)、DB_NAME_SRC (ソースデータベース名、String)、DATASOURCE_NAME_SRC (ソースデータソース名、String)、TABLE_NAME_SRC (ソーステーブル名、String)、DB_NAME_DEST (送信先データベース名、String)、DATASOURCE_NAME_DEST (送信先データソース名、String)、TABLE_NAME_DEST (送信先テーブル名、String)、DB_NAME_SRC_TRANSED (変換後のデータベース名、String) があります。

  1. 送信先テーブルのプライマリキー列を定義するルール (DefinePrimaryKey)

  • 例:{"columns":["ukcolumn1","ukcolumn2"]}

  • このルールを指定しない場合、デフォルトでソーステーブルのプライマリキー列が使用されます。

  • 送信先が既存のテーブルの場合、Data Integration はそのスキーマを変更しません。指定されたプライマリキー列が送信先テーブルに存在しない場合、ジョブの開始に失敗し、エラーが報告されます。

  • 送信先テーブルが自動的に作成される場合、Data Integration は定義されたプライマリキー列でスキーマを自動的に作成します。指定されたプライマリキー列がソーステーブルに存在しない場合、ジョブの開始に失敗し、エラーが報告されます。

  1. DML 処理ルール (HandleDml)

  • 例:{"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]}

  • このルールを指定しない場合、InsertUpdateDelete 操作のデフォルトの dmlActionNormal です。

  • dmlType:DML 操作タイプ。有効な値:InsertUpdateDelete

  • dmlAction:DML 処理ポリシー。有効な値:Normal (通常処理)、IgnoreFilter (条件付き処理、dmlTypeUpdate または Delete の場合に使用)、LogicalDelete (論理削除)。

  • filterCondition:DML フィルター条件。dmlActionFilter の場合に使用します。

  1. 増分条件 (DefineIncrementalCondition)

  • 例:{"where":"id > 0"}

  • 増分同期のフィルター条件を指定します。

  1. 周期的スケジューリングのパラメーター (DefineCycleScheduleSettings)

  • 例:{"cronExpress":" * * * * * *", "cycleType":"1"}

  • ジョブを定期的にスケジューリングするためのパラメーターを指定します。

  1. パーティションキーを定義するルール (DefinePartitionKey)

  • 例:{"columns":["id"]}

  • パーティションキーを指定します。

{ "expression": "${srcDatasoureName}_${srcDatabaseName}" }

RuleName

string

任意

ルールの名前。ルール名は、特定のアクションタイプとターゲットオブジェクトタイプに対して一意である必要があります。最大長:50 文字。

rename_rule_1

RuleTargetType

string

任意

アクションが適用されるオブジェクトのタイプ。有効な値:

  • Table

  • Schema

  • Database

Table

TableMappings

array<object>

任意

同期するオブジェクトの変換マッピング。各マッピングは、ソースオブジェクトのグループに対する選択ルールと、それらに適用する変換ルールを定義します。

説明

[ { "SourceObjectSelectionRules":[ { "ObjectType":"Database", "Action":"Include", "ExpressionType":"Exact", "Expression":"biz_db" }, { "ObjectType":"Schema", "Action":"Include", "ExpressionType":"Exact", "Expression":"s1" }, { "ObjectType":"Table", "Action":"Include", "ExpressionType":"Exact", "Expression":"table1" } ], "TransformationRuleNames":[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema" } ] } ]

array<object>

任意

ソースオブジェクトのセットを選択し、適用する変換ルールを指定するマッピング。

SourceObjectSelectionRules

array<object>

任意

各ルールは、同期するソースオブジェクトのセットを選択できます。複数のルールを組み合わせて 1 つのテーブルを選択します。

object

任意

データベースやテーブルなど、特定のタイプのソースオブジェクトを選択するルール。

Action

string

任意

選択アクション。有効な値:IncludeExclude

Include

Expression

string

任意

式。

mysql_table_1

ExpressionType

string

任意

式のタイプ。有効な値:ExactRegex

Exact

ObjectType

string

任意

オブジェクトタイプ。有効な値:

  • Table

  • Schema

  • Database

Table

TransformationRules

array<object>

任意

選択したオブジェクトに適用する変換ルールの名前。

object

任意

ソースオブジェクトに適用される変換ルール。

RuleName

string

任意

変換ルールの名前。ルール名は、特定のアクションタイプとターゲットオブジェクトタイプに対して一意である必要があります。最大長:50 文字。

rename_rule_1

RuleActionType

string

任意

アクションタイプ。有効な値:

  • DefinePrimaryKey:プライマリキーを定義します。

  • Rename:オブジェクトの名前を変更します。

  • AddColumn:列を追加します。

  • HandleDml:DML 操作を処理します。

  • DefineIncrementalCondition:増分条件を定義します。

  • DefineCycleScheduleSettings:周期的スケジューリング設定を定義します。

  • DefinePartitionKey:パーティションキーを定義します。

Rename

RuleTargetType

string

任意

アクションが適用されるオブジェクトのタイプ。有効な値:

  • Table

  • Schema

  • Database

Table

JobSettings

object

任意

DDL 処理ポリシー、ソース列と送信先列間のデータ型マッピング、実行時パラメーターなど、同期ジョブの設定。

ChannelSettings

string

任意

データ同期チャネルの設定。特定のチャネルに対して特別な設定を構成できます。サポートされているチャネルは、Hologres から Hologres (Holo2Holo) への同期と、Hologres から Kafka (Holo2Kafka) への同期です。

  1. Holo2Kafka

  • 例:{"destinationChannelSettings":{"kafkaClientProperties":[{"key":"linger.ms","value":"100"}],"keyColumns":["col3"],"writeMode":"canal"}} kafkaClientProperties:Kafka プロデューサーのパラメーター。

  • keyColumns:Kafka に書き込まれるデータのキーとして使用される値を持つ列。

  • writeMode:Kafka への書き込みデータ形式。有効な値:jsoncanal

  1. Holo2Holo

  • 例:{"destinationChannelSettings":{"conflictMode":"replace","dynamicColumnAction":"replay","writeMode":"replay"}}

  • conflictMode:Hologres へのデータ書き込み時の競合処理ポリシー。有効な値:replace (上書き)、ignore

  • writeMode:Hologres へのデータ書き込みメソッド。有効な値:replayinsert

  • dynamicColumnAction:Hologres へのデータ書き込み時の動的列の処理メソッド。有効な値:replayinsertignore

{ "structInfo": "MANAGED", "storageType": "TEXTFILE", "writeMode": "APPEND", "partitionColumns": [ { "columnName": "pt", "columnType": "STRING", "comment": "" } ], "fieldDelimiter": "" }

ColumnDataTypeSettings

array<object>

任意

列データ型マッピング。

説明

"ColumnDataTypeSettings":[ { "SourceDataType":"Bigint", "DestinationDataType":"Text" } ]

object

任意

ソースデータ型から送信先データ型へのマッピング。

DestinationDataType

string

任意

送信先データ型。例:bigintbooleanstringtextdatetimetimestampdecimalbinary。利用可能なデータ型はデータソースによって異なります。

text

SourceDataType

string

任意

ソースデータ型。例:bigintbooleanstringtextdatetimetimestampdecimalbinary。利用可能なデータ型はデータソースによって異なります。

bigint

CycleScheduleSettings

object

任意

周期的スケジューリング設定。

CycleMigrationType

string

任意

周期的スケジューリングの同期タイプ。有効な値:

  • Full:フル同期。

  • OfflineIncremental:バッチモードでの増分同期。

Full

ScheduleParameters

string

任意

スケジューリングパラメーター。

bizdate=$bizdate

DdlHandlingSettings

array<object>

任意

DDL 処理設定。

説明

"DDLHandlingSettings":[ { "Type":"Insert", "Action":"Normal" } ]

object

任意

単一の DDL 処理設定。

Action

string

任意

処理アクション。有効な値:

  • Ignore:DDL メッセージを無視します。

  • Critical:エラーを報告します。

  • Normal:DDL メッセージを通常どおり処理します。

Critical

Type

string

任意

DDL タイプ。有効な値:

  • RenameColumn:列の名前変更。

  • ModifyColumn:列の変更。

  • CreateTable:テーブルの作成。

  • TruncateTable:テーブルの切り捨て。

  • DropTable:テーブルの削除。

  • DropColumn:列の削除。

  • AddColumn:列の追加。

AddColumn

RuntimeSettings

array<object>

任意

ランタイム設定。

object

任意

ランタイム設定。

Name

string

任意

設定の名前。有効な値:

  • src.offline.datasource.max.connection:バッチ同期ジョブのソースへの最大接続数。

  • dst.offline.truncate:バッチジョブ開始前に送信先テーブルを切り捨てるかどうかを指定します。

  • runtime.offline.speed.limit.enable:バッチ同期ジョブの速度制限を有効にするかどうかを指定します。

  • runtime.offline.concurrent:バッチ同期ジョブの同時実行レベル。

  • runtime.enable.auto.create.schema:送信先スキーマを自動的に作成するかどうかを指定します。

  • runtime.realtime.concurrent:リアルタイム同期ジョブの同時実行レベル。

  • runtime.realtime.failover.minute.dataxcdc:フェールオーバー再起動の待機時間 (分)。

  • runtime.realtime.failover.times.dataxcdc:フェールオーバー再起動の試行回数。

runtime.offline.concurrent

Value

string

任意

設定の値。

1

JobName deprecated

string

任意

このパラメーターは非推奨です。代わりに Name パラメーターを使用してください。

mysql_to_holo_sync_8772

Owner

string

任意

ジョブの所有者。

3726346

FileSpec

string

任意

スクリプトモードで作成されたジョブのコード。

{ "resourceSettings": { "realtimeResourceSettings": { "requestedCu": 2, "resourceGroupIdentifier": "Serverless_res_group_123_456" }, "offlineResourceSettings": { "requestedCu": 2, "resourceGroupIdentifier": "Serverless_res_group_123_456" } }, "tableMappings": [ { "sourceObjectSelectionRules": [ { "expression": "autotest_hologres", "action": "Include", "expressionType": "Exact", "objectType": "Datasource" }, { "expression": "auto_holo_2661647", "action": "Include", "expressionType": "Exact", "objectType": "Table" }, { "expression": "public", "action": "Include", "expressionType": "Exact", "objectType": "Schema" } ], "transformationRules": [ { "ruleTargetType": "Table", "ruleActionType": "SourceSchema", "ruleName": "SourceSchema_Table_BStf8aXPSCJjOWGe" }, { "ruleTargetType": "Schema", "ruleActionType": "Rename", "ruleName": "Rename_Schema_3qWNOIsljtInvKJy" }, { "ruleTargetType": "Table", "ruleActionType": "Rename", "ruleName": "Rename_Table_o3PVQq1aIKDGoVVW" }, { "ruleTargetType": "Table", "ruleActionType": "DefineDstTableSettings", "ruleName": "DefineDstTableSettings_Table_BhJltOmOCIc81fzi" }, { "ruleTargetType": "Table", "ruleActionType": "ColumnMapping", "ruleName": "ColumnMapping_Table_nP4hJPX1wh2W3fpo" } ] } ], "sourceDataSourceSettings": [ { "dataSourceProperties": { "timeZone": "Asia/Shanghai" }, "dataSourceName": "autotest_hologres" } ], "jobSettings": { "runtimeSettings": [ ], "ddlHandlingSettings": [ ], "columnDataTypeSettings": [ ], "cycleScheduleSettings": { }, "channelSettings": { "destinationChannelSettings": { "conflictMode": "replace", "dynamicColumnAction": "replay", "writeMode": "replay" }, "sourceChannelSettings": { } } }, "destinationDataSourceType": "Hologres", "transformationRules": [ { "ruleTargetType": "Table", "ruleName": "SourceSchema_Table_BStf8aXPSCJjOWGe", "ruleActionType": "SourceSchema", "ruleExpression": { "columns": [ { "name": "id", "category": "normal", "type": "BIGINT" }, { "name": "decimal", "category": "normal", "type": "DECIMAL" } ] } }, { "ruleTargetType": "Schema", "ruleName": "Rename_Schema_3qWNOIsljtInvKJy", "ruleActionType": "Rename", "ruleExpression": { "expression": "public" } }, { "ruleTargetType": "Table", "ruleName": "Rename_Table_o3PVQq1aIKDGoVVW", "ruleActionType": "Rename", "ruleExpression": { "expression": "auto_holo_2661647_dst" } }, { "ruleTargetType": "Table", "ruleName": "DefineDstTableSettings_Table_BhJltOmOCIc81fzi", "ruleActionType": "DefineDstTableSettings", "ruleExpression": { "ddlString": "BEGIN; CREATE TABLE IF NOT EXISTS public.auto_holo_2661647_dst ( id BIGINT PRIMARY KEY, "decimal" DECIMAL(38,18) ); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'time_to_live_in_seconds', '3153600000'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'orientation', 'column'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'binlog.level', 'replica'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'binlog.ttl', '2592000'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'bitmap_columns', '"text","char","varchar"'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'dictionary_encoding_columns', '"text":auto,"bytea":auto,"char":auto,"varchar":auto'); CALL SET_TABLE_PROPERTY('public.auto_holo_2661647_dst', 'distribution_key', '"id"'); COMMIT; ", "ddlType": "STRUCT" } }, { "ruleTargetType": "Table", "ruleName": "ColumnMapping_Table_nP4hJPX1wh2W3fpo", "ruleActionType": "ColumnMapping", "ruleExpression": { "columnMapping": [ { "sourceColName": "id", "dstColName": "id" }, { "sourceColName": "decimal", "dstColName": "decimal" } ] } } ], "migrationType": "FullAndRealtimeIncremental", "destinationDataSourceSettings": [ { "dataSourceProperties": { }, "dataSourceName": "autotest_hologres" } ], "sourceDataSourceType": "Hologres" }

レスポンスフィールド

フィールド

説明

object

応答スキーマ。

Id

integer

Data Integration ジョブの ID。

11792

RequestId

string

リクエスト ID。この ID を使用してログの特定や問題のトラブルシューティングを行います。

4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB

DIJobId deprecated

integer

このフィールドは非推奨です。代わりに Id フィールドを使用してください。

11792

成功レスポンス

JSONJSON

{
  "Id": 11792,
  "RequestId": "4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB",
  "DIJobId": 11792
}

エラーコード

完全なリストについては、「エラーコード」をご参照ください。

変更履歴

完全なリストについては、「変更履歴」をご参照ください。