Membuat tugas sinkronisasi versi baru. Jenis tugas sinkronisasi berikut didukung: sinkronisasi real-time semua data dari database MySQL ke Hologres dan sinkronisasi batch semua data dari database MySQL ke Hive.
Coba sekarang
Test
RAM authorization
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| ProjectId |
integer |
No |
ID workspace DataWorks. Anda dapat memanggil operasi ListProjects untuk mendapatkan ID. |
10000 |
| JobName |
string |
No |
Nama tugas sinkronisasi. |
mysql_to_holo_sync_8772 |
| Description |
string |
No |
Deskripsi tugas sinkronisasi. |
Synchronize mysql to hologres |
| MigrationType |
string |
No |
Jenis sinkronisasi. Nilai yang valid:
|
FullAndRealtimeIncremental |
| SourceDataSourceType |
string |
No |
Jenis sumber. Setel parameter ini ke MySQL. |
MySQL |
| DestinationDataSourceType |
string |
No |
Jenis tujuan. Nilai yang valid: Hologres dan Hive. |
Hologres |
| SourceDataSourceSettings |
array<object> |
No |
Pengaturan sumber. Hanya satu sumber yang didukung. |
|
|
array<object> |
No |
|||
| DataSourceName |
string |
No |
Nama sumber data. |
mysql_datasource_1 |
| DataSourceProperties |
object |
No |
Properti sumber data. |
|
|
string |
No |
Properti sumber. Properti sumber data MySQL meliputi TimeZone dan Encoding. |
TimeZone |
|
| DestinationDataSourceSettings |
array<object> |
No |
Pengaturan tujuan. Hanya satu tujuan yang didukung. |
|
|
array<object> |
No |
|||
| DataSourceName |
string |
No |
Nama sumber data. |
holo_datasource_1 |
| DataSourceProperties |
object |
No |
Properti sumber data. |
|
|
string |
No |
Properti tujuan. Tidak ada properti yang dapat dikonfigurasi untuk sumber data Hologres. |
TimeZone |
|
| ResourceSettings |
object |
No |
Pengaturan sumber daya. |
|
| OfflineResourceSettings |
object |
No |
Sumber daya yang digunakan untuk sinkronisasi batch. |
|
| ResourceGroupIdentifier |
string |
No |
Identifier grup sumber daya untuk Data Integration yang digunakan untuk sinkronisasi batch. |
S_res_group_111_222 |
| RealtimeResourceSettings |
object |
No |
Sumber daya yang digunakan untuk sinkronisasi real-time. |
|
| ResourceGroupIdentifier |
string |
No |
Identifier grup sumber daya untuk Data Integration yang digunakan untuk sinkronisasi real-time. |
S_res_group_111_222 |
| RequestedCu |
number |
No |
Jumlah unit komputasi (CU) di grup sumber daya yang digunakan untuk sinkronisasi inkremental dan penuh. |
2.0 |
| TransformationRules |
array<object> |
No |
Daftar aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. Setiap entri dalam daftar mendefinisikan satu aturan transformasi. |
|
|
object |
No |
Aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. |
||
| RuleName |
string |
No |
Nama aturan. Jika nilai parameter RuleActionType dan parameter RuleTargetType sama untuk beberapa aturan transformasi, Anda harus memastikan bahwa nama aturan transformasi tersebut unik. |
rename_rule_1 |
| RuleActionType |
string |
No |
Jenis tindakan. Nilai yang valid:
|
Rename |
| RuleTargetType |
string |
No |
Jenis objek yang ingin Anda lakukan tindakan padanya. Nilai yang valid:
|
Table |
| RuleExpression |
string |
No |
Ekspresi aturan. Sebuah ekspresi harus berupa string JSON. Contoh aturan penggantian nama: {"expression":"${srcDatasourceName}_${srcDatabaseName}_0922","variables":[{"variableName":"srcDatabaseName","variableRules":[{"from":"fromdb","to":"todb"}]}]}
Contoh aturan yang digunakan untuk menambahkan field tertentu ke tujuan dan menetapkan nilai pada field tersebut: {"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]}
Contoh aturan yang digunakan untuk menentukan field primary key untuk tabel tujuan: {"columns":["ukcolumn1","ukcolumn2"]}
Contoh aturan yang digunakan untuk memproses pesan DML: {"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]}
|
{"expression":"${srcDatasoureName}_${srcDatabaseName}"} |
| TableMappings |
array<object> |
No |
Daftar pemetaan antara aturan yang digunakan untuk memilih objek sinkronisasi di sumber dan aturan transformasi yang diterapkan pada objek sinkronisasi yang dipilih. Setiap entri dalam daftar menampilkan satu pemetaan antara aturan yang digunakan untuk memilih objek sinkronisasi dan aturan transformasi yang diterapkan pada objek sinkronisasi yang dipilih. |
|
|
array<object> |
No |
Pemetaan antara aturan yang digunakan untuk memilih objek sinkronisasi di sumber dan aturan transformasi yang diterapkan pada objek sinkronisasi yang dipilih. |
||
| SourceObjectSelectionRules |
array<object> |
No |
Aturan yang digunakan untuk memilih objek sinkronisasi di sumber. |
|
|
object |
No |
Aturan yang digunakan untuk memilih objek sinkronisasi di sumber. Objek tersebut dapat berupa database atau tabel. |
||
| ObjectType |
string |
No |
Jenis objek. Nilai yang valid:
|
Table |
| Expression |
string |
No |
Ekspresi. |
mysql_table_1 |
| TransformationRules |
array<object> |
No |
Daftar aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. |
|
|
object |
No |
Aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. |
||
| RuleName |
string |
No |
Nama aturan. Jika nilai parameter RuleActionType dan parameter RuleTargetType sama untuk beberapa aturan transformasi, Anda harus memastikan bahwa nama aturan transformasi tersebut unik. |
rename_rule_1 |
| RuleActionType |
string |
No |
Jenis tindakan. Nilai yang valid:
|
Rename |
| RuleTargetType |
string |
No |
Jenis objek yang ingin Anda lakukan tindakan padanya. Nilai yang valid:
|
Table |
| JobSettings |
object |
No |
Pengaturan untuk dimensi tugas sinkronisasi. Pengaturan ini meliputi kebijakan pemrosesan untuk pesan DDL, kebijakan untuk pemetaan tipe data antara field sumber dan field tujuan, serta parameter runtime tugas sinkronisasi. |
|
| DdlHandlingSettings |
array<object> |
No |
Pengaturan pemrosesan untuk pesan DDL. |
|
|
object |
No |
Pengaturan pemrosesan untuk jenis pesan DDL tertentu. |
||
| Type |
string |
No |
Jenis operasi DDL. Nilai yang valid:
|
AddColumn |
| Action |
string |
No |
Kebijakan pemrosesan. Nilai yang valid:
|
Critical |
| ColumnDataTypeSettings |
array<object> |
No |
Pengaturan untuk pemetaan tipe data antara field sumber dan field tujuan. Nilai parameter ini harus berupa array. |
|
|
object |
No |
Pemetaan tipe data antara field sumber dan field tujuan. |
||
| SourceDataType |
string |
No |
Tipe data field sumber. |
bigint |
| DestinationDataType |
string |
No |
Tipe data field tujuan. |
text |
| RuntimeSettings |
array<object> |
No |
Pengaturan runtime. Nilai parameter ini harus berupa array. |
|
|
object |
No |
Pengaturan runtime. |
||
| Name |
string |
No |
Nama item konfigurasi. Nilai yang valid:
|
runtime.offline.concurrent |
| Value |
string |
No |
Nilai item konfigurasi. |
1 |
| CycleScheduleSettings |
object |
No |
Pengaturan untuk penjadwalan periodik. |
|
| CycleMigrationType |
string |
No |
Jenis sinkronisasi yang memerlukan penjadwalan periodik. Nilai yang valid:
|
Full |
| ScheduleParameters |
string |
No |
Parameter penjadwalan. |
bizdate=$bizdate |
| ChannelSettings |
string |
No |
Pengaturan kontrol channel untuk tugas sinkronisasi. Nilai parameter ini harus berupa string JSON. |
{"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""} |
| ImportRuleSettings |
object |
No |
Pengaturan impor untuk tugas sinkronisasi. |
|
| Source |
string |
No |
Sumber impor tugas. Setel nilainya ke Datastudio, yang menunjukkan tugas sinkronisasi yang dibuat di DataStudio. |
Datastudio |
| FileId |
string |
No |
ID tugas yang akan diimpor. |
10000 |
| SystemDebug |
string |
No |
Menentukan apakah akan melakukan debugging sistem. Nilai yang valid: true dan false. Nilai default: false. |
false |
Elemen respons
|
Element |
Type |
Description |
Example |
|
object |
Parameter respons. |
||
| RequestId |
string |
ID permintaan. Anda dapat menggunakan ID permintaan untuk mengueri log dan memecahkan masalah. |
4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB |
| DIJobId |
integer |
ID tugas sinkronisasi. |
11792 |
Contoh
Respons sukses
JSONformat
{
"RequestId": "4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB",
"DIJobId": 11792
}
Kode kesalahan
|
HTTP status code |
Error code |
Error message |
Description |
|---|---|---|---|
| 500 | InternalError.System | An internal system error occurred. Try again later. | |
| 500 | InternalError.UserId.Missing | An internal system error occurred. Try again later. | |
| 429 | Throttling.Api | The request for this resource has exceeded your available limit. | |
| 429 | Throttling.System | The DataWorks system is busy. Try again later. | |
| 429 | Throttling.User | Your request is too frequent. Try again later. |
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.