Memperbarui tugas sinkronisasi versi baru. Jenis tugas berikut didukung: sinkronisasi real-time seluruh data dalam database MySQL ke Hologres.
Coba sekarang
Test
RAM authorization
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| DIJobId |
integer |
No |
ID tugas sinkronisasi. |
11588 |
| Description |
string |
No |
Deskripsi tugas sinkronisasi. |
mysql同步到hologres |
| ResourceSettings |
object |
No |
Pengaturan sumber daya. |
|
| OfflineResourceSettings |
object |
No |
Sumber daya yang digunakan untuk sinkronisasi batch. |
|
| ResourceGroupIdentifier |
string |
No |
Pengidentifikasi grup sumber daya untuk Data Integration yang digunakan untuk sinkronisasi batch. |
S_res_group_111_222 |
| RealtimeResourceSettings |
object |
No |
Sumber daya yang digunakan untuk sinkronisasi real-time. |
|
| ResourceGroupIdentifier |
string |
No |
Pengidentifikasi grup sumber daya untuk Data Integration yang digunakan untuk sinkronisasi real-time. |
S_res_group_111_222 |
| RequestedCu |
number |
No |
Jumlah compute unit (CU) dalam grup sumber daya yang digunakan untuk sinkronisasi penuh dan inkremental. |
2.0 |
| TransformationRules |
array<object> |
No |
Daftar aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. Setiap entri dalam daftar mendefinisikan satu aturan transformasi. |
|
|
object |
No |
Aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. |
||
| RuleName |
string |
No |
Nama aturan. Jika nilai parameter RuleActionType dan parameter RuleTargetType sama untuk beberapa aturan transformasi, Anda harus memastikan bahwa nama aturan transformasi bersifat unik. |
rename_rule_1 |
| RuleActionType |
string |
No |
Jenis tindakan. Nilai yang valid:
|
Rename |
| RuleTargetType |
string |
No |
Jenis objek tempat Anda ingin melakukan tindakan. Nilai yang valid:
|
Table |
| RuleExpression |
string |
No |
Ekspresi aturan. Ekspresi harus berupa string JSON. Contoh aturan penggantian nama: {"expression":"${srcDatasourceName}_${srcDatabaseName}_0922","variables":[{"variableName":"srcDatabaseName","variableRules":[{"from":"fromdb","to":"todb"}]}]}. expression: ekspresi aturan penggantian nama. Ekspresi dapat berisi variabel berikut: ${srcDatasourceName}, ${srcDatabaseName}, dan ${srcTableName}. ${srcDatasourceName} menentukan nama sumber. ${srcDatabaseName} menentukan nama database sumber. ${srcTableName} menentukan nama tabel sumber. variables: aturan pembentukan variabel yang digunakan dalam ekspresi aturan penggantian nama. Nilai default dari variabel yang ditentukan adalah nilai asli objek yang ditunjukkan oleh variabel. Anda dapat mendefinisikan sekelompok aturan penggantian string untuk mengubah nilai asli berdasarkan kebutuhan bisnis Anda. variableName: nama variabel. Jangan apit nama variabel dengan ${}. variableRules: aturan penggantian string untuk variabel. Sistem menjalankan aturan penggantian string secara berurutan. from menentukan string asli. to menentukan string baru. Contoh aturan yang digunakan untuk menambahkan field tertentu ke tujuan dan memberikan nilai pada field tersebut: {"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]}. Jika Anda tidak mengonfigurasi aturan tersebut, tidak ada field yang ditambahkan ke tujuan dan tidak ada nilai yang diberikan secara default. columnName: nama field yang ingin Anda tambahkan. columnValueType: jenis nilai field. Nilai yang valid: Constant dan Variable. columnValue: nilai field yang ingin Anda tambahkan. Jika Anda mengatur parameter valueType ke Constant, atur parameter columnValue ke konstanta kustom bertipe STRING. Jika Anda mengatur parameter valueType ke Variable, atur columnValue ke variabel built-in. Variabel built-in berikut didukung: EXECUTE_TIME (tipe data LONG), DB_NAME_SRC (tipe data STRING), DATASOURCE_NAME_SRC (tipe data STRING), TABLE_NAME_SRC (tipe data STRING), DB_NAME_DEST (tipe data STRING), DATASOURCE_NAME_DEST (tipe data STRING), TABLE_NAME_DEST (tipe data STRING), dan DB_NAME_SRC_TRANSED (tipe data STRING). EXECUTE_TIME menentukan waktu eksekusi. DB_NAME_SRC menunjukkan nama database sumber. DATASOURCE_NAME_SRC menentukan nama sumber. TABLE_NAME_SRC menentukan nama tabel sumber. DB_NAME_DEST menentukan nama database tujuan. DATASOURCE_NAME_DEST menentukan nama tujuan. TABLE_NAME_DEST menentukan nama tabel tujuan. DB_NAME_SRC_TRANSED menentukan nama database yang diperoleh setelah transformasi. Contoh aturan yang digunakan untuk menentukan field primary key untuk tabel tujuan: {"columns":["ukcolumn1","ukcolumn2"]}. Jika Anda tidak mengonfigurasi aturan tersebut, field primary key dalam tabel sumber yang dipetakan digunakan untuk tabel tujuan secara default. Jika tabel tujuan adalah tabel yang sudah ada, Data Integration tidak memodifikasi skema tabel tujuan. Jika field primary key yang ditentukan tidak ada dalam tabel tujuan, error akan dilaporkan saat tugas sinkronisasi mulai berjalan. Jika tabel tujuan dibuat secara otomatis oleh sistem, Data Integration secara otomatis membuat skema tabel tujuan. Skema berisi field primary key yang Anda tentukan. Jika field primary key yang ditentukan tidak ada dalam tabel tujuan, error akan dilaporkan saat tugas sinkronisasi mulai berjalan. Contoh aturan yang digunakan untuk memproses pesan DML: {"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]}. Jika Anda tidak mengonfigurasi aturan tersebut, kebijakan pemrosesan default untuk pesan yang dihasilkan oleh operasi insert, update, dan delete adalah Normal. dmlType: operasi DML. Nilai yang valid: Insert, Update, dan Delete. dmlAction: kebijakan pemrosesan untuk pesan DML. Nilai yang valid: Normal, Ignore, Filter, dan LogicalDelete. Filter menunjukkan pemrosesan kondisional. Anda dapat mengatur parameter dmlAction ke Filter hanya ketika parameter dmlType diatur ke Update atau Delete. filterCondition: kondisi yang digunakan untuk memfilter pesan DML. Parameter ini diperlukan hanya ketika parameter dmlAction diatur ke Filter. |
{"expression":"${srcDatasoureName}_${srcDatabaseName}"} |
| TableMappings |
array<object> |
No |
Daftar pemetaan antara aturan yang digunakan untuk memilih objek sinkronisasi di sumber dan aturan transformasi yang diterapkan pada objek sinkronisasi yang dipilih. Setiap entri dalam daftar menampilkan pemetaan antara aturan yang digunakan untuk memilih objek sinkronisasi dan aturan transformasi yang diterapkan pada objek sinkronisasi yang dipilih. |
|
|
array<object> |
No |
Pemetaan antara aturan yang digunakan untuk memilih objek sinkronisasi di sumber dan aturan transformasi yang diterapkan pada objek sinkronisasi yang dipilih. |
||
| SourceObjectSelectionRules |
array<object> |
No |
Daftar aturan yang ingin Anda gunakan untuk memilih objek sinkronisasi di sumber. |
|
|
object |
No |
Aturan yang ingin Anda gunakan untuk memilih objek sinkronisasi di sumber. Objek dapat berupa database atau tabel. |
||
| ObjectType |
string |
No |
Jenis objek. Nilai yang valid:
|
Table |
| Expression |
string |
No |
Ekspresi. |
mysql_table_1 |
| TransformationRules |
array<object> |
No |
Daftar aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. |
|
|
object |
No |
Aturan transformasi yang ingin Anda terapkan pada objek sinkronisasi yang dipilih dari sumber. |
||
| RuleName |
string |
No |
Nama aturan. Jika nilai parameter RuleActionType dan parameter RuleTargetType sama untuk beberapa aturan transformasi, Anda harus memastikan bahwa nama aturan transformasi bersifat unik. |
rename_rule_1 |
| RuleActionType |
string |
No |
Jenis tindakan. Nilai yang valid:
|
Rename |
| RuleTargetType |
string |
No |
Jenis objek tempat Anda ingin melakukan tindakan. Nilai yang valid:
|
Table |
| JobSettings |
object |
No |
Pengaturan untuk dimensi tugas sinkronisasi. Pengaturan mencakup kebijakan pemrosesan untuk pesan DDL, kebijakan untuk pemetaan tipe data antara field sumber dan field tujuan, serta parameter runtime tugas sinkronisasi. |
|
| DdlHandlingSettings |
array<object> |
No |
Pengaturan untuk memproses pesan DDL. Nilai parameter ini harus berupa array. |
|
|
object |
No |
Pengaturan pemrosesan untuk jenis pesan DDL tertentu. |
||
| Type |
string |
No |
Jenis operasi DDL. Nilai yang valid:
|
AddColumn |
| Action |
string |
No |
Kebijakan pemrosesan untuk pesan DDL. Nilai yang valid:
|
Critical |
| ColumnDataTypeSettings |
array<object> |
No |
Pengaturan untuk pemetaan tipe data antara field sumber dan field tujuan. Nilai parameter ini harus berupa array. |
|
|
object |
No |
Pemetaan tipe data antara field sumber dan field tujuan. |
||
| SourceDataType |
string |
No |
Tipe data field sumber. |
bigint |
| DestinationDataType |
string |
No |
Tipe data field tujuan. |
text |
| RuntimeSettings |
array<object> |
No |
Pengaturan runtime. Nilai parameter ini harus berupa array. |
|
|
object |
No |
Pengaturan runtime. |
||
| Name |
string |
No |
Nama item konfigurasi. Nilai yang valid:
|
runtime.offline.concurrent |
| Value |
string |
No |
Nilai item konfigurasi. |
1 |
| CycleScheduleSettings |
object |
No |
Pengaturan untuk penjadwalan periodik. |
|
| ScheduleParameters |
string |
No |
Parameter penjadwalan. |
bizdate=$bizdate |
| ChannelSettings |
string |
No |
Pengaturan kontrol channel untuk tugas sinkronisasi. Nilai parameter ini harus berupa string JSON. |
{"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""} |
Elemen respons
|
Element |
Type |
Description |
Example |
|
object |
Hasil yang dikembalikan. |
||
| RequestId |
string |
ID permintaan. |
AAC30B35-820D-5F3E-A42C-E96BB6379325 |
Contoh
Respons sukses
JSONformat
{
"RequestId": "AAC30B35-820D-5F3E-A42C-E96BB6379325"
}
Kode kesalahan
|
HTTP status code |
Error code |
Error message |
Description |
|---|---|---|---|
| 500 | InternalError.System | An internal system error occurred. Try again later. | |
| 500 | InternalError.UserId.Missing | An internal system error occurred. Try again later. | |
| 429 | Throttling.Api | The request for this resource has exceeded your available limit. | |
| 429 | Throttling.System | The DataWorks system is busy. Try again later. | |
| 429 | Throttling.User | Your request is too frequent. Try again later. |
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.