Data Transmission Service:Konfigurasikan ETL dalam tugas migrasi atau sinkronisasi DTS

Mengubah konfigurasi ETL pada tugas sinkronisasi yang sudah ada mencakup:

• Jika Anda memiliki tugas sinkronisasi yang belum dikonfigurasi ETL—artinya saat membuat tugas sinkronisasi, Configure ETL diatur ke No—Anda dapat mengubah No menjadi Yes dan mengonfigurasi skrip DSL.

• Jika ETL sudah dikonfigurasi, Anda dapat mengubah skrip DSL yang ada atau mengatur Configure ETL ke No.

  Penting

  • Untuk mengubah skrip DSL yang ada, pertama-tama pindahkan objek sinkronisasi dari Selected Objects kembali ke Source Objects, lalu tambahkan kembali ke Selected Objects sebelum mengedit skrip DSL.

  • Tugas migrasi tidak mendukung pengubahan skrip DSL.

Catatan

• Mengubah konfigurasi ETL pada tugas sinkronisasi yang sudah ada tidak mendukung perubahan skema tabel di database tujuan. Untuk mengubah skema, lakukan di database tujuan sebelum memulai tugas sinkronisasi.

• Mengubah konfigurasi ETL dapat mengganggu tautan data. Lakukan dengan hati-hati.

• Perubahan konfigurasi ETL hanya berlaku untuk data inkremental yang diproses setelah tugas dimulai ulang. Perubahan ini tidak memengaruhi data historis yang telah diproses sebelumnya.

• Skrip DSL hanya menangani operasi transformasi dan pembersihan data. Skrip ini tidak mendukung pembuatan objek database.

• Bidang yang dirujuk dalam skrip DSL harus ada di database sumber dan tidak boleh difilter oleh kondisi filter apa pun. Jika tidak, tugas mungkin gagal.

• Skrip DSL bersifat case-sensitive. Nama database, nama tabel, dan nama bidang harus persis sama dengan yang ada di database sumber.

• Skrip DSL tidak mendukung beberapa ekspresi. Gunakan fungsi e_compose untuk menggabungkan beberapa ekspresi menjadi satu.

• Semua perubahan DML dari semua tabel di database sumber harus menghasilkan informasi kolom yang identik setelah pemrosesan DSL. Jika tidak, tugas mungkin gagal. Misalnya, jika Anda menggunakan fungsi e_set untuk menambahkan kolom, pastikan operasi INSERT, UPDATE, dan DELETE dari database sumber semuanya menghasilkan kolom tambahan yang sama di tabel tujuan. Untuk informasi lebih lanjut, lihat Catat waktu modifikasi data.

DSL pemrosesan data adalah bahasa skrip untuk mendefinisikan logika ETL dalam skenario sinkronisasi DTS. DSL ini mendukung fungsi kondisional dan menangani string, tanggal, serta nilai numerik dengan fitur-fitur berikut:

• Fungsionalitas kuat: Menyediakan banyak fungsi dan mendukung komposisi fungsi.

• Sintaks relatif sederhana: Menyertakan contoh untuk skenario umum seperti penyaringan data, transformasi, dan penyamaran. Untuk detailnya, lihat Contoh skenario khas.

• Efisiensi eksekusi tinggi: Menggunakan teknologi generasi kode untuk meminimalkan dampak performa pada proses sinkronisasi.

Konstanta dan variabel

• Konstanta

  Type	Example
  int	123
  float	123.4
  string	"hello1_world"
  boolean	true or false
  datetime	DATETIME('2021-01-01 10:10:01')

• Variabel

  Variable	Description	Data type	Example value
  __TB__	Table name	string	table
  __DB__	Database name	string	mydb
  __OPERATION__	Operation type	string	__OP_INSERT__, __OP_UPDATE__, __OP_DELETE__
  __BEFORE__	Nilai pre-image untuk operasi UPDATE (nilai sebelum perubahan) Catatan Operasi DELETE hanya memiliki nilai pre-image.	Special marker, no type	v(`column_name`,__BEFORE__)
  __AFTER__	Nilai post-image untuk operasi UPDATE (nilai setelah perubahan) Catatan Operasi INSERT hanya memiliki nilai post-image.	Special marker, no type	v(`column_name`,__AFTER__)
  __COMMIT_TIMESTAMP__	Waktu commit transaksi	datetime	'2021-01-01 10:10:01'
  `column`	Nilai kolom yang ditentukan untuk suatu catatan	string	`id`, `name`

Fungsi ekspresi

• Operasi numerik

  Function	Syntax	Value range	Return value	Example
  Addition	op_sum(value1, value2)	value1: integer atau bilangan titik mengambang value2: integer atau bilangan titik mengambang	Mengembalikan integer jika kedua parameter integer; jika tidak, mengembalikan bilangan titik mengambang.	op_sum(`col1`, 1.0)
  Subtraction	op_sub(value1, value2)	value1: integer atau bilangan titik mengambang value2: integer atau bilangan titik mengambang	Mengembalikan integer jika kedua parameter integer; jika tidak, mengembalikan bilangan titik mengambang.	op_sub(`col1`, 1.0)
  Multiplication	op_mul(value1, value2)	value1: integer atau bilangan titik mengambang value2: integer atau bilangan titik mengambang	Mengembalikan integer jika kedua parameter integer; jika tidak, mengembalikan bilangan titik mengambang.	op_mul(`col1`, 1.0)
  Division	op_div_true(value1, value2)	value1: integer atau bilangan titik mengambang value2: integer atau bilangan titik mengambang	Mengembalikan integer jika kedua parameter integer; jika tidak, mengembalikan bilangan titik mengambang.	op_div_true(`col1`, 2.0); jika col1=15, mengembalikan 7.5.
  Modulo operation	op_mod(value1, value2)	value1: integer atau bilangan titik mengambang value2: integer atau bilangan titik mengambang	Mengembalikan integer jika kedua parameter integer; jika tidak, mengembalikan bilangan titik mengambang.	op_mod(`col1`, 10); jika col1=23, mengembalikan 3.

• Operasi logis

  Function	Syntax	Valid values	Return value	Example
  Equality check	op_eq(value1, value2)	value1: integer, bilangan titik mengambang, atau string value2: integer, bilangan titik mengambang, atau string	Boolean: true atau false	op_eq(`col1`, 23)
  Greater-than check	op_gt(value1, value2)	value1: integer, bilangan titik mengambang, atau string value2: integer, bilangan titik mengambang, atau string	Boolean: true atau false	op_gt(`col1`, 1.0)
  is less than	op_lt(value1, value2)	value1: integer, bilangan titik mengambang, atau string value2: integer, bilangan titik mengambang, atau string	Boolean: true atau false	op_lt(`col1`, 1.0)
  Greater-than-or-equal check	op_ge(value1, value2)	value1: integer, bilangan titik mengambang, atau string value2: integer, bilangan titik mengambang, atau string	Boolean: true atau false	op_ge(`col1`, 1.0)
  Less-than-or-equal check	op_le(value1, value2)	value1: integer, bilangan titik mengambang, atau string value2: integer, bilangan titik mengambang, atau string	Boolean: true atau false	op_le(`col1`, 1.0)
  AND operation	op_and(value1, value2)	value1: boolean value2: boolean	Boolean: true atau false	op_and(`is_male`, `is_student`)
  OR operation	op_or(value1, value2)	value1: boolean value2: boolean	Boolean: true atau false	op_or(`is_male`, `is_student`)
  IN operation	op_in(value, json_array)	value: tipe apa pun json_array: string berformat JSON	Boolean: true atau false	op_in(`id`,json_array('["0","1","2","3","4","5","6","7","8"]'))
  Check if value is null	op_is_null(value)	value: tipe apa pun	Boolean: true atau false	op_is_null(`name`)
  Check if value is not null	op_is_not_null(value)	value: tipe apa pun	Boolean: true atau false	op_is_not_null(`name`)

• Fungsi string

  Function	Syntax	Value range	Return value	Example
  String concatenation	op_add(str_1,str_2,...,str_n)	str_1: string str_2: string ... str_n: string	String hasil penggabungan	op_add(`col`,'hangzhou','dts')
  String formatting and concatenation	str_format(format, value1, value2, value3, ...)	format: string dengan placeholder berupa kurung kurawal, seperti "part1: {}, part2: {}" value1: tipe apa pun value2: tipe apa pun	String terformat	str_format("part1: {}, part2: {}", `col1`, `col2`); jika col1="ab" dan col2="12", mengembalikan "part1: ab, part2: 12".
  String replacement	str_replace(original, oldStr, newStr, count)	original: string asli oldStr: string yang akan diganti newStr: string pengganti count: integer, jumlah maksimum penggantian. Atur ke -1 untuk mengganti semua kemunculan.	String hasil penggantian	str_replace(`name`, "a", 'b', 1); jika name="aba", mengembalikan "bba". str_replace(`name`, "a", 'b', -1); jika name="aba", mengembalikan "bbb".
  Ganti nilai di semua bidang bertipe string (seperti varchar, text, char)	tail_replace_string_field(search, replace, all)	search: string yang akan diganti replace: string pengganti all: apakah akan mengganti semua kecocokan; saat ini hanya mendukung true. Catatan Jika Anda tidak ingin mengganti semua kecocokan, gunakan fungsi str_replace.	String hasil penggantian	tail_replace_string_field('\u000f', '', true) mengganti semua kemunculan "\u000f" dalam nilai bidang bertipe string dengan spasi.
  Hapus karakter yang ditentukan dari awal dan akhir string	str_strip(string_val, charSet)	string_val: string asli char_set: kumpulan karakter yang akan dihapus	String dengan karakter awal dan akhir dihapus	str_strip(`name`, 'ab'); jika name=axbzb, mengembalikan xbz.
  Konversi string ke huruf kecil	str_lower(value)	value: kolom string atau literal string	String huruf kecil	str_lower(`str_col`)
  Konversi string ke huruf besar	str_upper(value)	value: kolom string atau literal string	String huruf besar	str_upper(`str_col`)
  Konversi string ke angka	cast_string_to_long(value)	value: string	Integer	cast_string_to_long(`col`)
  Konversi angka ke string	cast_long_to_string(value)	value: integer	String	cast_long_to_string(`col`)
  Hitung jumlah kemunculan substring	str_count(str,pattern)	str: kolom string atau literal string pattern: substring yang dicari	Jumlah kemunculan substring	str_count(`str_col`, 'abc'); jika str_col="zabcyabcz", mengembalikan 2.
  Temukan posisi substring	str_find(str, pattern)	str: kolom string atau literal string pattern: substring yang dicari	Posisi kecocokan pertama; mengembalikan `-1` jika tidak ditemukan	str_find(`str_col`, 'abc'); jika `str_col="xabcy"`, mengembalikan `1`.
  Periksa apakah string hanya terdiri dari huruf	str_isalpha(str)	str: kolom string atau literal string	true atau false	str_isalpha(`str_col`)
  Periksa apakah string hanya terdiri dari angka	str_isdigit(str)	str: kolom string atau literal string	true atau false	str_isdigit(`str_col`)
  Pencocokan ekspresi reguler	regex_match(str,regex)	str: kolom string atau literal string regex: kolom berisi ekspresi reguler atau literal string	true atau false	regex_match(__TB__,'user_\\d+')
  Samarkan bagian string dengan karakter tertentu untuk penyamaran data, seperti mengganti empat digit terakhir nomor telepon dengan tanda bintang	str_mask(str, start, end, maskStr)	str: kolom string atau literal string start: integer, posisi awal penyamaran (minimum 0) end: integer, posisi akhir penyamaran (maksimum panjang string minus satu) maskStr: string satu karakter, seperti '#'	String dengan karakter dari start hingga end disamarkan	str_mask(`phone`, 7, 10, '#')
  Ekstrak bagian string setelah cond	substring_after(str, cond)	str: string asli cond: string	String Catatan Hasil tidak termasuk cond.	substring_after(`col`, 'abc')
  Ekstrak bagian string sebelum cond	substring_before(str, cond)	str: string asli cond: string	String Catatan Hasil tidak termasuk cond.	substring_before(`col`, 'efg')
  Ekstrak bagian string antara cond1 dan cond2	substring_between(str, cond1, cond2)	str: string asli cond1: string cond2: string	String Catatan Hasil tidak termasuk cond1 atau cond2.	substring_between(`col`, 'abc','efg')
  Periksa apakah nilai bertipe string	is_string_value(value)	value: string atau nama kolom	Boolean: true atau false	is_string_value(`col1`)
  Ganti konten di bidang bertipe string; dimulai dari akhir secara terbalik	tail_replace_string_field(search, replace, all)	search: string yang akan diganti replace: string pengganti all: apakah akan mengganti semua; true atau false	String hasil penggantian	Ganti "\u000f" dengan spasi di semua nilai bidang string. tail_replace_string_field('\u000f','',true)
  Ambil nilai bidang di MongoDB	bson_value("field1","field2","field3",...)	field1: nama bidang tingkat atas field2: nama bidang tingkat kedua	Nilai bidang yang ditentukan dalam dokumen	e_set(`user_id`, bson_value("id")) e_set(`user_name`, bson_value("person","name"))

Fungsi global

• Fungsi kontrol aliran

  Function	Syntax	Parameters	Example
  if statement	e_if(bool_expr, func_invoke)	bool_expr: konstanta boolean atau pemanggilan fungsi. Konstanta: true atau false. Contoh pemanggilan fungsi: op_gt(`id`, 10). func_invoke: pemanggilan fungsi. Didukung: e_drop, e_keep, e_set, e_if, e_compose	e_if(op_gt(`id`, 10), e_drop()); menghapus catatan jika ID > 10.
  if-else statement	e_if_else(bool_expr, func_invoke1, func_invoke2)	bool_expr: konstanta boolean atau pemanggilan fungsi. Konstanta: true atau false. Contoh pemanggilan fungsi: op_gt(`id`, 10). func_invoke1: pemanggilan fungsi yang dieksekusi jika kondisi true. func_invoke2: pemanggilan fungsi yang dieksekusi jika kondisi false.	e_if_else(op_gt(`id`, 10), e_set(`tag`, 'large'), e_set(`tag`, 'small')); mengatur tag ke "large" jika ID > 10, jika tidak ke "small".
  Pernyataan mirip switch yang mengevaluasi beberapa kondisi dan mengeksekusi operasi pertama yang cocok. Mengeksekusi operasi default jika tidak ada kondisi yang cocok.	s_switch(condition1, func1, condition2, func2, ..., default=default_func)	condition1: konstanta boolean atau pemanggilan fungsi. Konstanta: true atau false. Contoh pemanggilan fungsi: op_gt(`id`, 10). func_invoke: pemanggilan fungsi. Memeriksa condition1; jika true, eksekusi fungsi ini dan keluar dari switch. Jika false, periksa kondisi berikutnya. default_func: pemanggilan fungsi yang dieksekusi jika semua kondisi false.	e_switch(op_gt(`id`, 100), e_set(`str_col`, '>100'), op_gt(`id`, 90), e_set(`str_col`, '>90'), default=e_set(`str_col`, '<=90')).
  Gabungkan beberapa operasi	e_compose(func1, func2, func3, ...)	func1: pemanggilan fungsi. Dapat berupa e_set, e_drop, e_if. func2: pemanggilan fungsi. Dapat berupa e_set, e_drop, e_if.	e_compose(e_set(`str_col`, 'test'), e_set(`dt_col`, dt_now())); mengatur str_col ke "test" dan dt_col ke waktu saat ini.

• Fungsi manipulasi data

  Function	Syntax	Parameters	Example
  Drop this record (do not synchronize)	e_drop()	None	e_if(op_gt(`id`, 10), e_drop()); menghapus catatan di mana ID > 10.
  Keep this record (synchronize to destination)	e_keep(condition)	condition: ekspresi boolean	e_keep(op_gt(id, 1)); hanya menyinkronkan catatan di mana ID > 1.
  Set column value	e_set(`col`, val, NEW)	col: nama kolom val: konstanta atau pemanggilan fungsi. Harus sesuai dengan tipe data col. NEW: mengonversi col ke tipe data val (opsional) Penting Jika Anda menghilangkan NEW, jangan sertakan koma sebelumnya. Pastikan kompatibilitas tipe data untuk menghindari error tugas.	e_set(`dt_col`, dt_now()); mengatur dt_col ke waktu saat ini. e_set(`col1`, `col2` + 1); mengatur col1 ke col2 + 1. e_set(`col1`, 1, NEW); mengonversi col1 ke tipe numerik dan mengaturnya ke 1.
  Retensi bidang MongoDB, penghapusan bidang, dan pemetaan nama bidang	e_expand_bson_value('*', 'fieldA',{"fieldB":"fieldC"})	*: nama bidang yang akan dipertahankan; * berarti semua bidang. fieldA: nama bidang yang akan dihapus. {"fieldB":"fieldC"}: pemetaan nama bidang; fieldB adalah nama bidang sumber, fieldC adalah nama bidang tujuan. Catatan Pemetaan nama bidang opsional.	e_expand_bson_value("*", "_id,name"); menulis semua bidang kecuali _id dan name ke tujuan.