Data Transmission Service：Sinkronisasi data dari instans RDS for MySQL ke fungsi Function Compute

Prasyarat

• Instans sumber RDS for MySQL telah dibuat.

• Layanan tujuan dan fungsi telah dibuat, serta Handler Type fungsi diatur ke Event Handler. Untuk informasi selengkapnya, lihat Buat fungsi dengan cepat.

  Catatan

  Hanya Function Compute (FC) V2.0 yang didukung.

Catatan penggunaan

Penagihan

Operasi SQL yang didukung

Izin akun database

Prosedur

1. Gunakan salah satu metode berikut untuk membuka halaman Sinkronisasi Data dan pilih wilayah tempat instans sinkronisasi data berada.

   Konsol DTS

   1. Masuk ke Konsol DTS.

   2. Di panel navigasi sebelah kiri, klik Data Synchronization.

   3. Di pojok kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.

   Konsol DMS

   Catatan

   Operasi aktual mungkin berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.

   1. Masuk ke Konsol DMS.

   2. Di bilah navigasi atas, arahkan kursor ke Data + AI lalu pilih DTS (DTS) > Data Synchronization.

   3. Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi data berada.

2. Klik Create Task untuk membuka halaman konfigurasi tugas.

3. Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter tersebut.

   Kategori	Konfigurasi	Deskripsi
   Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
   Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
   	Database Type	Pilih MySQL.
   	Access Method	Pilih Alibaba Cloud Instance.
   	Instance Region	Pilih wilayah tempat instans sumber RDS for MySQL berada.
   	Replicate Data Across Alibaba Cloud Accounts	Contoh ini menunjukkan sinkronisasi dalam akun Alibaba Cloud yang sama. Pilih No.
   	RDS Instance ID	Pilih ID instans sumber RDS for MySQL.
   	Database Account	Masukkan akun database instans sumber RDS for MySQL. Untuk informasi tentang izin yang diperlukan, lihat Izin akun database.
   	Database Password	Kata sandi yang digunakan untuk mengakses database.
   	Encryption	Menentukan apakah akan mengenkripsi koneksi ke database. Anda dapat memilih Non-encrypted atau SSL-encrypted berdasarkan kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans ApsaraDB RDS for MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.
   Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
   	Database Type	Pilih Function Compute.
   	Access Method	Pilih Alibaba Cloud Instance.
   	Instance Region	Secara default, ini sama dengan Instance Region database sumber dan tidak dapat diubah.
   	Service	Pilih nama layanan tempat fungsi FC tujuan berada.
   	Function	Pilih fungsi FC tujuan yang menerima data.
   	Service Version and Alias	Pilih opsi sesuai kebutuhan. Default Version: Service Version tetap diatur ke LATEST. Specified Version: Anda juga harus memilih Service Version. Specified Alias: Anda juga harus memilih Service Alias. Catatan Untuk informasi selengkapnya tentang istilah Function Compute, lihat Konsep Dasar.

4. Klik Test Connectivity and Proceed di bagian bawah halaman.

   Catatan

   • Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.

   • Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

5. Konfigurasikan objek yang akan disinkronkan.

   1. Pada langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.

      Konfigurasi	Deskripsi
      Synchronization Types	Incremental Data Synchronization dipilih secara default. Jika Anda juga perlu menyinkronkan data historis, pilih Full Data Synchronization.
      Data Format	Format penyimpanan untuk data yang disinkronkan ke fungsi FC. Saat ini, hanya Canal Json yang didukung. Catatan Untuk informasi selengkapnya tentang parameter dan contoh Canal Json, lihat Format Canal Json.
      Source Objects	Pilih satu atau beberapa objek dari bagian Source Objects lalu klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih database atau tabel sebagai objek sinkronisasi.
      Selected Objects	Di kotak Selected Objects, konfirmasi data yang akan disinkronkan. Catatan Untuk menghapus objek yang dipilih, pilih objek tersebut di kotak Selected Objects lalu klik .

   2. Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

      Konfigurasi	Deskripsi
      Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instans sinkronisasi data, beli klaster khusus. Untuk informasi selengkapnya, lihat Apa itu klaster khusus DTS.
      Retry Time for Failed Connections	Rentang waktu ulang coba untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu tersebut. Nilai yang valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil menghubungkan kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang coba yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang coba terpendek yang berlaku. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami merekomendasikan agar Anda menentukan rentang waktu ulang coba berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepas instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepas.
      Retry Time for Other Issues	Rentang waktu ulang coba untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu tersebut. Nilai yang valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
      Enable Throttling for Incremental Data Synchronization	Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Hal ini mengurangi beban pada server database tujuan.
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Menentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid: Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti backup fisik dan kloning database sumber mungkin terpengaruh.
      Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans jika diperlukan. Dalam contoh ini, tidak ada tag yang dipilih.
      Configure ETL	Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, dan muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasikan ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
      Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk instans sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid: No: tidak mengaktifkan peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian "Konfigurasikan pemantauan dan peringatan saat membuat tugas DTS" dalam topik Konfigurasikan pemantauan dan peringatan.

6. Simpan pengaturan tugas dan jalankan Pemeriksaan Awal.

   • Untuk melihat parameter yang perlu ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.

   • Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

   Catatan

   • Sebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan Pemeriksaan Awal. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lulus Pemeriksaan Awal.

   • Jika tugas sinkronisasi data gagal dalam Pemeriksaan Awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali Pemeriksaan Awal.

   • Jika peringatan dipicu untuk suatu item selama Pemeriksaan Awal:

     • Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan kembali Pemeriksaan Awal.

     • Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan Pemeriksaan Awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin menghadapi risiko potensial.

7. Beli instans.

   1. Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

   2. Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instans untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter tersebut.

      Bagian	Parameter	Deskripsi
      New Instance Class	Metode Penagihan	Langganan: Anda membayar untuk langganan saat membuat instans sinkronisasi data. Metode penagihan langganan lebih hemat biaya dibandingkan metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Bayar sesuai pemakaian: Instans bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instans sinkronisasi data bayar sesuai pemakaian, Anda dapat melepas instans tersebut untuk mengurangi biaya.
      	Pengaturan Kelompok Sumber Daya	Kelompok sumber daya tempat instans sinkronisasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?
      	Kelas Instans	DTS menyediakan kelas instans dengan kecepatan sinkronisasi yang berbeda-beda. Anda dapat memilih kelas instans berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans instans sinkronisasi data.
      	Durasi Langganan	Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instans sinkronisasi data yang ingin Anda buat. Durasi langganan dapat berupa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.

   3. Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Klik Buy and Start. Di kotak dialog yang muncul, klik OK.

      Anda dapat melihat progres tugas di daftar tugas.

Langkah selanjutnya

• Jika entri data tunggal yang akan disinkronkan lebih besar dari 16 MB dan menyebabkan tugas DTS melaporkan kesalahan, Anda dapat memodifikasi objek sinkronisasi atau menggunakan fitur ETL untuk memfilter objek besar. Untuk informasi selengkapnya, lihat Ubah konfigurasi ETL tugas sinkronisasi yang ada dan Ubah objek sinkronisasi.

• Anda dapat menulis kode fungsi sesuai kebutuhan. Untuk informasi selengkapnya, lihat Ikhtisar pengembangan kode.

Format data yang diterima oleh layanan tujuan

Tipe data yang diterima oleh FC adalah Object. Data inkremental dari sumber disimpan sebagai array di bidang Records. Setiap elemen dalam array adalah catatan data bertipe Object. Tabel berikut menjelaskan bidang-bidang Object tersebut.

ALTER TABLE `demoTable` 
	ADD COLUMN `address` varchar(20) NULL AFTER `sex`
;

{
	'Records': [{
		'type': 'DDL',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '/* Query from DMS-WEBSQL-0-Eid_15682857722282385K by user 14xxxxxxxx */ ALTER TABLE `demoDatabase`.`DDL` \n\tADD COLUMN `address` varchar(20) NULL AFTER `sex`',
		'database': 'demoDatabase',
		'id': 63151,
		'isDdl': True,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

INSERT INTO demoTable VALUES("xiaoming", 10, "man");

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '10'
		}],
		'pkNames': ['name'],
		'type': 'INSERT',
		'serverId': '27142678',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62051,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

UPDATE `demoDatabase`.`demoTable` SET `age`=11 WHERE `name`='xiaoming';

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '11'
		}],
		'pkNames': ['name'],
		'old': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '10'
		}],
		'type': 'UPDATE',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62373,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

DELETE FROM `demoDatabase`.`demoTable` WHERE `name`='xiaoming';

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '11'
		}],
		'pkNames': ['name'],
		'type': 'DELETE',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62635,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}