Buat tugas pelacakan perubahan untuk instans PolarDB-X 2.0 - Data Transmission Service

Siapkan tugas pelacakan perubahan untuk menangkap operasi INSERT, UPDATE, dan DELETE dari instans PolarDB-X 2.0 serta mengalirkannya ke konsumen downstream melalui client pelacakan perubahan.

Prasyarat

Sebelum memulai, pastikan bahwa:

Instans PolarDB-X 2.0 telah dibuat dan database sudah ada di dalam instans tersebut. Lihat Buat instans PolarDB-X dan Buat database.
Jika instans ApsaraDB RDS for MySQL menggunakan jenis jaringan classic network, titik akhir internal telah dikonfigurasi untuk instans tersebut.
Pencatatan biner (binary logging) diaktifkan dan binlog_row_image diatur ke full. Lihat Pengaturan parameter.
Log biner disimpan selama lebih dari 24 jam. Jika periode retensi lebih pendek, DTS mungkin gagal membaca log dan tugas akan gagal.
Akun database yang digunakan untuk tugas ini memiliki izin baca pada semua objek yang akan dilacak.

Batasan

Database sumber

Tabel sumber harus memiliki primary key atau kendala UNIQUE dengan semua field unik. Tabel tanpa kendala ini dapat menghasilkan catatan perubahan duplikat.
Pelacakan tingkat tabel mendukung hingga 500 tabel per tugas. Untuk lebih dari 500 tabel, gunakan beberapa tugas atau beralih ke pelacakan tingkat database.
Jika instans sumber merupakan instans read-only atau temporary, pastikan instans tersebut mencatat log transaksi.

Selama tugas berjalan

Alih bencana (switchover) primary/secondary pada instans sumber menyebabkan tugas gagal.
Jangan melakukan scaling pada instans sumber, migrasi tabel yang sering diakses, mengubah shard, atau menjalankan operasi DDL selama tugas sedang berjalan.
Jika instans sumber juga digunakan oleh tugas lain yang sedang berjalan (misalnya, tugas migrasi data), DTS mungkin menangkap perubahan dari objek tambahan. Filter data secara manual pada client pelacakan perubahan.
DTS menggunakan ROUND(COLUMN, PRECISION) untuk membaca kolom FLOAT dan DOUBLE. Presisi default adalah 38 digit untuk FLOAT dan 308 digit untuk DOUBLE. Pastikan nilai default ini sesuai dengan kebutuhan Anda.
DTS tidak menangkap operasi DDL yang dijalankan melalui pt-online-schema-change. Jika perubahan skema dilakukan dengan tool ini, client pelacakan perubahan mungkin gagal menulis data karena konflik skema.

Izin yang diperlukan

Instance	Izin yang diperlukan
Instans PolarDB-X 2.0 sumber	Izin baca pada objek untuk pelacakan perubahan

Buat tugas pelacakan perubahan

Buka halaman Tugas Pelacakan Perubahan.
1. Masuk ke Konsol Data Management (DMS).
2. Di bilah navigasi atas, klik DTS.
3. Di panel navigasi kiri, pilih DTS (DTS) > Change Tracking.
Atau, dalam Simple Mode, arahkan penunjuk ke ikon di pojok kiri atas dan pilih All functions > DTS > Change Tracking. Anda juga dapat menggunakan Konsol DTS baru.
Pilih wilayah tempat Anda ingin membuat tugas pelacakan perubahan dari daftar drop-down di sebelah kanan Change Tracking Tasks.
Di Konsol DTS baru, pilih wilayah dari daftar drop-down di sebelah kanan Workbench.

Klik Create Task. Konfigurasikan database sumber dan jenis jaringan konsumen.

Peringatan

Baca Batasan yang ditampilkan di bagian atas halaman sebelum melanjutkan. Melewatkan langkah ini dapat menyebabkan tugas gagal atau mencegah konsumen downstream membaca data yang dilacak.

Bagian	Parameter	Deskripsi
Tidak ada	Task Name	Nama untuk tugas ini. DTS memberikan nama default. Tentukan nama deskriptif agar tugas mudah diidentifikasi. Nama tidak perlu unik.
Source Database	Select an existing database connection	Pilih koneksi yang sudah ada atau konfigurasikan koneksi baru. Jika Anda menggunakan koneksi yang sudah ada, DTS akan menerapkan pengaturan yang tersimpan secara otomatis.
	Database Type	Pilih PolarDB-X 2.0.
	Access Method	Ditetapkan ke Alibaba Cloud Instance.
	Instance Region	Wilayah tempat instans PolarDB-X sumber berada.
	Instance ID	ID instans PolarDB-X sumber.
	Database Account	Akun untuk instans PolarDB-X. Akun ini harus memiliki izin baca pada semua objek yang akan dilacak.
	Database Password	Password untuk akun database.
Consumer Network Type	Network Type	Ditetapkan ke VPC. Pilih VPC dan vSwitch yang akan digunakan. Jika client pelacakan perubahan berjalan di VPC, pilih VPC dan vSwitch yang sama dengan client untuk meminimalkan latensi. Pengaturan ini tidak dapat diubah setelah tugas dibuat.

Klik Test Connectivity and Proceed. DTS secara otomatis menambahkan blok CIDR-nya ke daftar putih instans database Alibaba Cloud dan ke aturan grup keamanan database yang di-host di ECS. Untuk database yang dikelola sendiri di pusat data atau platform cloud pihak ketiga, tambahkan secara manual blok CIDR server DTS ke pengaturan keamanan database Anda. Untuk daftar lengkap blok CIDR, lihat Tambahkan blok CIDR server DTS.
Peringatan
Menambahkan blok CIDR publik ke daftar putih database atau grup keamanan membuka potensi risiko keamanan. Lakukan tindakan pencegahan seperti memperkuat kredensial akun, membatasi port yang terbuka, mengaudit akses API, meninjau aturan daftar putih secara berkala, serta menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway untuk konektivitas privat.

Konfigurasikan objek dan pengaturan lanjutan.

Pengaturan dasar

Parameter	Deskripsi
Data Change Types	Pilih jenis perubahan yang akan dilacak: Data Update: melacak operasi DML — INSERT, DELETE, dan UPDATE. Schema Update: melacak operasi pembuatan, penghapusan, dan modifikasi yang dilakukan pada semua skema objek instans sumber. Anda harus menggunakan client pelacakan perubahan untuk memfilter data yang akan dilacak.
Source Objects	Pilih objek dari bagian Source Objects dan klik ikon panah untuk memindahkannya ke bagian Selected Objects.

Parameter

Deskripsi

Data Change Types

Pilih jenis perubahan yang akan dilacak:

Data Update: melacak operasi DML — INSERT, DELETE, dan UPDATE.
Schema Update: melacak operasi pembuatan, penghapusan, dan modifikasi yang dilakukan pada semua skema objek instans sumber. Anda harus menggunakan client pelacakan perubahan untuk memfilter data yang akan dilacak.

Source Objects

Pilih objek dari bagian Source Objects dan klik ikon panah untuk memindahkannya ke bagian Selected Objects.

Pengaturan lanjutan

Parameter	Deskripsi
Monitoring and Alerting	Konfigurasikan peringatan untuk kegagalan tugas atau latensi yang melebihi ambang batas. Pilih Yes untuk menentukan ambang batas peringatan dan kontak peringatan, atau No untuk melewati peringatan.
Retry Time for Failed Connections	Durasi waktu DTS mencoba kembali koneksi yang gagal sebelum menandai tugas sebagai gagal. Nilai yang valid: 10–1440 menit. Default: 120 menit. Atur minimal 30 menit. Jika DTS berhasil terhubung kembali dalam jendela ini, tugas akan dilanjutkan secara otomatis. Catatan: Jika suatu instans berfungsi sebagai database sumber atau tujuan untuk beberapa tugas pelacakan perubahan, rentang waktu retry terpendek yang ditetapkan untuk instans tersebut akan diprioritaskan. Saat DTS mencoba kembali koneksi, Anda akan dikenai biaya untuk instans DTS. Kami menyarankan Anda menentukan rentang waktu retry berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepas.
Configure ETL	Aktifkan pemrosesan ekstrak, transformasi, dan muat (ETL). Pilih Yes untuk menulis kebijakan ETL di editor kode. Lihat Apa itu ETL?

Klik Next: Save Task Settings and Precheck. Untuk melihat pratinjau parameter API untuk konfigurasi ini, arahkan penunjuk ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.
DTS menjalankan pemeriksaan awal (precheck) sebelum tugas dapat dimulai. Tugas hanya akan dimulai setelah precheck berhasil. Jika suatu item gagal, klik View Details di sebelahnya, perbaiki masalah tersebut, lalu klik Precheck Again. Jika item peringatan tidak kritis, klik Confirm Alert Details, lalu Ignore, lalu OK, dan jalankan precheck lagi. Mengabaikan peringatan dapat menyebabkan inkonsistensi data.
Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Di halaman Purchase, pilih metode penagihan.

Parameter	Deskripsi
Billing method	Subscription: Bayar di muka untuk jangka waktu tetap. Lebih hemat biaya untuk penggunaan jangka panjang. Durasi yang tersedia: 1–9 bulan, atau 1, 2, 3, atau 5 tahun. Pay-as-you-go: Ditagih per jam. Gunakan untuk penerapan jangka pendek atau uji coba. Lepaskan instans saat tidak lagi diperlukan untuk menghentikan biaya.
Resource Group Settings	Kelompok sumber daya untuk instans tersebut. Default: default resource group. Lihat Apa itu Resource Management?
Subscription Duration	Hanya tersedia untuk metode penagihan Subscription. Atur durasi dan jumlah instans yang akan dibeli.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Tugas akan muncul di daftar tugas dan mulai melacak perubahan.

Langkah berikutnya

Setelah tugas berjalan, buat kelompok konsumen dan hubungkan client downstream Anda untuk mengonsumsi data yang dilacak.

Buat kelompok konsumen
Hubungkan client untuk mengonsumsi data yang dilacak: