Melacak perubahan data dari instance PolarDB-X 2.0 - Data Transmission Service

Topik ini menjelaskan cara membuat tugas pelacakan perubahan untuk melacak perubahan data dari instance PolarDB-X.

Prasyarat

Instance PolarDB-X telah dibuat, dan database telah dibuat di instance tersebut. Untuk informasi lebih lanjut, lihat Buat Instance PolarDB-X dan Buat Database.
Buat VPC dan vSwitch untuk menjalankan instance pelacakan perubahan.

Catatan penggunaan

Kategori	Deskripsi
Batasan pada database sumber	Tabel sumber harus memiliki kunci PRIMARY KEY atau batasan UNIQUE, dan semua bidang harus unik. Jika tidak, sebagian dari perubahan data yang dilacak mungkin duplikat. Jika Anda memilih tabel sebagai objek yang akan dilacak, hingga 500 tabel dapat dilacak dalam satu tugas pelacakan perubahan. Jika Anda menjalankan tugas pelacakan perubahan untuk melacak lebih dari 500 tabel, terjadi kesalahan permintaan. Dalam hal ini, kami sarankan Anda mengonfigurasi beberapa tugas untuk melacak tabel secara bertahap atau mengonfigurasi tugas pelacakan perubahan untuk seluruh database. Persyaratan berikut untuk log biner harus dipenuhi: Fitur pencatatan biner diaktifkan. Nilai parameter binlog_row_image disetel ke full. Untuk informasi lebih lanjut, lihat Pengaturan parameter. Jika tidak, pesan kesalahan dikembalikan selama pra-pemeriksaan dan tugas pelacakan perubahan tidak dapat dimulai. Log biner dari database sumber disimpan selama lebih dari 24 jam. Jika tidak, DTS mungkin gagal memperoleh log biner dan tugas mungkin gagal. Dalam keadaan luar biasa, ketidaksesuaian data atau kehilangan data mungkin terjadi. Pastikan Anda menyetel periode retensi log biner berdasarkan persyaratan yang disebutkan di atas. Jika tidak, keandalan layanan dan kinerja yang dinyatakan dalam Perjanjian Tingkat Layanan (SLA) DTS mungkin tidak dijamin. Jika instance sumber adalah instance baca-saja atau sementara, pastikan instance tersebut mencatat log transaksi. Catatan Masuk ke konsol RDS untuk melihat status instance ApsaraDB RDS for MySQL. Untuk informasi lebih lanjut, lihat Lihat instance RDS baca-saja dan titik akhirnya atau Mengapa instance ApsaraDB RDS saya dalam status Membuat Instance Sementara?. Jika ON dikembalikan dengan menjalankan perintah `SHOW VARIABLES LIKE 'read_only';` di database MySQL yang dikelola sendiri, database tersebut adalah instance baca-saja.
Batasan lainnya	Jika Anda melakukan switchover utama/sekunder pada database sumber saat tugas pelacakan perubahan sedang berjalan, tugas tersebut gagal. Saat tugas pelacakan perubahan sedang berjalan, jangan tambahkan atau kurangi kapasitas instance sumber, migrasi tabel yang sering diakses, ubah shard, atau lakukan operasi DDL. Jika tidak, tugas pelacakan perubahan gagal atau terjadi ketidaksesuaian data. Jika database sumber digunakan dalam tugas lain seperti tugas migrasi data yang sedang berjalan, DTS mungkin melacak perubahan data dari objek lain. Dalam hal ini, Anda harus menyaring data yang dilacak secara manual di klien pelacakan perubahan. Pastikan pengaturan presisi untuk kolom tipe data FLOAT atau DOUBLE memenuhi kebutuhan bisnis Anda. DTS menggunakan fungsi `ROUND(COLUMN,PRECISION)` untuk mengambil nilai dari kolom tipe data FLOAT atau DOUBLE. Jika Anda tidak menentukan presisi, DTS menetapkan presisi untuk kolom tipe data FLOAT menjadi 38 digit dan presisi untuk kolom tipe data DOUBLE menjadi 308 digit. DTS tidak melacak operasi DDL yang dilakukan menggunakan pt-online-schema-change. Oleh karena itu, klien pelacakan perubahan mungkin gagal menulis data yang dikonsumsi ke tabel tujuan karena konflik skema.

Izin yang diperlukan untuk akun database

Instance	Izin yang diperlukan
Instance PolarDB-X sumber	Izin baca pada objek untuk pelacakan perubahan

Prosedur

Buka halaman Tugas Pelacakan Perubahan.
1. Masuk ke Konsol Manajemen Data (DMS).
2. Di bilah navigasi atas, klik DTS.
3. Di panel navigasi sebelah kiri, pilih DTS (DTS) > Change Tracking.
Catatan
- Jika Anda masuk ke konsol DMS dan mengklik ikon Masuk Mode Sederhana di sudut kanan atas, Anda dapat memindahkan penunjuk ke ikon di sudut kiri atas, lalu pilih All functions > DTS > Change Tracking. Untuk informasi lebih lanjut, lihat Sesuaikan Tata Letak dan Gaya Konsol DMS.
- Anda juga dapat mengonfigurasi pengaturan menggunakan Konsol DTS Baru.
Di sebelah kanan Change Tracking Tasks, pilih wilayah tempat Anda ingin membuat tugas pelacakan perubahan.
Catatan
Jika Anda menggunakan Konsol DTS Baru, Anda harus memilih wilayah dari daftar drop-down di sebelah kanan Workbench di halaman Tugas Pelacakan Perubahan Konsol DTS.

Klik Create Task. Di halaman yang muncul, tentukan instance database sumber dan jenis jaringan konsumen.

Peringatan

Setelah menentukan instance database sumber, kami sarankan Anda membaca Limits yang ditampilkan di bagian atas halaman. Jika tidak, tugas mungkin gagal atau data yang dilacak tidak dapat dikonsumsi.

Bagian	Parameter	Deskripsi
Tidak ada	Task Name	Nama tugas pelacakan perubahan. DTS secara otomatis memberi nama pada tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menggunakan nama tugas yang unik.
Source Database	Select an existing database connection	Instance tempat database sumber berada. Anda dapat memilih apakah akan menggunakan instance yang ada berdasarkan kebutuhan bisnis Anda. Jika Anda menggunakan instance yang ada, DTS secara otomatis menerapkan pengaturan parameter database sumber. Jika Anda tidak menggunakan instance yang ada, Anda harus menetapkan parameter untuk database sumber.
	Database Type	Jenis database sumber. Pilih PolarDB-X 2.0.
	Access Method	Layanan yang digunakan untuk mengakses database sumber. Nilainya disetel ke Alibaba Cloud Instance.
	Instance Region	Wilayah tempat instance PolarDB-X sumber berada.
	Instance ID	ID instance PolarDB-X sumber.
	Database Account	Akun instance PolarDB-X. Akun tersebut harus memiliki izin baca pada objek untuk pelacakan perubahan.
	Database Password	Kata sandi yang digunakan untuk mengakses instance database.
Consumer Network Type	Network Type	Nilai parameter Network Type tetap disetel ke VPC. Anda harus memilih VPC dan vSwitch. Untuk informasi lebih lanjut, lihat VPC. Catatan Setelah tugas pelacakan perubahan dikonfigurasi, Anda tidak dapat mengubah pengaturan di bagian Consumer Network Type. Jika klien pelacakan perubahan Anda diterapkan di VPC, kami sarankan Anda memilih VPC dan vSwitch yang sama yang terhubung ke klien. Jika Anda melacak perubahan data melalui jaringan internal, latensi jaringan minimal.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Jika instance database sumber adalah instance database Alibaba Cloud, seperti instance ApsaraDB RDS for MySQL atau ApsaraDB for MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS di wilayah yang sesuai ke daftar putih instance. Jika instance database sumber adalah database yang dikelola sendiri yang di-hosting di instance ECS, DTS secara otomatis menambahkan blok CIDR server DTS di wilayah yang sesuai ke aturan grup keamanan instance ECS. Untuk mengizinkan DTS mengakses database, Anda juga harus secara manual menambahkan blok CIDR server DTS di wilayah yang sesuai ke pengaturan keamanan database. Jika instance database sumber adalah database yang dikelola sendiri yang diterapkan di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus secara manual menambahkan blok CIDR server DTS di wilayah yang sesuai ke pengaturan keamanan database untuk mengizinkan DTS mengakses database. Untuk informasi lebih lanjut, lihat bagian blok CIDR server DTS dari topik Tambahkan Blok CIDR Server DTS.
Peringatan
Jika blok CIDR publik server DTS secara otomatis atau manual ditambahkan ke daftar putih instance database atau ke aturan grup keamanan instance ECS, risiko keamanan mungkin timbul. Oleh karena itu, sebelum menggunakan DTS untuk melacak perubahan data, Anda harus memahami dan mengakui potensi risiko serta mengambil tindakan pencegahan, termasuk tetapi tidak terbatas pada langkah-langkah berikut: meningkatkan keamanan nama pengguna dan kata sandi Anda, membatasi port yang diekspos, mengotentikasi panggilan API, secara berkala memeriksa daftar putih atau aturan grup keamanan dan melarang blok CIDR yang tidak sah, atau menghubungkan instance database ke DTS menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.

Konfigurasikan objek untuk pelacakan perubahan dan pengaturan lanjutan.

Basic Settings

Parameter	Deskripsi
Data Change Types	Data Update DTS melacak pembaruan data objek yang dipilih, termasuk operasi INSERT, DELETE, dan UPDATE. Schema Update DTS melacak operasi buat, hapus, dan modifikasi yang dilakukan pada semua skema objek instance sumber. Anda harus menggunakan klien pelacakan perubahan untuk menyaring data yang akan dilacak.
Source Objects	Pilih satu atau lebih objek dari bagian Source Objects dan klik ikon untuk menambahkan objek ke bagian Selected Objects.

Advanced Settings

Parameter	Deskripsi
Monitoring and Alerting	Tentukan apakah akan mengonfigurasi peringatan untuk tugas pelacakan perubahan. Jika tugas gagal atau latensi melebihi ambang batas yang ditentukan, kontak peringatan yang ditentukan dapat menerima notifikasi. Nilai valid: No: tidak mengonfigurasi peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus menentukan ambang batas peringatan dan kontak peringatan.
Retry Interval After Source or Destination Database Connection Failure	Rentang waktu percobaan ulang untuk koneksi gagal. Jika tugas pelacakan perubahan gagal, DTS segera mencoba kembali koneksi dalam rentang waktu tersebut. Nilai valid: 10 hingga 1440. Unit: menit. Nilai default: 120. Kami sarankan Anda menetapkan rentang waktu lebih dari 30 menit. Jika DTS menyambung kembali ke instance sumber dalam rentang waktu yang ditentukan, DTS melanjutkan tugas pelacakan perubahan. Jika tidak, tugas pelacakan perubahan gagal. Catatan Jika sebuah instance berfungsi sebagai database sumber atau tujuan dari beberapa tugas pelacakan perubahan, rentang waktu percobaan ulang terpendek yang ditetapkan untuk instance tersebut diutamakan. Saat DTS mencoba kembali koneksi, Anda dikenakan biaya untuk instance DTS. Kami sarankan Anda menentukan rentang waktu percobaan ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah instance sumber dan tujuan dilepaskan.
Configure ETL	Tentukan apakah akan mengonfigurasi fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL?. Nilai valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan kebijakan Anda di editor kode. No: tidak mengonfigurasi fitur ETL.

Klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Anda dapat memindahkan penunjuk ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters untuk melihat pengaturan parameter operasi API yang dipanggil untuk mengonfigurasi instance.
Catatan
- Sebelum memulai tugas pelacakan perubahan, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas pelacakan perubahan setelah tugas tersebut lulus pra-pemeriksaan.
- Jika tugas gagal lulus pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah menyelesaikan masalah berdasarkan pesan kesalahan, Anda dapat menjalankan pra-pemeriksaan lagi.
- Jika peringatan dihasilkan untuk suatu item selama pra-pemeriksaan, lakukan operasi berikut berdasarkan skenario:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan selesaikan masalah. Lalu, jalankan pra-pemeriksaan lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Lalu, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

Di halaman Purchase, tentukan metode penagihan instance pelacakan perubahan. Tabel berikut menjelaskan parameter.

Parameter	Deskripsi
Metode penagihan	Langganan: Anda membayar langganan saat membuat instance. Metode penagihan langganan lebih hemat biaya daripada metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Anda mendapatkan harga lebih rendah untuk durasi langganan yang lebih lama. Bayar sesuai pemakaian: Instance bayar sesuai pemakaian ditagih per jam. Kami sarankan Anda memilih metode penagihan bayar sesuai pemakaian untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instance bayar sesuai pemakaian, Anda dapat melepaskan instance untuk mengurangi biaya.
Resource Group Settings	Grup sumber daya tempat instance tersebut termasuk. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Manajemen Sumber Daya?
Subscription Duration	Jika Anda memilih metode penagihan langganan, tetapkan durasi langganan dan jumlah instance yang ingin Anda buat. Durasi langganan bisa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini tersedia hanya jika Anda memilih metode penagihan Subscription.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start untuk memulai tugas pelacakan perubahan. Anda dapat melihat kemajuan tugas di daftar tugas.

Apa yang harus dilakukan selanjutnya

Saat tugas pelacakan perubahan sedang berjalan, Anda dapat membuat grup konsumen berdasarkan klien hilir untuk mengonsumsi data yang dilacak.

Untuk informasi lebih lanjut tentang cara membuat dan mengelola grup konsumen, lihat Buat Grup Konsumen.
Gunakan salah satu metode berikut untuk mengonsumsi data yang dilacak: