Buat tugas pelacakan perubahan untuk melacak perubahan data dari instans PolarDB-X 1.0 - Data Transmission Service

Topik ini menjelaskan cara membuat tugas pelacakan perubahan untuk melacak perubahan data dari instance PolarDB-X 1.0 menggunakan Data Transmission Service (DTS).

Prasyarat

Instance PolarDB-X 1.0 telah dibuat. Untuk informasi lebih lanjut, lihat Buat Instance PolarDB-X 1.0 dan Buat Database.
Catatan
Tipe penyimpanan instance PolarDB-X 1.0 harus berupa ApsaraDB RDS for MySQL, seperti instance ApsaraDB RDS yang dikustomisasi atau instance ApsaraDB RDS yang dibeli. PolarDB for MySQL tidak dapat digunakan sebagai tipe penyimpanan.
Buat VPC dan vSwitch untuk menjalankan instance pelacakan perubahan.

Batasan

Kategori	Deskripsi
Batasan pada database sumber	Tabel sumber harus memiliki PRIMARY KEY atau batasan UNIQUE, dan semua bidang harus unik. Jika tidak, DTS mungkin melacak perubahan data duplikat. DTS tidak mengizinkan Anda melacak pembaruan skema tabel yang hanya memiliki batasan UNIQUE. Kami menyarankan Anda memilih tabel yang memiliki batasan PRIMARY KEY. Jika Anda memilih tabel sebagai objek yang akan dilacak, hingga 500 tabel dapat dilacak dalam satu tugas pelacakan perubahan. Jika Anda menjalankan tugas pelacakan perubahan untuk melacak lebih dari 500 tabel, kesalahan permintaan terjadi. Dalam hal ini, kami menyarankan Anda mengonfigurasi beberapa tugas untuk melacak tabel secara batch atau mengonfigurasi tugas pelacakan perubahan untuk seluruh database. Persyaratan berikut untuk log biner instance ApsaraDB RDS for MySQL yang terlampir pada instance PolarDB-X 1.0 harus dipenuhi: Fitur pencatatan biner harus diaktifkan. Nilai parameter binlog_row_image harus diatur ke full. Jika tidak, pesan kesalahan dikembalikan selama pra-pemeriksaan, dan tugas pelacakan perubahan tidak dapat dimulai. Log biner database sumber harus disimpan selama lebih dari 24 jam. Jika tidak, DTS mungkin gagal mendapatkan log biner dan tugas mungkin gagal. Dalam keadaan luar biasa, ketidaksesuaian data atau kehilangan data mungkin terjadi. Pastikan Anda mengatur periode retensi log biner berdasarkan persyaratan sebelumnya. Jika tidak, Service Level Agreement (SLA) DTS tidak menjamin keandalan layanan atau kinerja. Jika instance sumber adalah instance baca-saja atau sementara, pastikan instance tersebut mencatat log transaksi. Catatan Masuk ke konsol RDS untuk melihat status instance ApsaraDB RDS for MySQL. Untuk informasi lebih lanjut, lihat Lihat instance RDS baca-saja dan titik akhirnya atau Mengapa instance ApsaraDB RDS saya dalam status Membuat Instance Sementara?. Jika ON dikembalikan dengan menjalankan perintah `SHOW VARIABLES LIKE 'read_only';` di database MySQL yang dikelola sendiri, database tersebut adalah instance baca-saja.
Batasan lainnya	Saat DTS melacak perubahan data dari instance PolarDB-X 1.0, data didistribusikan di seluruh instance ApsaraDB RDS for MySQL yang terlampir. DTS menjalankan subtugas untuk setiap instance ApsaraDB RDS for MySQL. Status subtugas ditampilkan di halaman Task Topology. Instance PolarDB-X 1.0 mendukung sharding database dan tabel. Jika operasi DDL dilakukan pada instance sumber PolarDB-X 1.0, operasi DDL dilakukan pada semua shard tabel. Kemajuan setiap subtugas mungkin tidak konsisten dengan subtugas lainnya. Oleh karena itu, data yang dilacak oleh DTS mungkin berisi operasi DDL duplikat. Jika Anda mengonsumsi operasi DDL ini berkali-kali, pengecualian mungkin terjadi pada klien pelacakan perubahan. Kami menyarankan Anda menangani pengecualian sesuai kebutuhan. Batasan pada objek untuk pelacakan perubahan: Anda hanya dapat melacak perubahan data pada tingkat tabel. Setelah tugas pelacakan perubahan dikonfigurasi, objek untuk pelacakan perubahan tidak dapat dipilih ulang. Jika Anda ingin melacak perubahan data tabel yang tidak termasuk dalam objek yang dipilih, Anda harus membuat tugas pelacakan perubahan lain untuk tabel tersebut. Jika Anda melakukan switchover utama/sekunder pada database sumber saat tugas pelacakan perubahan sedang berjalan, tugas tersebut gagal. Saat tugas pelacakan perubahan sedang berjalan, jangan skalakan masuk atau keluar instance sumber, migrasikan tabel yang sering diakses, ubah shard, atau lakukan operasi DDL. Jika tidak, tugas pelacakan perubahan gagal atau ketidaksesuaian data terjadi. Jika database sumber digunakan dalam tugas lain seperti tugas migrasi data yang sedang berjalan, DTS mungkin melacak perubahan data objek lain. Dalam hal ini, Anda harus menyaring data yang dilacak secara manual di klien pelacakan perubahan. Pastikan pengaturan presisi untuk kolom tipe data FLOAT atau DOUBLE memenuhi persyaratan bisnis Anda. DTS menggunakan fungsi `ROUND(COLUMN,PRECISION)` untuk mengambil nilai dari kolom tipe data FLOAT atau DOUBLE. Jika Anda tidak menentukan presisi, DTS mengatur presisi untuk kolom tipe data FLOAT menjadi 38 digit dan presisi untuk kolom tipe data DOUBLE menjadi 308 digit. DTS tidak melacak operasi DDL yang dilakukan menggunakan pt-online-schema-change. Oleh karena itu, klien pelacakan perubahan mungkin gagal menulis data yang dikonsumsi ke tabel tujuan karena konflik skema.

Prosedur

Buka halaman Tugas Pelacakan Perubahan.
1. Masuk ke Konsol Data Management (DMS).
2. Di bilah navigasi atas, klik DTS.
3. Di panel navigasi sisi kiri, pilih DTS (DTS) > Change Tracking.
Catatan
- Jika Anda masuk ke Konsol DMS dan mengklik ikon Masuk Mode Sederhana di sudut kanan atas, Anda dapat memindahkan pointer ke ikon di sudut kiri atas, lalu pilih All functions > DTS > Change Tracking. Untuk informasi lebih lanjut, lihat Sesuaikan Tata Letak dan Gaya Konsol DMS.
- Anda juga dapat mengonfigurasi pengaturan menggunakan Konsol DTS Baru.
Di sebelah kanan Change Tracking Tasks, pilih wilayah tempat Anda ingin membuat tugas pelacakan perubahan.
Catatan
Jika Anda menggunakan Konsol DTS Baru, Anda harus memilih wilayah dari daftar drop-down di sebelah kanan Workbench di halaman Tugas Pelacakan Perubahan Konsol DTS.

Klik Create Task. Di halaman yang muncul, tentukan instance database sumber dan tipe jaringan konsumen.

Peringatan

Setelah menentukan instance database sumber, kami sarankan Anda membaca Limits yang ditampilkan di bagian atas halaman. Jika tidak, tugas mungkin gagal atau data yang dilacak tidak dapat dikonsumsi.

Bagian	Parameter	Deskripsi
Tidak Ada	Task Name	Nama tugas pelacakan perubahan. DTS secara otomatis memberi nama pada tugas. Kami menyarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menggunakan nama tugas unik. Instance database yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan instance yang ada berdasarkan kebutuhan bisnis Anda. Jika Anda menggunakan instance yang ada, DTS secara otomatis mengisi parameter untuk instance tersebut. Catatan Untuk memodifikasi pengaturan koneksi template, edit template saat Anda mengonfigurasi parameter Select an existing database connection di bagian Source Database. Untuk mengedit nama template, klik Edit Template di bagian bawah bagian Source Database. Template koneksi yang dimodifikasi mulai berlaku saat Anda memilih template koneksi berikutnya. Instance database yang telah Anda konfigurasikan menggunakan template tidak terpengaruh. Jika Anda tidak menggunakan instance yang ada, Anda harus mengonfigurasi parameter berikut.
Source Database	Select an existing database connection
	Database Type	Tipe database sumber. Pilih PolarDB-X 1.0.
	Access Method	Metode akses database sumber. Pilih Alibaba Cloud Instance.
	Instance Region	Wilayah tempat instance PolarDB-X 1.0 berada.
	Instance ID	ID instance PolarDB-X 1.0.
	Database Account	Akun database instance PolarDB-X 1.0. Akun tersebut harus memiliki izin baca pada objek untuk pelacakan perubahan.
	Database Password	Kata sandi yang digunakan untuk mengakses instance database.
	Save as Instance or Edit Template	Parameter ini harus ditentukan berdasarkan apakah Anda memilih instance yang ada untuk parameter Select an existing database connection. Jika Anda memilih instance yang ada, Anda dapat mengklik Edit Template untuk menentukan nama template kustom. Catatan Template koneksi yang dimodifikasi mulai berlaku saat Anda memilih template koneksi berikutnya. Instance database yang telah Anda konfigurasikan menggunakan template tidak terpengaruh. Jika Anda tidak memilih instance yang ada, klik Save as Instance. Di kotak dialog yang muncul, atur nama koneksi database dan klik OK. Pengaturan koneksi instance database disimpan sebagai template. Catatan Kami menyarankan Anda menentukan nama deskriptif yang memudahkan identifikasi koneksi database. Anda tidak perlu menggunakan nama unik.
Consumer Network Type	Network Type	Nilai parameter Network Type tetap diatur ke VPC. Anda harus memilih VPC dan vSwitch. Untuk informasi lebih lanjut, lihat VPC. Catatan Setelah tugas pelacakan perubahan dikonfigurasi, Anda tidak dapat mengubah pengaturan di bagian Consumer Network Type. Jika klien pelacakan perubahan Anda diterapkan di VPC, kami menyarankan Anda memilih VPC dan vSwitch yang sama terhubung ke klien. Jika Anda melacak perubahan data melalui jaringan internal, latensi jaringan minimal.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Jika instance database sumber adalah instance database Alibaba Cloud, seperti instance ApsaraDB RDS for MySQL atau ApsaraDB for MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS di wilayah yang sesuai ke daftar putih instance. Jika instance database sumber adalah database mandiri yang di-hosting di instance ECS, DTS secara otomatis menambahkan blok CIDR server DTS di wilayah yang sesuai ke aturan grup keamanan instance ECS. Untuk mengizinkan DTS mengakses database, Anda juga harus menambahkan blok CIDR server DTS di wilayah yang sesuai ke pengaturan keamanan database secara manual. Jika instance database sumber adalah database mandiri yang diterapkan di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus menambahkan blok CIDR server DTS di wilayah yang sesuai ke pengaturan keamanan database secara manual untuk mengizinkan DTS mengakses database. Untuk informasi lebih lanjut, lihat bagian blok CIDR server DTS topik Tambahkan Blok CIDR Server DTS.
Peringatan
Jika blok CIDR publik server DTS secara otomatis atau manual ditambahkan ke daftar putih instance database atau ke aturan grup keamanan instance ECS, risiko keamanan mungkin timbul. Oleh karena itu, sebelum menggunakan DTS untuk melacak perubahan data, Anda harus memahami dan mengakui potensi risiko serta mengambil langkah-langkah pencegahan, termasuk namun tidak terbatas pada langkah-langkah berikut: meningkatkan keamanan nama pengguna dan kata sandi Anda, membatasi port yang diekspos, mengotentikasi panggilan API, secara teratur memeriksa daftar putih atau aturan grup keamanan dan melarang blok CIDR yang tidak sah, atau menghubungkan instance database ke DTS menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.

Konfigurasikan objek untuk pelacakan perubahan dan pengaturan lanjutan.

Basic Settings

Parameter	Deskripsi
Data Change Types	Data Update DTS melacak pembaruan data dari objek yang dipilih, termasuk operasi INSERT, DELETE, dan UPDATE. Schema Update DTS melacak operasi pembuatan, penghapusan, dan modifikasi yang dilakukan pada semua skema objek instance sumber. Anda harus menggunakan klien pelacakan perubahan untuk menyaring data yang akan dilacak.
Source Objects	Pilih satu atau lebih objek dari bagian Source Objects dan klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda hanya dapat melacak perubahan data pada tingkat tabel. Setelah tugas pelacakan perubahan dikonfigurasi, objek untuk pelacakan perubahan tidak dapat dipilih ulang. Jika Anda ingin melacak perubahan data tabel yang tidak termasuk dalam objek yang dipilih, Anda harus membuat tugas pelacakan perubahan lain untuk tabel tersebut.

Advanced Settings

Parameter	Deskripsi
Monitoring and Alerting	Menentukan apakah akan mengaktifkan peringatan untuk tugas pelacakan perubahan. Jika peringatan dikonfigurasi dan tugas gagal atau latensi melebihi ambang batas, notifikasi peringatan dikirim. Nilai valid: No: tidak mengaktifkan peringatan. Yes: mengaktifkan peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat Konfigurasikan pemantauan dan peringatan saat Anda membuat tugas DTS.
Retry Time for Failed Connections	Rentang waktu ulang untuk koneksi gagal. Jika tugas pelacakan perubahan gagal, DTS segera mencoba kembali koneksi dalam rentang waktu tersebut. Nilai valid: 10 hingga 1440. Unit: menit. Nilai default: 720. Kami menyarankan Anda mengatur parameter ke nilai lebih besar dari 30. Jika DTS tersambung kembali ke instance database sumber dalam rentang waktu yang ditentukan, DTS melanjutkan tugas pelacakan perubahan. Jika tidak, tugas pelacakan perubahan gagal. Catatan Jika beberapa tugas pelacakan perubahan dikonfigurasikan untuk instance database, rentang waktu ulang terpendek yang diutamakan. Sebagai contoh, Tugas A dan Tugas B dikonfigurasikan untuk instance database yang sama. Tugas A dikonfigurasikan dengan rentang waktu ulang 30 menit, dan Tugas B dikonfigurasikan dengan rentang waktu ulang 60 menit. Dalam hal ini, rentang waktu ulang 30 menit yang diutamakan. Saat DTS mencoba kembali koneksi, biaya dikenakan. Kami menyarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda, atau lepaskan instance DTS sesegera mungkin setelah instance database sumber dilepaskan.

Klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Anda dapat memindahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters untuk melihat pengaturan parameter operasi API yang dipanggil untuk mengonfigurasi instance.
Catatan
- Sebelum memulai tugas pelacakan perubahan, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas pelacakan perubahan setelah tugas tersebut lulus pra-pemeriksaan.
- Jika tugas gagal lulus pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah menyelesaikan masalah berdasarkan pesan kesalahan, Anda dapat menjalankan pra-pemeriksaan lagi.
- Jika peringatan dihasilkan untuk item selama pra-pemeriksaan, lakukan operasi berikut berdasarkan skenario:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan selesaikan masalah. Lalu, jalankan pra-pemeriksaan lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Lalu, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

Di halaman Purchase, tentukan metode penagihan instance pelacakan perubahan. Tabel berikut menjelaskan parameter.

Parameter	Deskripsi
Metode penagihan	Langganan: Anda membayar langganan Anda saat membuat instance. Metode penagihan langganan lebih hemat biaya daripada metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Harga lebih rendah untuk durasi langganan yang lebih lama. Bayar sesuai pemakaian: Instance bayar sesuai pemakaian ditagih per jam. Kami menyarankan Anda memilih metode penagihan bayar sesuai pemakaian untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instance bayar sesuai pemakaian, Anda dapat melepaskan instance untuk mengurangi biaya.
Resource Group Settings	Grup sumber daya tempat instance tersebut milik. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
Subscription Duration	Jika Anda memilih metode penagihan langganan, atur durasi langganan dan jumlah instance yang ingin Anda buat. Durasi langganan bisa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start untuk memulai tugas pelacakan perubahan. Anda dapat melihat kemajuan tugas di daftar tugas.

Apa yang harus dilakukan selanjutnya

Saat tugas pelacakan perubahan sedang berjalan, Anda dapat membuat grup konsumen berdasarkan klien hilir untuk mengonsumsi data yang dilacak.

Untuk informasi lebih lanjut tentang cara membuat dan mengelola grup konsumen, lihat Buat Grup Konsumen.
Gunakan salah satu metode berikut untuk mengonsumsi data yang dilacak: