Sinkronisasi data dari klaster PolarDB for MySQL ke instans Lindorm - Data Transmission Service

Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk menyinkronkan data dari klaster PolarDB for MySQL ke mesin tabel lebar instans Lindorm.

Prasyarat

Anda telah membuat instans Lindorm tujuan yang menggunakan mesin LindormTable. Ruang penyimpanan yang tersedia pada instans Lindorm tujuan harus melebihi ruang penyimpanan yang digunakan oleh klaster sumber PolarDB for MySQL. Untuk informasi selengkapnya, lihat Buat instans.
Anda telah mengaktifkan fitur kompatibilitas MySQL untuk instans Lindorm tujuan. Untuk informasi selengkapnya, lihat Aktifkan fitur kompatibilitas MySQL.
Anda telah membuat database (namespace) dan tabel lebar di instans Lindorm tujuan untuk menerima data yang disinkronkan. Tabel lebar tersebut harus dipartisi sebelumnya agar dapat menampung seluruh data. Untuk informasi selengkapnya, lihat Gunakan klien MySQL untuk terhubung ke dan menggunakan LindormTable, Gunakan Lindorm-cli untuk terhubung ke dan menggunakan mesin tabel lebar, Gunakan Lindorm Shell untuk mengakses LindormTable, CREATE TABLE, dan Pemetaan tipe data.
Catatan
Objek yang dibuat harus mematuhi konvensi penamaan dan batasan untuk instans Lindorm.

Catatan penggunaan

Kategori	Deskripsi
Batasan database sumber	Tabel yang akan disinkronkan harus memiliki kunci primer atau kendala UNIK, dan kolom-kolom tersebut harus unik. Jika tidak, data duplikat mungkin muncul di database tujuan. Jika Anda melakukan sinkronisasi data tingkat tabel dan perlu mengedit tabel, seperti memetakan nama kolom, satu tugas sinkronisasi data mendukung maksimal 1.000 tabel. Jika melebihi batas ini, kesalahan akan dilaporkan saat Anda mengirimkan tugas. Dalam kasus ini, bagi tabel menjadi beberapa tugas sinkronisasi atau konfigurasikan tugas untuk menyinkronkan seluruh database. Log biner: Anda harus mengaktifkan binary logging dan mengatur parameter `loose_polar_log_bin` ke `ON`. Jika tidak, kesalahan akan dilaporkan selama pemeriksaan awal dan instans DTS gagal dimulai. Untuk informasi lebih lanjut tentang cara mengaktifkan binary logging dan memodifikasi parameter, lihat Aktifkan binary logging dan Atur parameter klaster dan node. Catatan Mengaktifkan binary logging untuk klaster PolarDB for MySQL akan mengonsumsi ruang penyimpanan dan dikenai biaya. Log biner klaster PolarDB for MySQL harus disimpan setidaknya selama 3 hari. Kami merekomendasikan agar Anda menyimpannya selama 7 hari. Jika tidak, tugas DTS mungkin gagal karena DTS tidak dapat memperoleh log biner. Dalam kasus ekstrem, hal ini dapat menyebabkan inkonsistensi data atau kehilangan data. Masalah yang disebabkan oleh periode retensi log biner yang lebih pendek dari periode yang diperlukan tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS. Catatan Untuk informasi lebih lanjut tentang cara mengatur periode retensi log biner klaster PolarDB for MySQL, lihat Modifikasi periode retensi.
Batasan lainnya	Sinkronisasi skema tidak didukung. Sinkronisasi data bertipe BIT tidak didukung. Anda tidak dapat hanya menyinkronkan kolom kunci primer. Data yang akan disinkronkan harus berisi setidaknya satu kolom non-kunci primer. Anda tidak dapat menyinkronkan data dari node read-only klaster sumber PolarDB for MySQL. Anda tidak dapat menyinkronkan tabel eksternal OSS dari klaster sumber PolarDB for MySQL. Failover primer/sekunder pada instans database tidak didukung selama sinkronisasi data penuh awal. Jika failover terjadi, segera konfigurasi ulang tugas sinkronisasi. Anda hanya dapat menulis data ke mesin tabel lebar instans Lindorm. Jika data yang akan disinkronkan berisi string kosong bertipe VARBINARY, DTS dan Lindorm memprosesnya sebagai null. Karena batasan instans Lindorm tujuan, jika presisi kolom DECIMAL di database tujuan berbeda dengan presisi kolom yang sesuai di database sumber, tugas akan gagal. Data yang ditulis ke instans Lindorm harus memenuhi batasan permintaan data-nya. Jika tidak, tugas akan gagal. Selama sinkronisasi data penuh awal, DTS menggunakan sebagian sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Sebelum menyinkronkan data, evaluasi kinerja database sumber dan tujuan. Kami merekomendasikan agar Anda melakukan sinkronisasi data di luar jam sibuk. Misalnya, Anda dapat menyinkronkan data ketika beban CPU database sumber dan tujuan berada di bawah 30%. Selama sinkronisasi data penuh awal, operasi INSERT konkuren menyebabkan fragmentasi tabel di database tujuan. Setelah sinkronisasi data penuh awal selesai, ruang penyimpanan tabel yang digunakan oleh database tujuan lebih besar daripada database sumber. Selama sinkronisasi data, jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL Online pada objek yang disinkronkan di database sumber. Jika tidak, sinkronisasi akan gagal. Jika data dari sumber selain DTS ditulis ke database tujuan selama sinkronisasi data, inkonsistensi data mungkin terjadi antara database sumber dan tujuan. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner. Jika sebuah instans gagal, tim helpdesk DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans atau menyesuaikan parameternya mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter di dalam database tidak diubah. Parameter yang mungkin dimodifikasi termasuk namun tidak terbatas pada yang dijelaskan dalam Modifikasi parameter instans.

Penagihan

Jenis sinkronisasi	Biaya Konfigurasi Tautan
Sinkronisasi data penuh	Gratis.
Sinkronisasi data inkremental	Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Operasi SQL yang mendukung sinkronisasi inkremental

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, dan DELETE
DDL	CREATE TABLE, DROP TABLE, dan ADD COLUMN Catatan Karena batasan LindormTable tujuan, atribut tambahan dalam pernyataan ADD COLUMN tidak disinkronkan. Misalnya, jika pernyataan `ALTER TABLE test ADD COLUMN col INT DEFAULT 0;` dijalankan pada objek sumber, DTS akan menjalankan `ALTER TABLE test ADD COLUMN col INT;` pada objek tujuan.

Izin yang diperlukan untuk akun database

Database	Izin yang diperlukan	Pembuatan dan otorisasi
Klaster sumber PolarDB for MySQL	Izin baca dan tulis	Buat dan kelola akun database
Tujuan Lindorm	Izin baca dan tulis pada namespace tujuan	Kelola pengguna

Prosedur

Gunakan salah satu metode berikut untuk membuka halaman Sinkronisasi Data dan pilih wilayah tempat instans sinkronisasi data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Synchronization.
3. Di pojok kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.
Konsol DMS
Catatan
Operasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan kursor ke Data + AI lalu pilih DTS (DTS) > Data Synchronization.
3. Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameternya.

Bagian	Konfigurasi	Deskripsi
N/A	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih PolarDB for MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat klaster sumber PolarDB for MySQL berada.
	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
	PolarDB Cluster ID	Pilih ID klaster sumber PolarDB for MySQL.
	Database Account	Masukkan akun database klaster sumber PolarDB for MySQL. Untuk informasi selengkapnya tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.
	Encryption	Pilih metode sesuai kebutuhan. Untuk informasi selengkapnya tentang fitur enkripsi SSL, lihat Atur enkripsi SSL.
Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih Lindorm.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans Lindorm tujuan berada.
	Instance ID	Pilih ID instans Lindorm tujuan.
	Database Account	Masukkan akun database instans Lindorm tujuan. Untuk informasi selengkapnya tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Catatan
- Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
- Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Konfigurasikan objek yang akan disinkronkan.

Pada langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.

Konfigurasi	Deskripsi
Synchronization Types	Secara default, Incremental Data Synchronization dipilih. Anda hanya dapat memilih Full Data Synchronization. Anda tidak dapat memilih Schema Synchronization. Setelah pemeriksaan awal selesai, DTS menyinkronkan data historis objek yang dipilih dari database sumber ke database tujuan. Data historis ini menjadi dasar untuk sinkronisasi inkremental selanjutnya.
Processing Mode of Conflicting Tables	Anda tidak perlu mengonfigurasi parameter ini. Gunakan nilai default.
Capitalization of Object Names in Destination Instance	Huruf besar/kecil nama database, nama tabel, dan nama kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf besar/kecil nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Tentukan huruf besar/kecil nama objek di instans tujuan.
Source Objects	Pilih satu atau beberapa objek dari bagian Source Objects lalu klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih kolom, tabel, dan database sebagai objek yang akan disinkronkan.
Selected Objects	Jika nama database (namespace), tabel, atau kolom yang Anda buat di instans Lindorm tujuan berbeda dengan nama objek yang akan disinkronkan dari klaster PolarDB for MySQL, Anda harus menggunakan fitur pemetaan nama objek. Untuk informasi selengkapnya, lihat Petakan nama objek. Catatan Jika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal disinkronkan. Untuk menentukan kondisi WHERE guna memfilter data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisinya. Untuk informasi selengkapnya, lihat Atur kondisi filter. Untuk memilih operasi SQL untuk sinkronisasi inkremental, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda sinkronkan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Parameter	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instans sinkronisasi data, beli klaster khusus. Untuk informasi selengkapnya, lihat Apa itu klaster khusus DTS.
Retry Time for Failed Connections	Rentang waktu ulang coba untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu tersebut. Nilai yang valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang coba yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang coba terpendek yang berlaku. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami merekomendasikan agar Anda menentukan rentang waktu ulang coba berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepas instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepas.
Retry Time for Other Issues	Rentang waktu ulang coba untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu tersebut. Nilai yang valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization	Tentukan apakah akan mengaktifkan pembatasan kecepatan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan kecepatan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengatur parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Hal ini mengurangi beban pada server database tujuan.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Tentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid: Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti pencadangan fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans jika diperlukan. Dalam contoh ini, Anda tidak perlu memilih tag.
Configure ETL	Tentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Tentukan apakah akan mengonfigurasi peringatan untuk instans sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid: No: tidak mengaktifkan peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian "Konfigurasi pemantauan dan peringatan saat membuat tugas DTS" dalam topik Konfigurasi pemantauan dan peringatan.

Simpan pengaturan tugas dan jalankan pemeriksaan awal.
- Untuk melihat parameter yang perlu ditentukan saat memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lulus pemeriksaan awal.
- Jika tugas sinkronisasi data gagal dalam pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan ulang pemeriksaan awal.
- Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalahnya. Kemudian, jalankan pemeriksaan awal lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, inkonsistensi data mungkin terjadi, dan bisnis Anda mungkin menghadapi risiko potensial.

Beli instance.

Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instans untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter-parameter tersebut.

Bagian	Parameter	Deskripsi
New Instance Class	Metode Penagihan	Langganan: Anda membayar untuk langganan saat membuat instans sinkronisasi data. Metode penagihan langganan lebih hemat biaya dibandingkan metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Bayar sesuai pemakaian: Instans bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instans sinkronisasi data bayar sesuai pemakaian, Anda dapat melepas instans tersebut untuk mengurangi biaya.
	Pengaturan Kelompok Sumber Daya	Kelompok sumber daya tempat instans sinkronisasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Resource Management?
	Kelas Instans	DTS menyediakan kelas instans dengan kecepatan sinkronisasi yang berbeda. Anda dapat memilih kelas instans berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans sinkronisasi data.
	Durasi Langganan	Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instans sinkronisasi data yang ingin Anda buat. Durasi langganan dapat berupa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat progres tugas di daftar tugas.