Migrasi PolarDB untuk MySQL ke Lindorm Wide Table untuk Sinkronisasi Real-Time - DTS

Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk memigrasikan data dari kluster PolarDB for MySQL ke mesin tabel lebar pada instans Lindorm.

Prasyarat

Buat instans Lindorm tujuan yang menggunakan mesin tabel lebar. Kapasitas penyimpanan instans tujuan harus lebih besar daripada ruang penyimpanan yang digunakan oleh kluster sumber PolarDB for MySQL. Untuk informasi selengkapnya, lihat Buat instans.
Aktifkan fitur kompatibilitas MySQL untuk instans Lindorm tujuan. Untuk informasi selengkapnya, lihat Aktifkan fitur kompatibilitas MySQL.
Buat database (namespace) dan tabel lebar di instans Lindorm tujuan untuk data yang dimigrasikan. Jika diperlukan, partisi awal tabel lebar berdasarkan volume data penuh yang diharapkan. Untuk informasi selengkapnya, lihat Hubungkan dan gunakan mesin tabel lebar menggunakan alat baris perintah MySQL, Hubungkan dan gunakan mesin tabel lebar menggunakan Lindorm-cli, Akses mesin tabel lebar menggunakan Lindorm Shell, CREATE TABLE, dan Pemetaan tipe data.
Catatan
Objek yang Anda buat harus mematuhi batasan penamaan untuk instans Lindorm dan batasan pada objek.

Catatan penggunaan

Jenis	Deskripsi
Batasan database sumber	Persyaratan bandwidth: Server yang menghosting database sumber harus memiliki bandwidth keluar yang cukup. Jika tidak, kecepatan migrasi data akan terpengaruh. Tabel yang akan dimigrasikan harus memiliki kunci primer atau kendala UNIK, dan kolom dalam kunci atau kendala tersebut harus unik. Jika tidak, data duplikat mungkin muncul di database tujuan. Jika Anda melakukan migrasi data tingkat tabel dan perlu mengedit tabel, seperti memetakan nama kolom, satu tugas migrasi data dapat memigrasikan maksimal 1.000 tabel. Jika melebihi batas ini, kesalahan akan dilaporkan setelah Anda mengirimkan tugas. Dalam kasus ini, bagi tabel menjadi beberapa tugas migrasi atau konfigurasikan tugas untuk memigrasikan seluruh database. Jika Anda melakukan migrasi inkremental: Anda harus mengaktifkan binary logging dan mengatur parameter loose_polar_log_bin ke on. Jika tidak, pemeriksaan awal akan melaporkan kesalahan dan tugas migrasi data tidak dapat dimulai. Untuk informasi selengkapnya tentang cara mengaktifkan binary logging dan memodifikasi parameter, lihat Aktifkan binary logging dan Modifikasi parameter. Catatan Mengaktifkan binary logging untuk kluster PolarDB for MySQL akan mengonsumsi ruang penyimpanan dan menimbulkan biaya penyimpanan. Log biner kluster PolarDB for MySQL harus disimpan minimal selama 3 hari. Kami merekomendasikan periode retensi 7 hari. Jika tidak, DTS mungkin gagal mendapatkan log biner, yang dapat menyebabkan kegagalan tugas. Dalam kasus ekstrem, hal ini dapat menyebabkan ketidakkonsistenan data atau kehilangan data. Masalah yang disebabkan oleh periode retensi log biner yang lebih pendek dari persyaratan DTS tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS. Catatan Untuk informasi selengkapnya tentang cara mengatur periode retensi log biner untuk kluster PolarDB for MySQL, lihat Modifikasi periode retensi.
Batasan lainnya	Migrasi skema tidak didukung. Migrasi data bertipe BIT tidak didukung. Anda tidak dapat hanya memigrasikan kolom kunci primer. Data yang dimigrasikan harus mengandung setidaknya satu kolom non-kunci primer. DTS tidak mendukung migrasi node read-only dari instans sumber PolarDB for MySQL. DTS tidak mendukung migrasi tabel eksternal OSS dari instans sumber PolarDB for MySQL. Anda hanya dapat menulis data ke mesin tabel lebar dari instans Lindorm. DTS tidak mendukung skenario alih bencana utama/cadangan untuk instans database selama migrasi data penuh. Dalam skenario tersebut, segera konfigurasi ulang tugas migrasi. Jika data yang akan dimigrasikan berisi string kosong bertipe VARBINARY, DTS dan Lindorm memprosesnya sebagai null. Karena keterbatasan instans Lindorm tujuan, tugas akan gagal jika presisi kolom DECIMAL di database tujuan berbeda dari presisi kolom yang sesuai di database sumber. Data yang ditulis ke instans Lindorm harus memenuhi batasan permintaan data. Jika tidak, tugas akan gagal. Selama migrasi data penuh, DTS mengonsumsi sebagian sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban database. Evaluasi kinerja database sumber dan tujuan sebelum memulai. Kami merekomendasikan agar Anda melakukan migrasi data di luar jam sibuk. Misalnya, lakukan migrasi saat beban CPU kedua database berada di bawah 30%. Selama migrasi data penuh, operasi INSERT konkuren menyebabkan fragmentasi tabel di database tujuan. Setelah migrasi penuh selesai, ruang penyimpanan yang digunakan oleh tabel di database tujuan lebih besar daripada di instans sumber. Selama migrasi data, jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL Online pada objek migrasi di database sumber. Jika tidak, tugas migrasi akan gagal. Jika data ditulis ke database tujuan dari sumber selain DTS selama migrasi data, ketidakkonsistenan data antara database sumber dan tujuan mungkin terjadi. Jika sebuah instans gagal, tim dukungan DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans atau menyesuaikan parameternya mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter di database tidak dimodifikasi. Parameter yang mungkin dimodifikasi termasuk tetapi tidak terbatas pada yang dijelaskan dalam Modifikasi parameter instans.

Penagihan

Jenis migrasi	Biaya Konfigurasi Tautan	Biaya transfer data
Migrasi data penuh	Gratis.	Contoh ini gratis. Catatan Jika Anda mengatur Access Method untuk database tujuan ke Public IP Address, Anda akan dikenai biaya untuk transfer data melalui Internet. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.
Migrasi data inkremental	Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Operasi SQL yang mendukung migrasi inkremental

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, DELETE
DDL	CREATE TABLE, DROP TABLE, ADD COLUMN Catatan Karena keterbatasan LindormTable tujuan, DTS tidak mendukung migrasi atribut tambahan dalam pernyataan ADD COLUMN. Misalnya, jika pernyataan yang dieksekusi di sumber adalah `ALTER TABLE test ADD COLUMN col INT DEFAULT 0;`, DTS akan mengeksekusi `ALTER TABLE test ADD COLUMN col INT;` di tujuan.

Izin yang diperlukan untuk akun database

Database	Migrasi penuh	Migrasi inkremental
Kluster sumber PolarDB for MySQL	Izin SELECT	Izin baca dan tulis
Instans Lindorm tujuan	Izin baca dan tulis pada namespace tujuan.

Untuk membuat akun database dan memberikan izin:

Untuk kluster PolarDB for MySQL, lihat Buat dan kelola akun database.
Untuk instans Lindorm, lihat Manajemen Pengguna.

Prosedur

Gunakan salah satu metode berikut untuk membuka halaman Migrasi Data dan pilih wilayah tempat instans migrasi data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Migration.
3. Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.
Konsol DMS
Catatan
Operasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan kursor ke Data + AI > DTS (DTS) > Data Migration.
3. Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter tersebut.

Kategori	Konfigurasi	Deskripsi
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama yang informatif sehingga mudah mengidentifikasi tugas tersebut. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih PolarDB for MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat kluster sumber PolarDB for MySQL berada.
	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, instans database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
	PolarDB Cluster ID	Pilih ID kluster sumber PolarDB for MySQL.
	Database Account	Masukkan akun database kluster sumber PolarDB for MySQL. Untuk informasi selengkapnya tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses instans database.
	Encryption	Pilih metode sesuai kebutuhan. Untuk informasi selengkapnya tentang enkripsi Secure Sockets Layer (SSL), lihat Konfigurasi enkripsi SSL.
Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih Lindorm.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans Lindorm tujuan berada.
	Instance ID	Pilih ID instans Lindorm tujuan.
	Database Account	Masukkan akun database instans Lindorm tujuan. Untuk informasi selengkapnya tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses instans database.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Catatan
- Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan guna mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
- Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Konfigurasikan objek yang akan dimigrasikan.

Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.

Konfigurasi	Deskripsi
Migration Types	Untuk hanya melakukan migrasi data penuh, pilih hanya Full Data Migration. Untuk memastikan kelangsungan layanan selama migrasi data, pilih Full Data Migration dan Incremental Data Migration. Catatan Jika Anda tidak memilih Incremental Data Migration, kami merekomendasikan agar Anda tidak menulis data ke database sumber selama migrasi data. Hal ini memastikan konsistensi data antara database sumber dan tujuan.
Processing Mode of Conflicting Tables	Anda tidak perlu mengonfigurasi parameter ini. Gunakan nilai default.
Capitalization of Object Names in Destination Instance	Huruf besar/kecil nama database, tabel, dan kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf besar/kecil nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Tentukan huruf besar/kecil nama objek di instans tujuan.
Source Objects	Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih database, tabel, dan kolom sebagai objek migrasi.
Selected Objects	Jika nama database (namespace), tabel, atau kolom yang Anda buat di instans Lindorm tujuan berbeda dari nama objek yang akan dimigrasikan dari kluster PolarDB for MySQL, Anda harus menggunakan fitur pemetaan nama objek. Untuk informasi selengkapnya, lihat Petakan nama objek. Catatan Jika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal dimigrasikan. Untuk menentukan kondisi WHERE untuk memfilter data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisinya. Untuk informasi selengkapnya, lihat Atur kondisi filter. Untuk memilih operasi SQL untuk migrasi inkremental, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda migrasikan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Konfigurasi	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas migrasi data ke kluster bersama jika Anda tidak menentukan kluster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli kluster khusus. Untuk informasi selengkapnya, lihat Apa itu kluster khusus DTS.
Retry Time for Failed Connections	Rentang waktu ulang coba untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu ulang coba. Nilai yang valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu ulang coba yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang coba yang berbeda untuk beberapa tugas migrasi data yang menggunakan database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan menggantikan nilai sebelumnya. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami merekomendasikan agar Anda menentukan rentang waktu ulang coba berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepas instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepas.
Retry Time for Other Issues	Rentang waktu ulang coba untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu ulang coba. Nilai yang valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu ulang coba yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengatur parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Anda memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration	Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan, Anda harus mengatur parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Hal ini mengurangi beban server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Menentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid: Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti pencadangan fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag	Jika diperlukan, Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Dalam contoh ini, Anda tidak perlu memilih tag.
Configure ETL	Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid: No: tidak mengonfigurasi peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian Konfigurasi pemantauan dan peringatan saat membuat tugas DTS dalam topik Konfigurasi pemantauan dan peringatan.

Simpan pengaturan tugas dan jalankan pemeriksaan awal.
- Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas migrasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pemeriksaan awal.
- Jika tugas gagal lulus pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
- Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.

Beli sebuah instance.

Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.

Di halaman Purchase Instance, konfigurasikan parameter Kelas Instans untuk instans migrasi data. Tabel berikut menjelaskan parameter tersebut.

Bagian	Parameter	Deskripsi
New Instance Class	Resource Group	Kelompok sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?
New Instance Class	Instance Class	DTS menyediakan kelas instans dengan kecepatan migrasi yang berbeda-beda. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans migrasi data.

Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat progres tugas di halaman Data Migration.
Catatan
- Jika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Completed akan ditampilkan di bagian Status .
- Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak akan berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running akan ditampilkan di bagian Status.