Layanan Transmisi Data (DTS) mendukung migrasi data dari database MySQL—seperti Database MySQL yang dikelola sendiri atau instans RDS for MySQL—ke instans ApsaraMQ for RocketMQ. Topik ini menjelaskan cara melakukan migrasi data dari instans RDS for MySQL.
Prasyarat
Anda telah membuat instans tujuan ApsaraMQ for RocketMQ yang bukan merupakan instans Serverless. Untuk informasi selengkapnya, lihat Kelola instans atau Kelola instans.
CatatanUntuk informasi mengenai versi database sumber dan tujuan yang didukung, lihat Solusi migrasi.
Anda telah membuat topik di instans tujuan ApsaraMQ for RocketMQ untuk menerima data. Untuk informasi selengkapnya, lihat Kelola topik atau Kelola topik.
PentingUntuk instans seri 4.x, atur Message Type menjadi Partitionally Ordered Message.
Untuk instans seri 5.x, atur Message Type menjadi Ordered Message.
Perhatian
Jenis | Deskripsi |
Batasan database sumber |
|
Batasan lainnya |
|
Kasus khusus |
|
Penagihan
Jenis migrasi | Biaya konfigurasi instans |
Migrasi data penuh | Gratis. |
Migrasi data inkremental | Dikenakan biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Operasi SQL yang dapat dimigrasikan secara inkremental
Jenis operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE |
DDL |
|
Izin yang diperlukan untuk akun database
Database | Izin yang diperlukan | Cara membuat dan memberikan izin |
Sumber RDS for MySQL | Izin baca pada objek migrasi. |
Jika akun database untuk database sumber tidak dibuat dan diberi otorisasi melalui konsol RDS for MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.
Prosedur
Gunakan salah satu metode berikut untuk membuka halaman Migrasi Data dan pilih wilayah tempat instans migrasi data berada.
Konsol DTS
Masuk ke Konsol DTS.
Di panel navigasi sebelah kiri, klik Data Migration.
Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.
Konsol DMS
CatatanOperasi aktual mungkin berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Menyesuaikan tata letak dan gaya konsol DMS.
Masuk ke Konsol DMS.
Di bilah navigasi atas, arahkan kursor ke .
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instansi sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.
Kategori
Konfigurasi
Deskripsi
N/A
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama yang informatif sehingga mudah mengidentifikasi tugas tersebut. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select Existing Connection
Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih MySQL.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans sumber RDS for MySQL berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, instans database dari Akun Alibaba Cloud saat ini digunakan. Pilih No.
RDS Instance ID
Pilih ID instans sumber RDS for MySQL.
Database Account
Masukkan akun database untuk instans sumber RDS for MySQL. Untuk persyaratan izin, lihat Izin yang diperlukan untuk akun database.
Database Password
Kata sandi yang digunakan untuk mengakses instans database.
Encryption
Menentukan apakah akan mengenkripsi koneksi ke database. Anda dapat memilih Non-encrypted atau SSL-encrypted sesuai kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans ApsaraDB RDS for MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.
Destination Database
Select Existing Connection
Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih RocketMQ.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans tujuan ApsaraMQ for RocketMQ berada.
RocketMQ version
Pilih versi instans tujuan ApsaraMQ for RocketMQ.
Instance ID
Pilih ID instans tujuan ApsaraMQ for RocketMQ.
Database Account
Masukkan akun database dan kata sandi untuk instans tujuan ApsaraMQ for RocketMQ.
CatatanParameter ini hanya diperlukan jika Anda mengatur RocketMQ version ke 5.x.
Anda dapat memperoleh kredensial di tab Intelligent Identity Recognition pada halaman Access Control di konsol ApsaraMQ for RocketMQ.
Database Password
Topic
Dari daftar drop-down, pilih topik untuk menerima data.
Topic That Stores DDL Information
Dari daftar drop-down, pilih topik untuk menyimpan informasi DDL.
CatatanJika Anda tidak memilih topik, informasi DDL akan disimpan di topik yang dipilih untuk parameter Topic.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
CatatanPastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan guna mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
Konfigurasikan objek yang akan dimigrasikan.
Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.
Konfigurasi
Deskripsi
Migration Types
Untuk hanya melakukan migrasi data penuh, pilih Full Data Migration.
Untuk memastikan kelangsungan layanan selama migrasi data, pilih Full Data Migration dan Incremental Data Migration.
CatatanJika Anda tidak memilih Incremental Data Migration, disarankan agar Anda tidak menulis data ke database sumber selama proses migrasi guna memastikan konsistensi data antara database sumber dan tujuan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: Memeriksa apakah database tujuan berisi tabel dengan nama yang sama seperti di database sumber. Jika tidak ada nama tabel yang identik, pemeriksaan awal berhasil. Jika ada, kesalahan akan dikembalikan selama pemeriksaan awal dan tugas migrasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama yang identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan ke database tujuan. Untuk informasi selengkapnya, lihat Map object names.
Ignore Errors and Proceed: Melewati pemeriksaan awal untuk nama tabel yang identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data mungkin terjadi dan bisnis Anda berpotensi menghadapi risiko berikut:
Jika skema database sumber dan tujuan sama, serta catatan data memiliki kunci primer yang sama dengan catatan data yang ada di database tujuan, skenario berikut mungkin terjadi:
Selama migrasi data penuh, DTS tidak memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan.
Selama migrasi data inkremental, DTS memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa.
Jika skema database sumber dan tujuan berbeda, hanya kolom tertentu yang dimigrasikan atau tugas migrasi data gagal. Harap berhati-hati.
Format of the data delivered to RocketMQ.
Pilih format penyimpanan yang diperlukan untuk data yang ditulis ke topik tujuan. Untuk informasi selengkapnya, lihat Data formats in message queues.
Synchronize all fields
Tentukan apakah hanya akan memigrasikan pre-image dari kolom yang diperbarui dari objek sumber ke bidang old topik tujuan. Pre-image adalah data catatan sebelum diperbarui.
CatatanItem konfigurasi ini tersedia hanya jika Anda mengatur Format of the data delivered to RocketMQ. ke Canal JSON.
Yes: Memigrasikan pre-image seluruh baris saat kolom dalam baris tersebut diperbarui oleh pernyataan `UPDATE`.
No (default): Hanya memigrasikan pre-image dari kolom yang diperbarui dalam pernyataan `UPDATE`.
Rules of the ordered messages delivered to RocketMQ.
Pilih aturan urutan pesan yang diperlukan untuk menulis data ke topik tujuan. Untuk informasi selengkapnya, lihat Message order rules for RocketMQ.
Name of DTS producer group
Atur grup produsen (ProducerGroup) yang diperlukan untuk mengirim pesan ke topik tujuan. Untuk informasi selengkapnya, lihat Producers.
CatatanNilai default adalah dts-producer-group.
Limits of RocketMQ messaging transactions per second (TPS)
Anda dapat mengatur jumlah maksimum transaksi pengiriman pesan per detik (TPS) saat data ditulis ke topik tujuan. Untuk informasi selengkapnya mengenai TPS pengiriman pesan, lihat Computing specifications.
PentingNilai harus kurang dari atau sama dengan TPS maksimum instans ApsaraMQ for RocketMQ. Untuk informasi selengkapnya, lihat Instance type limits.
Saat instans migrasi berjalan, TPS pesan aktual dari instans ApsaraMQ for RocketMQ mungkin sedikit berfluktuasi di sekitar nilai yang ditetapkan.
Whether to filter large size of records.
Pilih apakah akan mencegah badan pesan yang lebih besar dari 4 MB ditulis ke topik tujuan.
PentingJika Anda memilih No dan badan pesan yang ditulis ke topik tujuan melebihi 4 MB, instans migrasi akan gagal.
Capitalization of Object Names in Destination Instance
Huruf kapital untuk nama database, nama tabel, dan nama kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Specify the capitalization of object names in the destination instance.
Source Objects
Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda dapat memilih objek pada tingkat database atau tabel.
Selected Objects
Tidak diperlukan konfigurasi tambahan untuk contoh ini. Anda dapat menggunakan fitur pemetaan untuk mengatur nama topik di instans tujuan ApsaraMQ for RocketMQ, mengatur kondisi filter, memilih operasi SQL untuk dimigrasikan, dan mengatur kunci partisi. Untuk informasi selengkapnya, lihat Mapping information.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Konfigurasi
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke kluster bersama jika Anda tidak menentukan kluster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli kluster khusus. Untuk informasi selengkapnya, lihat What is a DTS dedicated cluster.
Retry Time for Failed Connections
Rentang waktu percobaan ulang untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu percobaan ulang. Nilai yang valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Disarankan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu percobaan ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu percobaan ulang yang berbeda untuk beberapa tugas migrasi data yang menggunakan database sumber atau tujuan yang sama, nilai yang ditentukan terakhir yang berlaku.
Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Disarankan agar Anda menentukan rentang waktu percobaan ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepas instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepas.
Retry Time for Other Issues
Rentang waktu percobaan ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu percobaan ulang. Nilai yang valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Disarankan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu percobaan ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah akan mengaktifkan pembatasan laju untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan laju sesuai kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan laju, Anda harus mengatur parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika Anda memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration
Menentukan apakah akan mengaktifkan pembatasan laju untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan laju, Anda harus mengatur parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Hal ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Menentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid:
Yes: Tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan.
No: Menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti backup fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans jika diperlukan. Tidak perlu pemilihan untuk contoh ini.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat What is ETL?. Nilai yang valid:
Yes: Mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Configure ETL in a data migration or data synchronization task.
No: Tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid:
No: Tidak mengonfigurasi peringatan.
Yes: Mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan alert notification settings. Untuk informasi selengkapnya, lihat bagian Configure monitoring and alerting when you create a DTS task pada topik Configure monitoring and alerting.
Simpan pengaturan tugas dan jalankan pemeriksaan awal.
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas migrasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pemeriksaan awal.
Jika tugas gagal lulus pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog View Details, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin menghadapi risiko potensial.
Beli instans.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasikan parameter Instance Class untuk instans migrasi data. Tabel berikut menjelaskan parameter-parameter tersebut.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group
Kelompok sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Resource Management?
Instance Class
DTS menyediakan kelas instans dengan kecepatan migrasi yang berbeda-beda. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans migrasi data.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat progres tugas di halaman Data Migration.
CatatanJika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Status Completed ditampilkan di bagian Status .
Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Status Running ditampilkan di bagian Status.
Mapping information
Di kotak daftar Selected Objects, arahkan kursor ke topik tujuan.
Klik Edit di sebelah nama topik.
Di kotak dialog yang muncul, konfigurasikan informasi pemetaan.
CatatanJika Anda mengaktifkan pemetaan baik pada tingkat database maupun tabel, pemetaan tingkat tabel yang berlaku. Pemetaan tingkat database tidak berlaku.
Kotak dialog Edit Schema digunakan untuk pemetaan tingkat database. Kotak dialog Edit Table digunakan untuk pemetaan tingkat tabel.
Tingkat database
Konfigurasi
Deskripsi
Schema Name
Nama topik tujuan tempat data ditulis. Secara default, ini adalah Topic yang Anda pilih di bagian Destination Database pada halaman Configurations for Source and Destination Databases.
PentingNama topik tujuan tempat data ditulis. Secara default, ini adalah Topic yang Anda pilih di bagian Destination Database pada halaman Configurations for Source and Destination Databases.
Jika Anda mengubah Schema Name, data akan ditulis ke topik yang Anda masukkan.
Select DDL and DML Operations to Be Synchronized
Pilih operasi SQL untuk dimigrasikan secara inkremental, sesuai kebutuhan.
Tingkat tabel
Konfigurasi
Deskripsi
Table Name
Nama topik tujuan tempat data ditulis. Secara default, ini adalah Topic yang Anda pilih di bagian Destination Database pada halaman Configurations for Source and Destination Databases.
PentingNama topik yang ditentukan harus ada di instans tujuan ApsaraMQ for RocketMQ. Jika tidak, migrasi data akan gagal.
Jika Anda mengubah Table Name, data akan ditulis ke topik yang Anda masukkan.
Filter Conditions
Untuk informasi selengkapnya, lihat Set filter conditions.
Select DDL and DML Operations to Be Synchronized
Pilih operasi SQL untuk dimigrasikan secara inkremental, sesuai kebutuhan.
Partition Key
Saat Rules of the ordered messages delivered to RocketMQ. diatur ke Deliver data based on hash values of a specified column., Anda dapat mengonfigurasi parameter ini. Tentukan satu atau beberapa kolom sebagai kunci partisi untuk menghitung nilai hash. DTS mengirimkan baris ke partisi berbeda dari topik tujuan berdasarkan nilai hash yang dihitung.
Klik OK.