Layanan Transmisi Data (DTS) mendukung sinkronisasi data dari database MySQL—seperti database MySQL yang dikelola sendiri atau instans RDS for MySQL—ke instans ApsaraMQ for RocketMQ. Topik ini menjelaskan cara menyinkronkan data dari instans RDS for MySQL ke instans ApsaraMQ for RocketMQ.
Prasyarat
Anda telah membuat instans tujuan ApsaraMQ for RocketMQ yang bukan merupakan instans Serverless. Untuk informasi selengkapnya, lihat Mengelola instans atau Mengelola instans.
CatatanUntuk informasi selengkapnya mengenai versi database sumber dan tujuan yang didukung, lihat Solusi sinkronisasi.
Anda telah membuat topik di instans tujuan ApsaraMQ for RocketMQ untuk menerima data yang disinkronkan. Untuk informasi selengkapnya, lihat Mengelola topik atau Mengelola topik.
PentingUntuk versi 4.x, Message Type topik harus berupa Partitionally Ordered Message.
Untuk versi 5.x, Message Type topik harus berupa Ordered Message.
Perhatian
Jenis | Deskripsi |
Batasan database sumber |
|
Batasan lainnya |
|
Kasus khusus |
|
Penagihan
Jenis sinkronisasi | Biaya konfigurasi tautan |
Sinkronisasi data penuh | Gratis. |
Sinkronisasi data inkremental | Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Operasi SQL yang dapat disinkronkan
Jenis operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE |
DDL |
|
Izin yang diperlukan untuk akun database
Database | Izin yang diperlukan | Cara membuat dan memberikan izin |
Instans sumber RDS for MySQL | Izin baca pada objek yang akan disinkronkan. | Buat akun dan Ubah izin akun. |
Jika Anda tidak membuat akun database sumber dan memberikan izin di konsol RDS for MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.
Prosedur
Gunakan salah satu metode berikut untuk membuka halaman Sinkronisasi Data dan pilih wilayah tempat instans sinkronisasi data berada.
Konsol DTS
Masuk ke Konsol DTS.
Di panel navigasi sebelah kiri, klik Data Synchronization.
Di pojok kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.
Konsol DMS
CatatanOperasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
Masuk ke Konsol DMS.
Di bilah navigasi atas, arahkan kursor ke Data + AI lalu pilih .
Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.
Kategori
Konfigurasi
Deskripsi
Tidak ada
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select Existing Connection
Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih MySQL.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans sumber RDS for MySQL berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
RDS Instance ID
Pilih ID instans sumber RDS for MySQL.
Database Account
Masukkan akun database instans sumber RDS for MySQL. Untuk informasi selengkapnya mengenai persyaratan izin, lihat Izin yang diperlukan untuk akun database.
Database Password
Kata sandi yang digunakan untuk mengakses database.
Encryption
Menentukan apakah akan mengenkripsi koneksi ke database. Anda dapat memilih Non-encrypted atau SSL-encrypted berdasarkan kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans ApsaraDB RDS for MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.
Destination Database
Select Existing Connection
Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih RocketMQ.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans tujuan ApsaraMQ for RocketMQ berada.
RocketMQ version
Pilih versi instans tujuan ApsaraMQ for RocketMQ.
Instance ID
Pilih ID instans tujuan ApsaraMQ for RocketMQ.
Database Account
Masukkan akun database instans tujuan ApsaraMQ for RocketMQ dan kata sandi akun tersebut.
CatatanParameter ini hanya diperlukan jika RocketMQ version diatur ke 5.x.
Anda dapat memperolehnya di tab Intelligent Identity Recognition Resource Access Management di konsol ApsaraMQ for RocketMQ.
Database Password
Topic
Dari daftar drop-down, pilih topik yang digunakan untuk menerima data.
Topic That Stores DDL Information
Dari daftar drop-down, pilih topik yang digunakan untuk menyimpan informasi DDL.
CatatanJika parameter ini tidak dipilih, informasi DDL secara default disimpan di topik yang dipilih di bidang Topic.
Klik Test Connectivity and Proceed di bagian bawah halaman.
CatatanPastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
Konfigurasikan objek yang akan disinkronkan.
Pada langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.
Konfigurasi
Deskripsi
Synchronization Types
Secara default, Incremental Data Synchronization dipilih. Anda hanya dapat memilih Full Data Synchronization. Anda tidak dapat memilih Schema Synchronization. Setelah pemeriksaan awal selesai, DTS menyinkronkan data historis objek yang dipilih dari database sumber ke database tujuan. Data historis merupakan dasar untuk sinkronisasi inkremental selanjutnya.
CatatanSaat tujuannya adalah instans ApsaraMQ for RocketMQ, Schema Synchronization tidak didukung.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang memiliki nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama identik, pemeriksaan awal berhasil. Jika tidak, kesalahan akan dikembalikan selama pemeriksaan awal, dan tugas sinkronisasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama yang identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke database tujuan. Untuk informasi selengkapnya, lihat Pemetaan nama objek.
Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel yang identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data dapat terjadi dan bisnis Anda mungkin terpapar risiko potensial.
Jika skema database sumber dan tujuan sama dan catatan data di database tujuan memiliki nilai kunci utama atau nilai kunci unik yang sama dengan catatan data di database sumber:
Selama sinkronisasi data penuh, DTS tidak menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan.
Selama sinkronisasi data inkremental, DTS menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa.
Jika skema database sumber dan tujuan berbeda, data mungkin gagal diinisialisasi. Dalam kasus ini, hanya beberapa kolom yang disinkronkan, atau instans sinkronisasi data gagal. Harap berhati-hati.
Format of the data delivered to RocketMQ.
Pilih format penyimpanan untuk data yang akan disinkronkan ke topik tujuan. Untuk informasi selengkapnya, lihat Format penyimpanan data di antrian pesan.
Synchronize all fields
Anda dapat memilih apakah hanya akan menyinkronkan citra awal bidang yang diperbarui oleh pernyataan UPDATE ke bidang old topik tujuan. Citra awal adalah data sebelum pernyataan UPDATE dieksekusi.
CatatanItem konfigurasi ini tersedia hanya jika Format of the data delivered to RocketMQ. diatur ke Canal JSON.
Yes: Menyinkronkan citra awal seluruh baris yang berisi bidang yang diperbarui oleh pernyataan UPDATE.
No (default): Hanya menyinkronkan citra awal bidang yang diperbarui oleh pernyataan UPDATE.
Rules of the ordered messages delivered to RocketMQ.
Pilih aturan pengurutan pesan untuk menulis data yang disinkronkan ke topik tujuan. Untuk informasi selengkapnya, lihat Aturan pengurutan pesan untuk RocketMQ.
Name of DTS producer group
Atur grup produsen (ProducerGroup) yang mengirim pesan ke topik tujuan.
CatatanNilai default adalah dts-producer-group.
Limits of RocketMQ messaging transactions per second (TPS)
Anda dapat mengatur jumlah maksimum transaksi pesan per detik (TPS) untuk menulis data yang disinkronkan ke topik tujuan. Untuk informasi selengkapnya mengenai TPS pesan, lihat Spesifikasi komputasi.
PentingNilai harus kurang dari atau sama dengan TPS maksimum instans ApsaraMQ for RocketMQ. Untuk informasi selengkapnya, lihat Batas jenis instans.
Saat instans sinkronisasi berjalan, TPS pesan aktual instans ApsaraMQ for RocketMQ mungkin berfluktuasi sedikit di sekitar nilai yang ditentukan.
Whether to filter large size of records.
Tentukan apakah akan memfilter badan pesan yang lebih besar dari 4 MB agar tidak ditulis ke topik tujuan.
PentingJika Anda memilih No, instans sinkronisasi akan gagal jika badan pesan melebihi 4 MB.
Capitalization of Object Names in Destination Instance
Huruf kapital nama database, nama tabel, dan nama kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Tentukan huruf kapital nama objek di instans tujuan.
Source Objects
Pilih satu atau beberapa objek dari bagian Source Objects lalu klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda dapat memilih database atau tabel sebagai objek sinkronisasi.
Selected Objects
Dalam contoh ini, tidak diperlukan konfigurasi tambahan. Anda dapat menggunakan fitur pemetaan untuk mengatur nama topik di instans tujuan ApsaraMQ for RocketMQ, mengatur kondisi filter, memilih operasi SQL yang akan disinkronkan, dan mengatur kunci partisi. Untuk informasi selengkapnya, lihat Informasi pemetaan.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Konfigurasi
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instans sinkronisasi data, beli klaster khusus. Untuk informasi selengkapnya, lihat Apa itu klaster khusus DTS.
Retry Time for Failed Connections
Rentang waktu coba ulang untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu tersebut. Nilai yang valid: 10 hingga 1440. Satuan: menit. Nilai default: 720. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil menghubungkan kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
CatatanJika Anda menentukan rentang waktu coba ulang yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu coba ulang terpendek yang berlaku.
Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami merekomendasikan agar Anda menentukan rentang waktu coba ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepas instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepas.
Retry Time for Other Issues
Rentang waktu coba ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu tersebut. Nilai yang valid: 1 hingga 1440. Satuan: menit. Nilai default: 10. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization
Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Hal ini mengurangi beban pada server database tujuan.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Menentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid:
Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan.
No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti pencadangan fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Dalam contoh ini, Anda tidak perlu memilih tag.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data.
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk instans sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid:
No: tidak mengaktifkan peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian "Konfigurasi pemantauan dan peringatan saat membuat tugas DTS" dalam topik Konfigurasi pemantauan dan peringatan.
Simpan pengaturan tugas dan jalankan pemeriksaan awal.
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lulus pemeriksaan awal.
Jika tugas sinkronisasi data gagal dalam pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali pemeriksaan awal.
Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data dapat terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Beli instance-nya.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.
Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instans untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter-parameter tersebut.
Bagian
Parameter
Deskripsi
New Instance Class
Metode Penagihan
Langganan: Anda membayar untuk langganan saat membuat instans sinkronisasi data. Metode penagihan langganan lebih hemat biaya dibandingkan metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang.
Bayar sesuai pemakaian: Instans berbayar sesuai penggunaan ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instans sinkronisasi data berbayar sesuai penggunaan, Anda dapat melepas instans tersebut untuk mengurangi biaya.
Pengaturan Kelompok Sumber Daya
Kelompok sumber daya tempat instans sinkronisasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?
Kelas Instans
DTS menyediakan kelas instans yang berbeda dalam kecepatan sinkronisasi. Anda dapat memilih kelas instans berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans sinkronisasi data.
Durasi Langganan
Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instans sinkronisasi data yang ingin Anda buat. Durasi langganan dapat berupa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun.
CatatanParameter ini tersedia hanya jika Anda memilih metode penagihan Subscription.
Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat progres tugas di daftar tugas.
Informasi pemetaan
Di kotak daftar Selected Objects, arahkan kursor ke nama topik.
Klik Edit di sebelah nama topik tujuan.
Di kotak dialog yang muncul, konfigurasikan informasi pemetaan.
CatatanJika Anda menggunakan fitur pemetaan baik di tingkat database maupun tabel, pemetaan tingkat tabel yang berlaku dan pemetaan tingkat database tidak berlaku.
Tingkat database adalah kotak dialog Edit Schema, dan tingkat tabel adalah kotak dialog Edit Table.
Tingkat database
Konfigurasi
Deskripsi
Schema Name
Nama topik tempat data yang akan disinkronkan ditulis. Secara default, parameter ini diatur ke nilai Topic di bagian Destination Database pada langkah Configurations for Source and Destination Databases.
PentingNama topik yang ditentukan harus ada di instans tujuan ApsaraMQ for RocketMQ. Jika tidak, sinkronisasi data gagal.
Jika Anda mengubah Schema Name, data akan ditulis ke Topik yang ditentukan.
Select DDL and DML Operations to Be Synchronized
Anda dapat memilih operasi SQL untuk sinkronisasi inkremental, sesuai kebutuhan.
Tingkat tabel
Konfigurasi
Deskripsi
Table Name
Nama topik tempat data yang akan disinkronkan ditulis. Secara default, parameter ini diatur ke nilai Topic di bagian Destination Database pada langkah Configurations for Source and Destination Databases.
PentingNama topik yang ditentukan harus ada di instans tujuan ApsaraMQ for RocketMQ. Jika tidak, sinkronisasi data gagal.
Jika Anda mengubah Table Name, data akan ditulis ke Topik yang Anda masukkan.
Filter Conditions
Untuk informasi selengkapnya, lihat Atur kondisi filter.
Select DDL and DML Operations to Be Synchronized
Anda dapat memilih operasi SQL untuk sinkronisasi inkremental, sesuai kebutuhan.
Partition Key
Saat Rules of the ordered messages delivered to RocketMQ. diatur ke Deliver data based on hash values of a specified column., Anda dapat menentukan satu atau beberapa kolom sebagai Kunci Partisi. DTS menghitung nilai hash untuk kolom yang ditentukan dan mengirimkan baris yang berbeda ke partisi yang sesuai dari topik target berdasarkan nilai hash yang dihitung.
Klik OK.