Anda dapat menggunakan fitur Global Replicator dari ApsaraMQ for RocketMQ untuk menyinkronkan pesan dan progres konsumen lintas wilayah dan instans. Topik ini menjelaskan fitur Global Replicator.
Pendahuluan
Global Replicator memungkinkan Anda menyinkronkan pesan dan progres konsumen lintas wilayah dan instans. Fitur ini dapat digunakan dalam berbagai skenario, seperti sinkronisasi data antara kluster Apache RocketMQ dan ApsaraMQ for RocketMQ, pemulihan bencana geo, serta redundansi geo-aktif.
Sinkronisasi data cross-region
Global Replicator mendukung sinkronisasi pesan dan progres konsumen antara kluster di wilayah berbeda untuk memenuhi kebutuhan latensi rendah dan ketersediaan tinggi dalam skenario bisnis global.
Integrasi cross-instance yang mulus
Kompatibel dengan kluster open source Apache RocketMQ dan ApsaraMQ for RocketMQ, Global Replicator dapat secara fleksibel menyinkronkan pesan dan progres konsumen guna mewujudkan alur data dalam arsitektur Cloud Hibrida atau multi-cloud.
Dukungan terhadap berbagai jenis pesan
Global Replicator mendukung sinkronisasi jenis pesan berikut: pesan normal, pesan terurut, pesan terjadwal atau tertunda, serta pesan transaksional.
Dukungan terhadap sinkronisasi pesan dan progres konsumen
Jika terjadi error pada instans sumber, Anda dapat menggunakan fitur sinkronisasi cepat untuk menyinkronkan progres konsumen dari grup tujuan ke instans sumber, sehingga mengurangi jumlah pesan duplikat yang dikonsumsi.
Dukungan terhadap tugas sinkronisasi satu arah dan dua arah
Secara default, tugas sinkronisasi data dua arah mencegah terjadinya sinkronisasi siklik.
Global Replicator mengonsumsi resource baca dan tulis dari ApsaraMQ for RocketMQ. Sebelum menggunakan fitur ini, evaluasi spesifikasi komputasi yang dibutuhkan.
Gambar 1. Sinkronisasi pesan ApsaraMQ for RocketMQ
Skenario
Semua kluster yang terlibat dalam Global Replicator merupakan instans independen yang menyediakan layanan baca dan tulis. Pesan disinkronkan antar-instans secara asinkron. Global Replicator dapat digunakan dalam skenario berikut.
Sinkronisasi data (satu arah)
Bisnis yang diterapkan di setiap unit independen (lingkungan bisnis) diproses pada server terdekat tanpa akses data lintas jaringan, sehingga mencegah masalah timeout akibat jaringan. Anda dapat menggunakan kemampuan sinkronisasi satu arah Global Replicator untuk menyinkronkan data dari berbagai wilayah dan instans (kluster open source Apache RocketMQ dan ApsaraMQ for RocketMQ) ke wilayah pusat guna pemrosesan terpadu.
Industri: perbankan, sekuritas, asuransi
Arsitektur: multiple unit, satu pusat
Gambar 2. Arsitektur agregasi data di ApsaraMQ for RocketMQ
Pemulihan bencana geo (satu arah)
Kemampuan sinkronisasi satu arah Global Replicator dapat mewujudkan ketersediaan tinggi lintas wilayah dan lintas instans. Saat terjadi gangguan di pusat data atau wilayah tertentu, Anda dapat menggunakan kemampuan sinkronisasi satu arah untuk memulihkan bisnis secara cepat.
Industri: semua
Arsitektur: dua wilayah, dua pusat data
Gambar 3. Arsitektur pemulihan bencana geo di ApsaraMQ for RocketMQ
Dalam kondisi normal, Anda tidak perlu menjalankan aplikasi di wilayah atau pusat secondary. Hal ini membantu mengurangi konsumsi resource dan menghemat biaya. Jika terjadi pengecualian, Anda dapat menjalankan aplikasi di wilayah atau pusat secondary, lalu menggunakan fitur pengaturan ulang offset konsumen dari instans ApsaraMQ for RocketMQ untuk mengonsumsi jumlah minimum pesan historis dari instans sumber. Kami menyarankan agar Anda menerapkan idempotensi pesan dalam logika bisnis guna mengurangi dampak duplikasi pesan.
Redundansi geo-aktif (dua arah)
Jika Anda ingin menerapkan bisnis di multiple unit sekaligus memastikan kelangsungan bisnis, Anda dapat menggunakan kemampuan sinkronisasi dua arah Global Replicator untuk mewujudkan ketersediaan tinggi lintas wilayah dan lintas instans.
Industri: keuangan, energi, dan industri lain yang terkait dengan hajat hidup orang banyak
Arsitektur: dua wilayah, dua pusat data
Gambar 4. Arsitektur redundansi geo-aktif di ApsaraMQ for RocketMQ
Saat menggunakan fitur Global Replicator untuk menyinkronkan data, tag ditambahkan ke pesan. Tidak diperlukan pengembangan tambahan untuk aplikasi produsen, sedangkan aplikasi konsumen dapat mengonsumsi pesan yang mengandung tag tertentu dengan menggunakan metode filter SQL-92 yang disediakan oleh ApsaraMQ for RocketMQ.
Jika terjadi pengecualian, kemampuan disaster recovery bisnis dapat memastikan keseluruhan bisnis tetap berjalan sesuai harapan. Dalam hal ini, aplikasi produsen dapat menerima semua pesan dan mengirimkannya ke instans ApsaraMQ for RocketMQ yang tidak mengalami pengecualian. Namun, Anda harus mengubah kondisi filter pada aplikasi konsumen. Anda dapat menggunakan fitur pengaturan ulang offset konsumen dari instans ApsaraMQ for RocketMQ untuk mengonsumsi jumlah minimum pesan dari wilayah lain. Kami menyarankan agar Anda menerapkan idempotensi pesan dalam logika bisnis guna mengurangi dampak duplikasi pesan.
Arsitektur teknis
Global Replicator menyinkronkan pesan secara asinkron untuk mewujudkan sinkronisasi data cross-region melalui connector. Connector memiliki kemampuan scaling sistem terdistribusi dalam hitungan detik, tagging berbasis aturan, serta unggah dan unduh yang dapat dilanjutkan. Jaringan antar-instans yang berada di wilayah berbeda dihubungkan menggunakan Cloud Enterprise Network (CEN). Pesan dalam instans disinkronkan dengan latensi dalam hitungan detik.
Gambar 5. Arsitektur sinkronisasi data cross-region di ApsaraMQ for RocketMQ
Deskripsi permintaan pesan
Instans ApsaraMQ for RocketMQ yang terlibat dalam Global Replicator bersifat independen dan memiliki kemampuan baca-tulis. Instans yang diakses oleh aplikasi ditentukan oleh endpoint instans yang Anda konfigurasikan untuk aplikasi tersebut. Saat pesan disinkronkan antara dua instans, tag ditambahkan ke pesan berdasarkan kunci tag dan nilai yang ditentukan dalam atribut pengguna. Anda dapat menggunakan tag tersebut untuk memfilter pesan pada aplikasi konsumen guna menentukan apakah akan menerima seluruh data atau hanya data lokal. Gambar berikut menunjukkan cara menambahkan tag ke pesan. Untuk informasi lebih lanjut, lihat Catatan penggunaan.
Gambar 6. Penambahan tag ke pesan selama sinkronisasi pesan di ApsaraMQ for RocketMQ
Manfaat
Pengembangan low-code: Pesan disinkronkan antar-instans menggunakan Global Replicator, sehingga mengurangi beban pengembangan.
Konfigurasi fleksibel: Global Replicator memungkinkan Anda mengonfigurasi sinkronisasi pesan satu arah atau dua arah antar-instans serta menambahkan tag ke pesan untuk seleksi pesan yang fleksibel.
Sinkronisasi lintas wilayah dengan latensi rendah: EventBridge digunakan untuk mewujudkan sinkronisasi pesan, sehingga memastikan pesan dapat disinkronkan secara stabil dan fleksibel dengan latensi hanya beberapa detik.
Penagihan
Global Replicator bergantung pada EventBridge untuk sinkronisasi. Untuk informasi penagihan EventBridge, lihat Penagihan.
Global Replicator mengonsumsi resource baca dari instans sumber ApsaraMQ for RocketMQ dan resource tulis dari instans tujuan ApsaraMQ for RocketMQ. Untuk informasi penagihan ApsaraMQ for RocketMQ, lihat Penagihan.
Wilayah, edisi, dan versi yang didukung
Wilayah yang didukung: Global Replicator tersedia di semua wilayah yang didukung oleh ApsaraMQ for RocketMQ. Untuk informasi lebih lanjut, lihat Pemetaan wilayah antara kluster sumber dan tujuan.
Edisi dan versi yang didukung:
Instans ApsaraMQ for RocketMQ 4.0.
CatatanEdisi Standar hanya mendukung sinkronisasi satu arah.
Instans ApsaraMQ for RocketMQ 5.0.
Anda dapat menggunakan Global Replicator untuk menyinkronkan data antara instans ApsaraMQ for RocketMQ Edisi Enterprise Platinum dan kluster Apache RocketMQ. Versi Apache RocketMQ harus 4.4.0 atau lebih baru.
Anda dapat menggunakan Global Replicator untuk menyinkronkan data dari satu instans ApsaraMQ for RocketMQ ke multiple instans ApsaraMQ for RocketMQ.