Migrasi kluster Apache RocketMQ yang dikelola sendiri ke ApsaraMQ for RocketMQ - ApsaraMQ for RocketMQ

Dibandingkan dengan Apache RocketMQ open source, ApsaraMQ for RocketMQ dari Alibaba Cloud menawarkan stabilitas lebih tinggi, keamanan yang ditingkatkan, serta sistem O&M yang lebih komprehensif. Anda dapat memigrasikan kluster RocketMQ open source ke ApsaraMQ for RocketMQ untuk meningkatkan keandalan dan mengurangi beban operasional.

Perbandingan produk

ApsaraMQ for RocketMQ dari Alibaba Cloud menawarkan keunggulan signifikan dibandingkan Apache RocketMQ open source dalam hal arsitektur teknis, elastisitas, O&M, serta fitur enterprise-grade.

Item	Kluster Apache RocketMQ yang dikelola sendiri	Seri ApsaraMQ for RocketMQ 5.x
Storage elasticity	Tidak memiliki resource pool dan menggunakan arsitektur terikat penyimpanan-komputasi.	Memanfaatkan resource pool skala besar dari infrastruktur cloud dan menggunakan arsitektur terpisah penyimpanan-komputasi.
API and SDK access	Mendukung SDK Apache RocketMQ.	Mendukung SDK Apache RocketMQ. Mendukung SDK Alibaba Cloud ONS.
Technical architecture	Menggunakan disk lokal. Kapasitas storage space tidak dapat diskalakan secara elastis. Kapasitas yang tidak mencukupi dapat menyebabkan pembersihan data lebih awal. Biaya penyimpanan tinggi karena penggunaan beberapa replika.	Dibangun di atas fondasi penyimpanan cloud skala besar dan sepenuhnya serverless. Anda dapat menggunakan storage space sesuai kebutuhan tanpa perlu merencanakan skalabilitas. Penagihan berbasis pay-as-you-go. Untuk jumlah replika yang sama, biayanya hanya sepertiga dari kluster yang dikelola sendiri.
Compute elasticity	Anda harus merencanakan kapasitas berdasarkan penggunaan kluster. Harus menyediakan kapasitas cadangan. Proses scaling in kompleks. Tidak dapat menangani traffic lonjakan karena keterbatasan kecepatan scale-out.	Menyediakan elastisitas berdasarkan resource pool infrastruktur cloud. Elastisitas terencana: Anda dapat melakukan upgrade atau downgrade spesifikasi kapan saja, dan perubahan berlaku dalam hitungan menit. Elastisitas tak terencana: Mendukung traffic lonjakan. Anda tidak perlu menyediakan kapasitas besar, sehingga menghemat biaya.
O&M complexity	O&M manual melalui command line berbiaya tinggi dan berisiko. Tidak memiliki sistem observabilitas dan monitoring.	Platform as a Service (PaaS) yang sepenuhnya dikelola tanpa perlu O&M atau deployment sumber daya mesin. Menyediakan fitur siap pakai seperti diagnostik dasbor, pelacakan pesan, pemantauan, dan peringatan.
Stability guarantee	Memerlukan staf teknis berpengalaman untuk O&M yang dikelola sendiri.	Menyediakan jaminan Service-Level Agreement (SLA) yang jelas: Keandalan data: hingga 99,99999999%. Ketersediaan layanan: hingga 99,99%.
Enterprise-grade features	Memerlukan staf teknis berpengalaman untuk pengembangan kustom.	Menyediakan fitur siap pakai seperti peluncuran kanari ujung ke ujung, routing dan replikasi pesan, ekstrak, transformasi, dan muat (ETL), serta integrasi dan analisis event.
Systematic disaster recovery	Memerlukan staf teknis berpengalaman untuk O&M yang dikelola sendiri.	Menyediakan rencana pemulihan bencana sistematis berikut: Pemulihan bencana aktif-aktif intra-kota Pemulihan bencana geografis

Cara kerja solusi migrasi

Persyaratan dasar

RocketMQ banyak digunakan dalam skenario bisnis inti seperti pemrosesan pesanan dan pembayaran online. Sistem hulu dan hilir yang bergantung pada layanan messaging memiliki persyaratan stabilitas yang ketat, sehingga migrasi kluster RocketMQ harus dilakukan dengan hati-hati. Solusi migrasi harus memenuhi persyaratan berikut:

Tidak ada gangguan layanan

Proses migrasi tidak boleh memengaruhi aplikasi messaging lapis atas atau menyebabkan peningkatan signifikan pada jumlah error atau kegagalan.
Tidak ada duplikasi pesan yang signifikan

Migrasi tidak boleh menghasilkan banyak pesan duplikat. Hal ini mencegah bisnis Anda harus menangani duplikasi pesan sistematis akibat migrasi.
Pesan dikirim dan diterima secara real time.

Latensi pesan ujung ke ujung tidak boleh meningkat secara signifikan selama migrasi. Hal ini mencegah kegagalan pengiriman pesan.

Desain solusi

Untuk memenuhi kebutuhan migrasi ini, ApsaraMQ for RocketMQ menyediakan alat migrasi yang memfasilitasi peralihan lancar dan transparan, mencakup migrasi metadata—seperti topik, kelompok, dan offset konsumen—maupun pesan bisnis.

Migrasi metadata: Metadata dibaca dari kluster RocketMQ sumber yang dikelola sendiri dan disalin ke kluster tujuan ApsaraMQ for RocketMQ untuk membuat dan menyinkronkan metadata.
Migrasi pesan: ApsaraMQ for RocketMQ menggunakan komponen kontrol routing bawaan untuk melakukan proxy informasi routing topik di latar belakang. Komponen ini memungkinkan pengalihan dinamis trafik baca dan tulis client, sehingga prosesnya transparan bagi layanan Anda.

Seperti yang ditunjukkan pada gambar sebelumnya, asumsikan Topik A di kluster sumber memiliki delapan partisi baca dan delapan partisi tulis.

Tugas migrasi data juga membuat Topik A di kluster tujuan dengan jumlah partisi baca dan tulis yang sama seperti kluster sumber.
Saat proses migrasi pesan dimulai, komponen kontrol routing ApsaraMQ for RocketMQ mengelola informasi routing topik untuk kedua kluster (sumber dan tujuan). Komponen ini secara dinamis mengembalikan informasi partisi baca dan tulis ke client berdasarkan tahap migrasi. Contohnya:
- Skenario baca ganda: Komponen mengembalikan informasi semua 16 partisi baca dari kedua kluster (sumber dan tujuan).
- Hanya menulis ke kluster tujuan: Komponen hanya mengembalikan delapan partisi tulis dari kluster tujuan.

Manfaat solusi migrasi

Solusi migrasi cloud ApsaraMQ for RocketMQ menggunakan komponen proxy metadata routing pesan eksklusif yang dikembangkan oleh Alibaba Cloud. Komponen ini mendukung routing pesan, penjadwalan, dan kontrol pengalihan trafik dengan granularitas tingkat topik, memberikan manfaat berikut:

Tidak ada gangguan layanan dan dampak minimal pada messaging

Solusi migrasi mendukung pengalihan yang mulus. Selama pengalihan trafik, messaging tidak terganggu dan aplikasi bisnis tidak terpengaruh. Risiko latensi atau duplikasi pesan sangat rendah.
Tidak memerlukan sumber daya tambahan

Aplikasi Anda tidak perlu diskalakan atau dideploy di beberapa kluster. Migrasi hanya memerlukan upgrade konfigurasi secara rolling dan tidak membutuhkan sumber daya mesin tambahan.
Dampak bisnis rendah dan implementasi mudah

Selama migrasi, Anda hanya perlu mengubah konfigurasi endpoint untuk aplikasi Anda dan melakukan satu kali restart. Pengalihan trafik selanjutnya ditangani secara otomatis oleh konfigurasi dinamis di server ApsaraMQ for RocketMQ. Anda dapat melakukan peningkatan aplikasi hulu dan hilir secara independen tanpa perlu memetakan dependensi messaging.
Mendukung rilis canary dan rollback

Tugas migrasi beroperasi dengan granularitas tingkat topik. Anda dapat melakukan rilis canary untuk topik tertentu. Jika muncul risiko bisnis selama migrasi, Anda dapat melakukan rollback kapan saja.