From Messaging Service to Cloud Native Event Streaming Platform

Apache RocketMQ の歴史

Apache RocketMQ の過去 10 年間の発展を振り返ると、「インターネットでの誕生」と「クラウドコンピューティングでの成長」という 2 つの段階に分けることができます。

最初の段階は、Alibaba 内での RocketMQ の 0 から 1 への実装です。2012 年、超大規模 E コマースインターネットアーキテクチャをサポートするため、Alibaba ミドルウェアチームは RocketMQ を開発し、プロダクトの誕生と同時にオープンソース化しました。2017 年、RocketMQ は Alibaba 内のメッセージング技術を統一しました。

第二段階はクラウドコンピューティングです。RocketMQ は 2015 年にクラウドサービスとして提供を開始し、業界初のオープンソースメッセージキューとしてパブリッククラウド SaaS 形態を実現しました。2016 年に Alibaba は RocketMQ を Apache Software Foundation に寄贈し、2017 年にトップレベルプロジェクト（TLP）として卒業しました。これは中国初のインターネットミドルウェア TLP です。

10 年の研鑽を経て、磨かれた剣は抜き放たれたときに鋭さを放ちます。この 10 年間、RocketMQ はオープンソース、グループ、商用の統合という開発理念を一貫して堅持し、グループ内での安定性検証によるコア進化とプロダクトの反復、クラウドコンピューティングによるイノベーションのインキュベーション、およびオープンソースコミュニティとの共築による標準化の確立とエコシステム連携の加速を並行して推進してきました。2022 年の RocketMQ 5.0 の公式リリースは、クラウドネイティブ時代への全面的な参入を宣言するものでした。

RocketMQ 5.0：メッセージサービスからクラウドネイティブイベントフロー処理プラットフォームへ

この 10 年を振り返ると、RocketMQ は Alibaba Group のほぼすべてのビジネスを支えてきました。Alibaba Cloud では、RocketMQ は 10 万以上の企業顧客にサービスを提供し、インターネット、小売、金融、自動車など 20 以上の業界をカバーしています。大規模な本番運用の実践が、プロダクトのコアな強みを蓄積し続けています。

多様性。企業向けアプリケーションの複雑なビジネス要件に対応するため、RocketMQ はタイミングメッセージ、トランザクションメッセージ、順序付きメッセージなど豊富なメッセージタイプを提供し、さらにメッセージトレースやメッセージバックトラッキングなどの一連のメッセージガバナンス機能も備えています。

整合性。タオバオの取引と Ant の決済は、いずれもデータ整合性に対して高い要求を持っています。RocketMQ が提供する分散トランザクションメッセージは、業界で初めてこの機能を提供したメッセージプロダクトです。非同期デカップリングとデータ整合性を完璧に統合し、金融顧客にとって不可欠なプロダクト機能です。

安定性。安定性はプロダクトの基盤であり、同時に体系的なプロジェクトでもあります。RocketMQ は長年にわたり E コマースと金融の分野で磨かれ、最大 99.99% の SLA を保証するだけでなく、メッセージトレース、メッセージバックトラッキング、デッドレターメカニズムなどの包括的なヘルスチェックとトラブルシューティング機能を提供し、多様な手段で安定性を確保しています。

高性能。「独身の日」のトラフィックピーク時においても、RocketMQ は無制限のスケーラビリティを発揮し、数千万の同時接続と数兆のメッセージピークをサポートします。P9999 の書き込みレイテンシは 1 ms 以内、100% は 100 ms 以内です。

メッセージングの分野、特にビジネスメッセージングの分野において、RocketMQ は中国でトップクラスとなり、企業顧客にとって第一選択肢となっていると言えます。

クラウドネイティブとデジタル時代の到来に伴い、RocketMQ も急速に変化しています。主な変化はどのような点でしょうか。

まず、クラウドプリミティブを全面的に取り入れます。次に、メッセージングシステム自体がクラウドネイティブアーキテクチャへの進化を実現し、クラウドインフラのプーリング機能を最大限に解放し、メッセージングの核心的な技術指標を全面的に向上させます。さらに、メッセージングプロダクトの形態が進化を続け、マイクロサービス、イベント駆動、サーバーレスなどのモダンアプリケーションアーキテクチャの中核エンジンとなります。

次に、リアルタイムデータを全面的に取り入れます。企業のデジタルトランスフォーメーションは、従来のビジネスのデジタル化からデジタルビジネスへと移行し、ビジネスデータのリアルタイムなインサイトとリアルタイム意思決定が成功を導く鍵となっています。メッセージキューもオンラインビジネスアーキテクチャのインフラからリアルタイムデータアーキテクチャのインフラへと拡張し、トランザクション分析の統合を実現します。

5.0 のリリースに伴い、RocketMQ はメッセージサービスからクラウドネイティブイベントフロー処理プラットフォームへと正式にアップグレードされました。

RocketMQ 5.0：クラウドネイティブアーキテクチャのアップグレード

まず、RocketMQ 自体のクラウドネイティブアーキテクチャの進化を見ていきましょう。次の全体像から、RocketMQ がクライアントからサーバーまで包括的な変革を遂げたことがわかります。具体的には以下の通りです。

1. 軽量。RocketMQ 4.0 は 2012 年にタオバオ E コマース向けに誕生しました。当時、ほとんどのビジネスはまだ物理マシン上で稼働しており、シングルノードの計算能力は強く、クライアントノード数は少なく比較的安定していました。そのため、リッチクライアントのアクセス方式は効率的であり、クライアントサイドの負荷分散、メッセージキャッシュ、フェールオーバーなどの一連の企業向け機能も提供できました。しかし、クラウドネイティブ時代にはこのモードが変化し、軽量クライアントの方がクラウドネイティブ技術スタックに容易に統合されます。そのため、RocketMQ 5.0 クライアントは軽量 SDK 設計思想を採用し、従来のリッチクライアントのロジックをサーバー側に委譲しました。モダンアプリケーションの軽量、サーバーレス、メッシュのトレンドに対応し、より統合しやすくなっています。同時に、軽量であるからこそ SDK の多言語開発コストが大幅に低減され、現在、主流の多言語バージョンが迅速にカバーされています。

2. 弾力性。ストレージとコンピューティングの分離アーキテクチャにより、ステートレスなコンピューティングノードが迅速にスケーリングでき、階層型ストレージとコールドホット分離アーキテクチャにより、メッセージストレージがより弾力的になります。

3. 高可用性。新しい Leaderless アーキテクチャに基づき、レプリカ数の柔軟な選択、同期・非同期の自動切り替えを実現し、ZooKeeper への依存を排除しつつ秒レベルのフェイルオーバーを実現します。クラウド向けのマルチアベイラビリティゾーンおよびマルチリージョンにより、グローバルな高可用性を形成します。

4. 最後に、RocketMQ の全体的なアーキテクチャは Kubernetes へ移行し、OpenTelemetry を採用し、Alibaba Cloud が提供する ARMS、Prometheus、Grafana を活用して、観測機能のクラウドネイティブ化を実現しています。

RocketMQ 5.0 のアップグレードは、クラウドネイティブ化の技術アーキテクチャに加え、プロダクト機能とコスト最適化においても大幅な改善をもたらしました。以下、一つずつ見ていきましょう。

軽量かつステートレスなコンシュームモデル

RocketMQ 4.0 はキューベースのコンシュームモデルを採用し、コンシューマーはキュー負荷に基づいて完全に分散されます。バッチプルと高速消費、かつ個々のメッセージの状態に敏感ではないシナリオ（フローコンピューティングなど）に適しています。しかし、ビジネスメッセージングの分野、特に金融シナリオやイベント駆動型アーキテクチャでは、各メッセージの状態が極めて重要です。さらに、異なるビジネスタイプのメッセージ処理時間もミリ秒レベルから秒レベル、さらには分レベルまで異なり、キューの負荷不均一や短期間のブロックがメッセージの局所的な蓄積を引き起こし、エンドユーザー体験に影響を与える可能性があります。そのため、RocketMQ 5.0 はメッセージ負荷ベースの新しい軽量ステートレスコンシュームモデルを投入し、PoP メカニズムを通じてキューモデルの上にメッセージモデルを巧みに構築しました。ビジネス層はメッセージのみに注目すればよく、キューを気にする必要はありません。すべての API がメッセージレベルの制御（メッセージの消費、リトライ、削除など）をサポートします。メッセージベースのコンシュームモデルにより、クライアント、接続、消費はステートレスとなり、任意のプロキシノード上で浮動でき、真に軽量を実現しています。

RocketMQ 5.0 はキューベースのコンシュームモデルとメッセージベースのコンシュームモデルを提供し、イベントとフローのビジネスシナリオにより良く対応します。

大規模メッセージの階層型ストレージ

RocketMQ 5.0 のもう一つの主要なアップグレードは、大規模メッセージの階層型ストレージです。メッセージキューをご存知の方は、メッセージが通常短期保存であることを理解されています。業界のほとんどのメッセージプロダクトはメッセージの保持期間を優先し、3 日から 7 日、最長で 15 日です。限られたストレージ領域はメッセージの保持期間を制限するだけでなく、特定のシナリオではビジネス上の損失を引き起こす可能性があります。たとえば、未消費のメッセージがディスク領域不足や期限切れにより削除される場合があり、金融などの分野では許容できません。そのため、RocketMQ はこのような問題の解決に取り組み、ストレージをより柔軟にしてきました。

RocketMQ 5.0 は ESSD とオブジェクトストレージを基盤としたコールドホット分離と階層型ストレージアーキテクチャを構築し、低コストで無制限のストレージ容量を提供し、ローカルディスク領域不足によるメッセージの早期削除とそれに伴うビジネス損失を防ぎます。メッセージストレージに Serverless を提供し、顧客は実際のストレージ使用量に対してのみ課金すればよく、事前にストレージ容量を予約する必要はありません。

さらに、トラフィックのピーククリッピングはメッセージキューの非常に一般的な利用シナリオであり、それに伴う大規模なメッセージ蓄積能力と蓄積状態での性能安定性は、プロダクト性能を測る核心的な指標です。RocketMQ 5.0 はコールドデータ・ホットデータ分離アーキテクチャに基づいて読み書き分離をさらに実現し、蓄積シナリオでのホットデータの書き込み性能への影響を回避します。階層型ストレージのコールドデータ断片化により、コールドデータの読み取り性能を向上させ、一貫したコールド読み取り SLA を提供します。

販売シリーズのアップグレード、最大 50% のコスト削減

前述の紹介から、RocketMQ 5.0 が技術アーキテクチャとプロダクト機能を大幅に向上させたことをご理解いただけたと思います。

課金戦略と比較して、5.0 で導入された新しい販売形態はよりシンプルで柔軟かつ包括的です。1 つのインスタンスの総合コストを最大 50% 削減できます。最低アクセスしきい値は月額 390 元まで下がり、セルフ構築コストを大幅に下回ります。メッセージストレージは Serverless の柔軟性をサポートし、従量課金によりアイドルコストを大幅に削減できます。コールドホット分離のマルチレベルストレージ機能と組み合わせることで、オープンソースのセルフ構築と比較して 67% のコスト削減を実現し、メッセージキューの使用コストを大幅に削減します。

EventBridge：クラウドイベントハブ

イベント駆動型という概念は非常に古くから存在します。数十年前から、イベント駆動技術は OS カーネルの設計やクライアントプログラミングフレームワークの両方で広く使用されてきました。RocketMQ PushConsumer が提供する API も実際にはイベント駆動型プログラミングパラダイムですが、マイクロサービスアプリケーションアーキテクチャでは、統合と通信が単なる必要条件であり、イベント駆動の価値はそれほど顕著ではありませんでした。

クラウドネイティブ時代の到来により、コンピューティング能力の構成はますます多様化しています。クラウドネイティブの代表技術である Serverless アーキテクチャパラダイムもイベント駆動型です。Alibaba Cloud の Function Compute も AWS の Lambda も、主要なトリガーソースは各種イベントです。クラウドプロダクトイベント（OSS ファイルアップロードなど）がファンクションベースのファイル処理をトリガーします。ユーザービジネスイベント（RocketMQ がファンクションの実行と消費ロジック処理をトリガーするなど）もあります。

イベント駆動をコアコンセプトとして、Alibaba Cloud は EventBridge プロダクトをリリースしました。その使命はクラウド上にイベントハブを構築することです。EventBridge を通じて 4 つのビジネス価値を実現できます。

1. イベントハブの統一。Alibaba Cloud では IaaS、PaaS、サードパーティ SaaS から毎日数億のイベントが発生していますが、これらのイベントにアクセスするシンプルで統一された方法がありませんでした。これらのイベントは各所に散在して「イベントの島々」を形成し、有用なビジネス価値を掘り起こすことが困難でした。データの規模効果を最大限に発揮し、データ間の関連性を構築して初めて、データの価値をより深く掘り下げることができます。そのため、EventBridge の第一の使命は、Alibaba Cloud 上のイベント仕様を統一し、CloudEvents イベント標準を採用し、Alibaba Cloud の統一イベントハブを構築することです。

2. イベント駆動エンジン。多数のイベントソースを接続した EventBridge は、RocketMQ のミリ秒レベルのイベントトリガー機能に基づき、企業の EDA/Serverless アーキテクチャアップグレードを確実に加速します。

3. オープンかつ統合。EventBridge はクロスクラウド、クロスプラットフォーム、クロスプロダクト、クロスリージョン、クロスアカウントの豊富な接続機能を提供し、クラウドプロダクト、アプリケーション、SaaS サービスの統合を推進します。

4. ローコード。Serverless のアプリケーションセンターを活用し、EventBridge はシンプルなルールマッチングと豊富なテンプレートにより、イベントの配信、フィルタリング、変換などの処理を実現し、イベント駆動の効率をさらに向上させます。

メッセージをあらゆる場所に、イベントをあらゆる場所に

EventBridge、RocketMQ、Function Compute (FC) の強力な組み合わせにより、EventBridge のイベントエコシステムが形になり始めています。

クラウドプロダクトイベント統合では、200 以上のクラウドプロダクトイベントソースと 3,000 以上のイベントタイプが統合されています。

データ統合・処理では、EventBridge はマイクロサービスアプリケーション、ビッグデータ、IoT などのシナリオと深く統合されています。たとえば、メッセージエコシステムとの統合により、Alibaba Cloud の 6 つのメッセージキュープロダクトが EventBridge を通じてメッセージデータの相互接続を実現し、EventBridge のグローバルイベントネットワークによるグローバルメッセージルーティング機能を提供しています。同時に、EventBridge の豊富なテンプレートによる ETL データ処理能力も実現しています。

SaaS アプリケーション統合では、DingTalk、聚石塔をはじめとする 50 以上の SaaS サービスが Webhook を通じて EventBridge に接続できます。

イベントトリガーでは、EventBridge は 10 以上のイベントターゲットに対応しており、大量のイベントソースが EventBridge を通じて FC/SAE を含む 10 以上のイベントターゲットクラウドプロダクトをトリガーできます。さらに、現在 EventBridge は Alibaba Cloud のすべてのクラウドプロダクト API と連携しており、任意のイベントをクラウドプロダクト API 経由で配信できます。

今後、さらに多くのイベントソースとイベントターゲットが EventBridge に接続される予定です。

RocketMQ Streams：軽量コンピューティングの新たな選択肢

冒頭で述べたように、クラウドネイティブアーキテクチャの包括的なアップグレードに基づき、RocketMQ 5.0 はオンラインビジネスアーキテクチャのインフラからリアルタイムデータアーキテクチャのインフラへと拡張し、トランザクション分析の統合を実現します。RocketMQ Streams を軽量コンピューティングの新たな選択肢として位置づけます。

業界で最も一般的なビッグデータフレームワークの多く（Flink や Spark など）は、集中型の Master-Slave アーキテクチャを採用しており、依存関係が重く、デプロイも大規模です。各タスクの実行には多大なオーバーヘッドが必要で、使用コストが高くなります。一方、RocketMQ Streams は追加の依存関係なしに、軽量リソースと高性能に特化したコンピューティングエンジンを構築することに注力しています。最小 1 コア 1 GB でデプロイ可能で、大量データ、高フィルタリング、軽量ウィンドウコンピューティングが必要なシナリオに適しています。リソースセンシティブなシナリオ（メッセージキューストリームコンピューティング、セキュリティリスク管理、エッジコンピューティングなど）では、RocketMQ Streams は大きな優位性を持ちます。Alibaba Cloud のメッセージチームはセキュリティチームと協力し、フィルタリングシナリオの大量最適化により性能を 3〜5 倍向上させ、リソースを 50%〜80% 削減しました。

現在、RocketMQ Streams はオープンソースコミュニティでリリースされています。今後、2023 年 4 月に Alibaba Cloud で商用化される予定です。

RocketMQ、共に前進しよう

RocketMQ は 10 年以上の研鑽を経て、多くの成果を上げてきました。世界中に 700 人以上のコントリビューター、18,000 以上の Stars を獲得し、主要クラウドベンダーの 80% 以上が RocketMQ の商用ホスティングサービスを提供しています。Apache RocketMQ コミュニティは常に高いアクティビティを維持しており、「科学技術創新中国」オープンソースイノベーションリストや日中韓オープンソースソフトウェア優秀技術賞など、国内外で 10 以上のオープンソース賞を受賞しています。

RocketMQ のオリジンでありコアコントリビューターである Alibaba Cloud は、グループ全体のビジネスを 100% カバーするだけでなく、数千万の同時接続と数兆のメッセージを処理しています。過去 10 年間で 1,000 万以上の企業顧客にサービスを提供し、インターネット、小売、自動車など 20 以上の業界をカバーしています。トップ企業の 75% 以上が RocketMQ を選択しています。Alibaba Cloud のメッセージキュー RocketMQ が企業顧客の第一選択肢となることを目指しています。また、より多くの開発者に RocketMQ のオープンソースコミュニティ構築への積極的な参加を呼びかけ、RocketMQ をメッセージング分野のリーダーに育てていきます。