Open source Apache Flink performance comparison

リアルタイムコンピューティング Flink 版とオープンソース Apache Flink のパフォーマンス比較

リアルタイムコンピューティング Flink 版は、クラウドネイティブなインフラストラクチャとして設計されています。

コアコンピューティングエンジンでは、オープンソースの Apache Flink と比較して Alibaba Cloud 独自の最適化が施されており、これらの最適化は Alibaba グループの内部ビジネスで実戦の鍛錬を経てきました。現在、リアルタイムコンピューティング Flink 版は Ali グループの約 100 のビジネス部門のリアルタイムデータサービスを支えています。豊富なビジネス実践を通じて、サポートストレージ、スケジューリング、ネットワーク伝送の面で最適な効果にチューニングされています。

プラグイン面では、数十種類の強化されたコネクタを標準搭載しており、MySQL、HBase、HDFS、Alibaba Cloud SLS をはじめとする主流のオープンソースデータストレージにすべて接続でき、ネイティブに統合されてすぐに使える状態です。開発プラットフォームでは、開発・運用保守機能を組み込んだエンタープライズレベルのワンストップ開発プラットフォームを提供し、自社構築の手間を省き、エンタープライズユーザーの総合的なエクスペリエンスを向上させます。

リアルタイムコンピューティング Flink 版は、SQL、Java、Python などの多言語開発環境をサポートし、開発タスクのライフサイクル全体の管理を提供します。OIDC と RBAC に基づくエンタープライズレベルのセキュリティメカニズムをサポートし、Prometheus プロトコルに基づくエンドツーエンドのモニタリングとアラーム機能を備えています。独自の AutoPilot インテリジェントチューニングシステムを搭載し、リソースチューニングや同時実行数のチューニングなど、Flink タスクのパラメータをインテリジェントに調整します。ビジネストラフィックに完全に適応でき、手動でのチューニングは不要です（インテリジェントチューニングはリアルタイムコンピューティング Flink 版の核心的な優位性です）。

開発

開発面では、豊富なデータ接続機能とワンストップの多言語開発環境を備えています。さまざまなビルトイン関数ライブラリを備え、ユーザーがコードを効率的にデバッグできるほか、マルチテナント開発、タスクデバッグ、テストシミュレーションもサポートしています。

運用保守

運用保守面では、エンドツーエンドのモニタリングとアラームをサポートし、使用中のデータ遅延、データ異常、サービス中断に対して自動アラームを発行できます。インテリジェントな運用保守では、自動診断と最適化をサポートし、ビジネストラフィックに基づいてパフォーマンスチューニング、ジョブチューニング、パラメータチューニング、リソースチューニングを自動で実行し、問題の診断と最適化を行います。

リソースレベルでは、オープンソースを基盤としてより細粒度で精緻なリソース割り当てを実現し、各ジョブや各オペレーターを CPU やメモリの粒度で設定できます。これによりリソース使用率が大幅に最適化され、コスト削減、サービスの安定性向上、OOM の発生低減に貢献します。

Alibaba Cloud 純正の運用保守サービス、SLA 99.9% の保証、エンドツーエンドのフォールトトレランスとシステム安定性の保証により、ユーザーの懸念を完全に解消します。

コスト

コスト面では、クラウド上でのコスト最適化により、パフォーマンス向上と同時にユーザーの TCO を削減でき、これも核心的なパフォーマンス優位性です。

Nexmark に基づくストリームコンピューティングの標準ベンチマークでは、リアルタイムコンピューティング Flink 版のプロダクトパフォーマンスはオープンソースの約 3 倍です。Alibaba グループの強力な R&D チームが内部の核心的なビジネスシナリオで蓄積した実践的な最適化により、ユーザーの基盤コストを削減し、核心的な優位性を際立たせます。

リアルタイムコンピューティング Flink 版はクラウドネイティブなエラスティックスケーリング機能を備え、リソースを合理的に節約し、リソース使用率を向上させます。決済方法は年額・月額払いに対応し、従量課金もサポートしているため、さまざまなニーズに柔軟に対応できます。

セキュリティ

セキュリティ面では、コンテナ化されたタスク分離によりユーザーエクスペリエンスを向上し、テナント分離、セキュリティ分離、VPC 分離などの要件をサポートしています。同時に Alibaba のアカウントシステムと直接連携しており、ユーザーは Alibaba Cloud のアカウントに基づいてプロダクト間のセキュリティをシームレスに制御できます。ロールベースや OIDC などのオープンな ID 認証プロトコルもサポートし、ビジネスセキュリティを大幅に向上させます。

総じて、エンタープライズ版はオープンソース版よりも機能と安定性に優れています。運用保守面の優位性に加え、すぐに使える操作性もユーザーにとって大きな利点です。