Realtime Compute for Apache Flink は、Alibaba Cloud 上でリアルタイムデータパイプラインとストリーム処理アプリケーションを構築するための、フルマネージドでサーバーレスなプラットフォームです。
概要
Realtime Compute for Apache Flink は Apache Flink 上で動作し、クラスターのセットアップ、バージョン管理、リソースチューニングといった運用負荷を排除します。次のような利点があります。
-
管理するインフラストラクチャが不要 — クラスターを手動でプロビジョニング、パッチ適用、スケーリングする必要はありません。
-
常時稼働の自動スケーリング — Autopilot がジョブを継続的に監視し、スループットの変化、バックプレッシャー、リソースの無駄に対処するようリソース割り当てを自動的に調整します。
-
自動フォールトトレランス — エンドツーエンドの障害復旧と JobManager の高可用性が組み込まれており、単一障害点を排除します。
本サービスはサブセカンドのレイテンシーを実現し、SQL 演算子の最適化と自社開発の GeminiStateBackend により、Nexmark ベンチマークテストにおいてオープンソースの Apache Flink の 2 倍の性能を発揮します。
ユースケース
-
リアルタイム ETL と CDC パイプライン — Flink CDC データインジェストを使用してデータベース全体をデータウェアハウスやデータレイクに同期し、スキーマ進化と変更データキャプチャ (CDC) の組み込みサポートを提供します。
-
不正行為と異常検知 — 大量のイベントストリームに対して複合イベント処理 (CEP) ルールを適用し、リアルタイムでパターンを識別します。
-
リアルタイム分析ダッシュボード — Flink SQL を記述してストリーミングデータを集計し、サブセカンドの鮮度で結果を Hologres、ClickHouse、またはその他のダウンストリームシステムにプッシュします。
-
AI を活用したデータパイプライン — ストリーミングデータの前処理を AI とインテリジェントデータ分析 ワークフローと統合します。
-
ビジネスプロセスモニタリング — ルールベースのアラートと DingTalk または電子メール通知を使用してイベントストリームを処理することで、注文履行、配送ステータス、または顧客アクティビティを追跡します。
Apache Flink との比較
Realtime Compute for Apache Flink は Apache Flink の API とコネクタに完全に互換性があるため、既存のワークロードはコード変更なしで移行できます。主な違いを以下の表にまとめます。
|
領域 |
Apache Flink |
Realtime Compute for Apache Flink |
得られるメリット |
|
パフォーマンスとコスト |
|
|
|
|
互換性と統合 |
|
|
|
|
開発とデバッグ |
|
|
|
|
運用と管理 |
|
|
|
|
安定性と信頼性 |
|
大規模な本番環境ジョブ向けのエンタープライズグレードの信頼性。 |
|
|
エンタープライズサポート |
|
|
本番環境デプロイメントのための迅速な問題解決と信頼性の高いサービス。 |
|
セキュリティとアクセス制御 |
|
|
データセキュリティとコンプライアンスを実現する、統一された ID とアクセスの管理。 |
|
拡張性とエコシステム |
|
|
多様なリアルタイムユースケースに対応する柔軟で拡張可能なプラットフォーム。 |
課金
Realtime Compute for Apache Flink には、管理リソースとコンピューティングリソースの 2 つの課金項目があります。
3 つの課金方法を利用できます。
詳細については、「課金」をご参照ください。