Flink は、分散ストリーム処理のためのデータ配信、通信、およびフォールトトレランスを処理するストリーミングデータフロー実行エンジンです。また、分散タスクを記述するための高レベル API も提供します。
オープンソース互換性
EMR Flink は、オープンソースの Flink と完全に互換性があります。主なコミュニティリソースは次のとおりです。
シナリオ
Flink は、技術的なシナリオからエンタープライズアプリケーションまで、幅広いリアルタイムビッグデータシナリオをサポートします。
-
技術分野
Flink は、以下の技術シナリオに対応します。
-
リアルタイム ETL とデータストリーム
リアルタイム ETL とデータストリームは、インラインでクレンジングと統合を行いながら、システム間でデータを配信します。例として、リアルタイム検索エンジンのインデックス作成やデータウェアハウスの ETL パイプラインが挙げられます。
-
リアルタイムデータ分析
リアルタイムデータ分析では、生データが到着すると同時に実用的なインサイトを抽出します。例として、日次トップ 10 商品ランキング、倉庫回転期間、クリック率、プッシュ開封率が挙げられます。結果は通常、リアルタイムダッシュボードとレポートに表示されます。
-
イベント駆動型アプリケーション
イベント駆動型アプリケーションは、内部状態を使用してサブスクライブしているイベントを処理します。例として、不正検知、リスクコントロール、O&M 異常検知が挙げられます。リスクコントロールルールがトリガーされると、システムは現在および過去の動作を分析し、アクションが必要かどうかを判断します。
-
-
エンタープライズアプリケーション
エンタープライズの観点から、一般的な Flink アプリケーションには以下が含まれます。
-
ビジネス：リアルタイムリスクコントロール、リアルタイムレコメンデーション、検索エンジンのインデックス作成。
-
データ：リアルタイムデータウェアハウス、リアルタイムレポート、リアルタイムダッシュボード。
-
O&M：リアルタイムモニタリング、リアルタイムでの異常検知とアラート、エンドツーエンドデバッグ。
-