Flink のコアはストリーミング実行エンジンです。このエンジンは、分散ストリーミングコンピューティングのためのデータ配信、データ通信、フォールトトレランスなどの機能を提供します。Flink は、このストリーミング実行エンジンをベースに、より高い抽象レベルの API を提供しています。
背景情報
E-MapReduce (EMR) の Flink は、オープンソースの Flink と完全に互換性があります。詳細については、「オープンソース Flink の公式ドキュメント」をご参照ください。参考資料：
シナリオ
Flink は、リアルタイムビッグデータコンピューティングで広く使用されています。このセクションでは、技術と企業の観点から Flink の使用シナリオについて説明します。
-
技術
技術の観点から、Flink は次のシナリオに適しています：
-
リアルタイム抽出、変換、ロード (ETL) とデータストリーム
データは、リアルタイム ETL プロセスとデータストリームを使用して、ポイント A からポイント B に配信されます。データ配信中に、データクレンジングやデータ統合などの操作が必要になる場合があります。例えば、検索システムにおけるリアルタイムインデックス作成や、リアルタイムデータウェアハウスにおける ETL プロセスなどが挙げられます。
-
リアルタイム分析
リアルタイム分析は、ビジネス目標を達成するために、生データから必要な情報を抽出して統合するプロセスです。例えば、1 日あたりの売上トップ 10 製品、倉庫の平均処理時間、ドキュメントの平均クリック率、プッシュ通知の到達率などを確認できます。リアルタイム分析により、リアルタイムレポートやダッシュボードを表示できます。
-
イベント駆動型アプリケーション
イベント駆動型アプリケーションは、サブスクリプションイベントを処理または反応するシステムです。イベント駆動型アプリケーションは、内部状態に依存し、不正検出、リスク管理システム、または運用・保守の異常検出システムで検出された疑わしいイベントに応答します。ユーザーの行動がリスク管理ルールをトリガーした場合、システムはイベントをキャプチャし、現在および過去の行動を分析して、リスク管理を実行するかどうかを判断します。
-
-
企業
企業の観点から、Flink は次のシナリオに適しています：
-
ビジネス部門：リアルタイムリスク制御、リアルタイムレコメンデーション、検索エンジンのリアルタイムインデックス作成
-
データ部門：リアルタイムデータウェアハウス、リアルタイムレポート、リアルタイムダッシュボード
-
運用・保守部門：リアルタイム監視、リアルタイム異常検出とアラート、エンドツーエンドのデバッグ
-