Flink のコアはストリーミング実行エンジンです。このエンジンは、分散ストリーミングコンピューティングのためのデータ配信、データ通信、およびフォールトトレランスなどの機能を提供します。ストリーミング実行エンジンに基づいて、Flink はより高い抽象レベルの API を提供し、分散タスクをコンパイルできるようにします。
背景情報
EMR Flink はオープンソースの Flink と完全に互換性があります。詳細については、オープンソース Flink の公式ドキュメントをご参照ください。参考文献:
シナリオ
Flink はリアルタイムのビッグデータコンピューティングに広く使用されています。このセクションでは、技術と企業アプリケーションの観点から、Flink の使用シナリオについて説明します。
技術
技術の観点から、Flink は以下のシナリオに適しています。
リアルタイムの抽出、変換、ロード (ETL) とデータストリーム
データは、リアルタイム ETL プロセスとデータストリームを使用してポイント A からポイント B に配信されます。データ配信中に、検索システムのリアルタイムインデックス作成やリアルタイムデータウェアハウスの ETL プロセスなど、データクレンジングと統合操作が必要になる場合があります。
リアルタイムデータ分析
リアルタイムデータ分析は、ビジネス目標を達成するために、生のデータから必要な情報を抽出して統合するプロセスです。たとえば、1 日あたりに販売された上位 10 製品、倉庫の平均ターンアラウンドタイム、ドキュメントの平均クリック率、プッシュ通知の到達率などを表示できます。リアルタイムデータ分析により、リアルタイムレポートまたはダッシュボードを表示できます。
イベント駆動型アプリケーション
イベント駆動型アプリケーションは、サブスクリプションイベントを処理または反応するシステムです。イベント駆動型アプリケーションは内部状態に依存し、不正検出時またはリスク管理システムや O&M 例外検出システムで検出された疑わしいイベントに応答します。行動がリスク管理ルールをトリガーした場合、システムはイベントをキャプチャし、現在および過去の行動を分析して、リスク管理を実行するかどうかを判断します。
企業
企業の観点から、Flink は以下のシナリオに適しています。
事業部門: リアルタイムのリスク管理、リアルタイムの推奨、検索エンジンのリアルタイムインデックス作成
データ部門: リアルタイムのデータウェアハウス、リアルタイムのレポート、リアルタイムのダッシュボード
O&M 部門: リアルタイムの監視、リアルタイムの例外検出とアラート、エンドツーエンドのデバッグ