本文將以部門情境和技術領域情境為例,為您介紹Realtime ComputeFlink版的巨量資料是即時化情境。
背景資訊
作為流式計算引擎,Flink可以廣泛應用於即時資料處理領域,例如ECS線上服務日誌,IoT情境下感應器資料等。同時Flink還能訂閱雲上資料庫RDS、PolarDB等關係型資料庫中Binlog的更新,並利用DataHub、SLS、Kafka等產品將即時資料收集到Realtime Compute產品中進行分析和處理。最終,分析結果可寫入不同的資料服務中,例如MaxCompute、MaxCompute-Hologres互動式分析、Platform for AI、Elasticsearch等,以提高資料利用率,滿足業務需求。
部門情境
從企業部門職能的角度,可以將Realtime ComputeFlink版劃分為以下情境:
業務部門:即時風控、即時推薦、搜尋引擎的即時索引構建等。
資料部門:即時數倉、即時報表、即時大屏等。
營運部門:即時監控、即時異常檢測和預警、全鏈路Debug等。
技術領域
從技術領域的角度,Realtime ComputeFlink版主要用於以下情境:
即時ETL和資料流
即時ETL和資料流的目的是即時地把資料從A點投遞到B點。在投遞的過程中可能添加資料清洗和整合的工作,例如即時構建搜尋系統的索引、即時數倉中的ETL過程等。
即時資料分析
資料分析指的是根據營運目標,從未經處理資料中抽取對應資訊並整合的過程。例如,查看每天銷量前10的商品、倉庫平均周轉時間、文檔平均單擊率、推送開啟率等。即時資料分析則是上述過程的即時化,通常在終端體現為即時報表或即時大屏。
事件驅動應用
事件驅動應用是對一系列訂閱事件進行處理或作出響應的系統。事件驅動應用通常需要依賴內部狀態,例如欺詐檢測、風控系統、營運異常檢測系統等。當使用者行為觸發某些風險控制點時,系統會捕獲這個事件,並根據使用者當前和之前的行為進行分析,決定是否對使用者進行風險控制。
風控監測系統
Realtime ComputeFlink版可以處理複雜的流處理和批處理任務,也提供了強大的API,執行複雜的數學計算並執行複雜事件處理規則,協助企業對即時資料進行即時分析,提高企業的風控能力。例如檢測APP中的點擊行為、識別loT資料流不規則變化等。
以上技術領域情境流程圖來自Apache Flink官網。