全部產品
Search
文件中心

Realtime Compute for Apache Flink:應用情境

更新時間:Jul 13, 2024

本文將以部門情境和技術領域情境為例,為您介紹Realtime ComputeFlink版的巨量資料是即時化情境。

背景資訊

作為流式計算引擎,Flink可以廣泛應用於即時資料處理領域,例如ECS線上服務日誌,IoT情境下感應器資料等。同時Flink還能訂閱雲上資料庫RDS、PolarDB等關係型資料庫中Binlog的更新,並利用DataHub、SLS、Kafka等產品將即時資料收集到Realtime Compute產品中進行分析和處理。最終,分析結果可寫入不同的資料服務中,例如MaxCompute、MaxCompute-Hologres互動式分析、Platform for AI、Elasticsearch等,以提高資料利用率,滿足業務需求。解決方案

部門情境

從企業部門職能的角度,可以將Realtime ComputeFlink版劃分為以下情境:department

  • 業務部門:即時風控、即時推薦、搜尋引擎的即時索引構建等。

  • 資料部門:即時數倉、即時報表、即時大屏等。

  • 營運部門:即時監控、即時異常檢測和預警、全鏈路Debug等。

技術領域

從技術領域的角度,Realtime ComputeFlink版主要用於以下情境:

即時ETL和資料流

即時ETL和資料流的目的是即時地把資料從A點投遞到B點。在投遞的過程中可能添加資料清洗和整合的工作,例如即時構建搜尋系統的索引、即時數倉中的ETL過程等。ETL

即時資料分析

資料分析指的是根據營運目標,從未經處理資料中抽取對應資訊並整合的過程。例如,查看每天銷量前10的商品、倉庫平均周轉時間、文檔平均單擊率、推送開啟率等。即時資料分析則是上述過程的即時化,通常在終端體現為即時報表或即時大屏。Realtime Analysis

事件驅動應用

事件驅動應用是對一系列訂閱事件進行處理或作出響應的系統。事件驅動應用通常需要依賴內部狀態,例如欺詐檢測、風控系統、營運異常檢測系統等。當使用者行為觸發某些風險控制點時,系統會捕獲這個事件,並根據使用者當前和之前的行為進行分析,決定是否對使用者進行風險控制。Evnet Oriented

風控監測系統

Realtime ComputeFlink版可以處理複雜的流處理和批處理任務,也提供了強大的API,執行複雜的數學計算並執行複雜事件處理規則,協助企業對即時資料進行即時分析,提高企業的風控能力。例如檢測APP中的點擊行為、識別loT資料流不規則變化等。

說明

以上技術領域情境流程圖來自Apache Flink官網