即時資料消費

更新時間:
Copy as MD

即時資料消費功能包含高速資料匯入API和即時資料源消費兩部分,可實現資料直接寫入Segment(分區單元),避免通過COPYINSERT方式造成的Master寫入負載高的問題,也可實現使用AnalyticDB PostgreSQL單產品直接消費Kafka資料。

功能簡介

高速資料匯入API

gRPC是由Google主導開發的高效能、開源的通用RPC架構。高速資料匯入API利用gRPC協議作為用戶端API,內部使用Segment直寫技術實現了高效的資料轉送。您可以通過API更靈活地控制資料寫入和更新的過程。更多資訊,請參見高速資料匯入API

即時資料源消費

KafkaData Integration是即時分析功能的另一個組件,它允許AnalyticDB PostgreSQL資料庫即時地從Kafka Topic中消費資料。為您提供了一個強大的工具,用於結合流處理和批處理的資料分析。更多資訊,請參見即時消費Kafka資料

使用情境

  • 構建即時分析報表及其他即時分析應用。

  • 結合增量即時物化視圖構建流批一體的即時數倉。

  • 在採用SQL方式寫入資料(UPSERTUPDATE)但效能不佳時,使用高速資料匯入API獲得更高吞吐的UPSERT效能。

  • 需要將Kafka Topic資料匯入AnalyticDB PostgreSQL,但不希望使用其他Data Integration工具。

優勢

  • 可直接消費Kafka資料,減少即時處理組件依賴。

  • 被寫入資料不經過協調節點,而是直接通過計算節點寫入,較大幅度提升寫入吞吐。

  • 相較於SQL寫入(UPSERTUPDATE)方式,具有更高的效能。

  • 寫入過程對Master幾乎不產生負載。