即時資料消費
更新時間:
Copy as MD
即時資料消費功能包含高速資料匯入API和即時資料源消費兩部分,可實現資料直接寫入Segment(分區單元),避免通過COPY或INSERT方式造成的Master寫入負載高的問題,也可實現使用AnalyticDB PostgreSQL版單產品直接消費Kafka資料。
功能簡介
高速資料匯入API
gRPC是由Google主導開發的高效能、開源的通用RPC架構。高速資料匯入API利用gRPC協議作為用戶端API,內部使用Segment直寫技術實現了高效的資料轉送。您可以通過API更靈活地控制資料寫入和更新的過程。更多資訊,請參見高速資料匯入API。
即時資料源消費
KafkaData Integration是即時分析功能的另一個組件,它允許AnalyticDB PostgreSQL版資料庫即時地從Kafka Topic中消費資料。為您提供了一個強大的工具,用於結合流處理和批處理的資料分析。更多資訊,請參見即時消費Kafka資料。
使用情境
構建即時分析報表及其他即時分析應用。
結合增量即時物化視圖構建流批一體的即時數倉。
在採用SQL方式寫入資料(UPSERT或UPDATE)但效能不佳時,使用高速資料匯入API獲得更高吞吐的UPSERT效能。
需要將Kafka Topic資料匯入AnalyticDB PostgreSQL版,但不希望使用其他Data Integration工具。
優勢
可直接消費Kafka資料,減少即時處理組件依賴。
被寫入資料不經過協調節點,而是直接通過計算節點寫入,較大幅度提升寫入吞吐。
相較於SQL寫入(UPSERT或UPDATE)方式,具有更高的效能。
寫入過程對Master幾乎不產生負載。
该文章对您有帮助吗?