Hologres自V3.0版本開始,支援在DLF 2.0資料來源(Paimon)的EXTERNAL SCHEMA下建立EXTERNAL TABLE,實現與資料湖資料的無縫互連。在此基礎上,Hologres從4.0版本開始,支援External Dynamic Table,通過External的能力在Paimon自動建立表,通過Dynamic Table的能力自動增量加工資料。通過External Dynamic Table,可以很好的實現資料自動加工回寫至資料湖的能力,滿足湖倉一體建設需求。
架構原理
功能優勢
External Dynamic Table具備External Table可以在Hologres中建立資料湖的表,也具備Dynamic Table的能力,有全量和增量重新整理兩種重新整理模式,實現資料的自動加工。其優勢如下:
一張表實現加工和回寫多個任務:只需要在一個External Dynamic Table實現資料加工,建立資料湖目標表並將加工好的資料同步至資料湖的能力,無需維護多個作業,只需要管理一個Dynamic Table任務即可,自動重新整理,重新整理即回寫,簡單易用。
資料自動增量寫湖:支援通過增量重新整理的模式將資料加工後的資料回寫至資料湖,增量的方式可以做到每次僅加工新增的資料量,相比其他產品,可以做到計算的資料量更少,資源使用更少,計算時效性更快。
計算成本更低:能結合Hologres Serverless,僅在每次重新整理時使用計算資源,用完自動釋放,無需常駐資源,靈活彈性,顯著降低成本,詳見什麼是Hologres Serverless型執行個體。
典型應用情境
External Dynamic Table通過External Table+Dynamic Table融合的能力,可以很好的適用於如下情境。
低成本的資料湖近即時查詢
External Dynamic Table的Base表可以是資料湖Paimon,通過增量的方式加工Paimon的資料,再自動回寫至Paimon,資料不出Paimon就能實現高效能的資料加工,加工好的資料還能通過Hologres External Table直接查詢,實現資料湖資料的近即時查詢。
湖倉一體
External Dynamic Table的Base表可以是Hologres內表,也可以是MaxCompute等資料倉儲的資料,資料加工後自動寫湖,以資料湖作為統一儲存,既能實現低成本的儲存,高效率的加工,也能實現湖和倉資料的有機融合。