Apache Paimon是一種流批統一的湖儲存格式,支援高吞吐的寫入和低延後查詢。目前阿里雲開源巨量資料平台E-MapReduce常見的計算引擎(例如Flink、Spark、Hive或Trino)都與Paimon有著較為完善的整合度。您可以藉助Apache Paimon快速地在HDFS或者雲端OSS上構建自己的資料湖儲存服務,並接入上述計算引擎實現資料湖的分析。
目前Apache Paimon提供以下核心能力:
基於HDFS或者Object Storage Service構建低成本的輕量級資料湖儲存服務。
支援在流模式與批模式下讀寫大規模資料集。
支援分鐘級到秒級資料新鮮度的批查詢和OLAP查詢。
支援消費與產生增量資料,可作為傳統數倉與流式數倉的各級儲存。
支援預彙總資料,降低儲存成本與下遊計算壓力。
支援歷史版本回溯。
支援高效的資料過濾。
支援表結構變更。
更多資訊,請參見Apache Paimon。