O Apache Paimon é um formato unificado de armazenamento em data lake para stream e batch que oferece suporte a gravações de alto throughput e consultas de baixa latência. Os mecanismos de computação do E-MapReduce, como Flink, Spark, Hive e Trino, integram-se perfeitamente ao Paimon e permitem criar armazenamento de data lake no HDFS ou OSS para análises.
O Apache Paimon oferece os seguintes recursos principais:
Serviços de armazenamento em data lake leves e de baixo custo no HDFS ou OSS.
Leitura e gravação de conjuntos de dados em grande escala nos modos stream e batch.
Consultas batch e OLAP com dados atualizados em minutos ou segundos.
Consumo e produção incremental de dados, funcionando como camada de armazenamento para data warehouses tradicionais e de streaming.
Pré-agregação de dados para reduzir custos de armazenamento e a carga computacional dos sistemas downstream.
Time travel para consultar versões históricas dos dados.
Filtragem eficiente de dados.
Evolução de schema das tabelas.
Para obter mais informações, consulte Apache Paimon.