Apache Paimon adalah format penyimpanan data lake terpadu untuk aliran (stream) dan Batch yang mendukung penulisan ber-throughput tinggi serta kueri ber-latensi rendah. Mesin komputasi E-MapReduce seperti Flink, Spark, Hive, dan Trino terintegrasi dengan baik dengan Paimon, sehingga memungkinkan Anda membangun penyimpanan data lake di atas HDFS atau OSS untuk analitik data lake.
Apache Paimon menyediakan fitur-fitur inti berikut:
-
Layanan penyimpanan data lake yang ringan dan berbiaya rendah di HDFS atau OSS.
-
Membaca dan menulis set data berskala besar dalam mode aliran maupun Batch.
-
Kueri Batch dan OLAP dengan tingkat kesegaran data mulai dari hitungan menit hingga detik.
-
Konsumsi dan produksi data secara inkremental, berfungsi sebagai lapisan penyimpanan bagi gudang data tradisional maupun streaming.
-
Agregasi data awal untuk mengurangi biaya penyimpanan dan beban komputasi pada sistem downstream.
-
Time travel untuk mengkueri versi data historis.
-
Penyaringan data yang efisien.
-
Evolusi skema untuk tabel.
Untuk informasi lebih lanjut, lihat Apache Paimon.