Apache Paimon は、ストリーミングモードとバッチモードでデータを処理できるデータレイクストレージです。 Apache Paimon は、高スループットのデータ書き込みと低レイテンシのデータクエリをサポートしています。 Apache Paimon は、Alibaba Cloud E-MapReduce(EMR)の一般的なコンピュートエンジン(Flink、Spark、Hive、Trinoなど)と互換性があります。 Apache Paimon を使用すると、Hadoop Distributed File System(HDFS)またはAlibaba Cloud Object Storage Service(OSS)にデータレイクストレージサービスを効率的にデプロイし、データレイクストレージサービスを前述のコンピュートエンジンに接続してデータレイク分析を実行できます。
Apache Paimon には次の機能があります。
HDFS または OSS に基づいて、低コストの軽量データレイクストレージサービスを構築します。
ストリーミングモードとバッチモードで大規模データセットの読み取りおよび書き込み操作をサポートします。
数分、あるいは数秒以内にバッチクエリとオンライン分析処理(OLAP)クエリをサポートします。
増分データの使用と生成をサポートします。 Apache Paimon は、従来のデータウェアハウスとストリーミングデータウェアハウスの階層型ストレージに使用できます。
データの事前集計をサポートして、ストレージコストとダウンストリームのコンピューティングワークロードを削減します。
履歴バージョンのデータのバックトラッキングをサポートします。
効率的なデータフィルタリングをサポートします。
テーブルスキーマの変更をサポートします。
詳細については、Apache Paimon をご参照ください。