Topik ini menjelaskan latensi dan konsistensi data dalam Apache Paimon (Paimon).
Snapshot files
File snapshot menyediakan akses ke data dalam tabel Paimon dengan menangkap data pada titik waktu tertentu. File-file ini memungkinkan Anda mengubah offset konsumen dalam mode streaming dan menerapkan fitur time travel dalam mode batch.
Untuk informasi tentang cara melakukan kueri terhadap file snapshot dari tabel Paimon dan waktu pembuatannya, lihat Tabel Snapshots.
File snapshot digunakan untuk mengonsumsi data dari tabel Paimon. Secara default, file tersebut dipertahankan selama satu jam sebelum dihapus. Jika periode retensi terlalu singkat atau kecepatan konsumsi rendah, file snapshot mungkin dihapus saat masih sedang digunakan, yang menyebabkan error. Untuk mengatasi masalah ini, Anda dapat mengubah periode retensi file snapshot, menentukan ID konsumen, atau mengoptimalkan performa tabel Paimon.
Latensi
Saat data ditulis ke tabel Paimon, penulis menyimpan data dalam cache di memori dan file sementara. Setelah penerapan Flink memicu checkpoint, penulis melakukan commit data untuk menghasilkan file snapshot. Dalam mode streaming, konsumen downstream memantau daftar file snapshot dan hanya membaca data dari file snapshot terbaru yang terdeteksi.
Latensi data mengacu pada keterlambatan antara penulisan dan konsumsi data. Latensi ini bervariasi tergantung pada frekuensi pembuatan file snapshot. Jika tidak terjadi backpressure dalam penerapan Flink, file snapshot dihasilkan pada setiap checkpoint, sehingga latensi data tabel Paimon sama dengan interval checkpoint. Perlu diperhatikan bahwa interval checkpoint yang terlalu kecil dapat memengaruhi performa penerapan Flink. Kami menyarankan mengatur interval checkpoint antara 1 hingga 10 menit, dan memperpanjangnya sesuai kebutuhan bisnis untuk meningkatkan efisiensi baca-tulis.
Konsistensi
Paimon menggunakan protokol two-phase commit untuk melakukan commit data secara atomik. Jika Anda menggunakan dua penerapan Flink untuk menulis data secara konkuren ke tabel Paimon, perhatikan hal-hal berikut:
Kami menyarankan agar Anda tidak memodifikasi bucket yang sama. Hal ini memungkinkan commit konkuren dalam kedua penerapan dan menjamin konsistensi sekuensial.
Jika Anda memodifikasi bucket yang sama, Paimon akan memicu failover untuk menyelesaikan konflik data dan hanya menjamin isolasi snapshot. Ini memastikan tidak ada perubahan data yang hilang, tetapi status akhir tabel Paimon mungkin mencakup commit dari kedua penerapan tersebut.