Realtime Compute for Apache Flink：GeminiStateBackend

Komputasi berstatus merupakan skenario kompleks dan menantang dalam pemrosesan aliran. Akses data untuk pemrosesan aliran memiliki karakteristik sebagai berikut:

• Banyak akses acak dengan sedikit kueri rentang.

• Lalu lintas data dan hotspot sering berubah. Dalam situasi ini, thread paralel yang berbeda dari operator yang sama menggunakan mode akses data yang berbeda.

GeminiStateBackend memberikan manfaat berikut:

• Menggunakan arsitektur baru dan desain struktur data untuk meningkatkan kinerja pemrosesan data secara keseluruhan.

  Arsitektur keseluruhan GeminiStateBackend didesain berdasarkan struktur data log-structured merge-tree (LSM tree). GeminiStateBackend menyediakan tiga kemampuan utama: adaptasi terhadap perubahan volume data dan pola akses, penyimpanan bertingkat data panas dan dingin, serta pergantian antara arsitektur anti-caching dan caching. GeminiStateBackend juga mendukung struktur penyimpanan hash untuk akses acak. Perbandingan kinerja menggunakan Nexmark menunjukkan bahwa GeminiStateBackend memberikan kinerja lebih baik dibandingkan RocksDBStateBackend. Kinerja sekitar setengah dari kasus penggunaan GeminiStateBackend lebih dari 70% lebih tinggi daripada kasus penggunaan RocksDBStateBackend.

• Mendukung pemisahan komputasi-penyimpanan untuk menghilangkan ketergantungan data status pada disk lokal.

  Ruang disk lokal terbatas, sehingga penyebaran dengan jumlah data status besar sering kali mengalami masalah kekurangan ruang disk lokal. Dalam banyak kasus, jika penyebaran yang menggunakan RocksDBStateBackend mengalami masalah kekurangan ruang disk lokal, Anda perlu meningkatkan paralelisme thread atau menggunakan metode lain untuk menambah sumber daya. GeminiStateBackend mendukung pemisahan komputasi-penyimpanan, sehingga penyimpanan status dapat independen dari disk lokal. Ini mencegah kegagalan penyebaran akibat data status lokal yang berlebihan. Untuk informasi lebih lanjut tentang konfigurasi terkait pemisahan komputasi-penyimpanan, lihat Parameter untuk pemisahan komputasi-penyimpanan.

• Mendukung pemisahan key-value adaptif untuk meningkatkan kinerja penyebaran secara signifikan, terutama dalam JOIN dua aliran atau JOIN multi-aliran.

  JOIN dua aliran atau JOIN multi-aliran adalah salah satu skenario paling menantang dalam pemrosesan aliran dan tipikal di mana penyimpanan status mengalami hambatan. GeminiStateBackend menyediakan fitur pemisahan key-value untuk beradaptasi dengan skenario di mana tingkat keberhasilan operasi JOIN rendah atau panjang nilai data status panjang. Fitur ini secara signifikan meningkatkan kinerja penyebaran yang melibatkan JOIN dua aliran atau JOIN multi-aliran. Pemisahan key-value mendukung penyesuaian adaptif tanpa konfigurasi dan optimasi manual. Verifikasi selama Festival Belanja Double 11 Alibaba Group menunjukkan bahwa throughput penyebaran dapat ditingkatkan sebesar 50% hingga 70% atau lebih tinggi, serta pemanfaatan sumber daya komputasi dapat ditingkatkan rata-rata sebesar 50%. Dalam skenario tipikal, pemanfaatan sumber daya komputasi dapat ditingkatkan sebesar 100% hingga 200%. Untuk informasi lebih lanjut tentang konfigurasi terkait pemisahan key-value, lihat Parameter untuk pemisahan key-value.

• Menggunakan savepoint ringan, yang mempercepat pembuatan checkpoint dan savepoint untuk penyebaran dengan sejumlah besar data status.

  GeminiStateBackend mendukung savepoint yang lebih halus dan melepaskan fitur checkpoint dari mekanisme compaction LSM tree. Hal ini mempercepat dan menstabilkan pembuatan checkpoint dan savepoint. GeminiStateBackend juga mendukung fitur Native Incremental Savepoint, yang digunakan bersama dengan savepoint asli dari Realtime Compute for Apache Flink untuk memberikan kinerja mirip dengan checkpoint. Ini meningkatkan ketersediaan savepoint.

• Mendukung penyetelan parameter adaptif, yang mengurangi beban kerja penyetelan parameter manual.

  Dalam tugas pemrosesan aliran, operator yang berbeda memiliki mode akses status yang berbeda. Dalam banyak kasus, kombinasi parameter yang berbeda diperlukan untuk mencapai kinerja optimal penyimpanan status. Konfigurasi parameter ini melibatkan teknologi dasar, dan penyetelan parameter manual memiliki biaya pembelajaran dan pemahaman yang tinggi. Untuk mengatasi masalah ini, GeminiStateBackend mendukung teknologi penyetelan parameter adaptif. Saat penyebaran berjalan, konfigurasi parameter dapat disetel secara otomatis berdasarkan mode akses data dan lalu lintas saat ini untuk mencapai kinerja optimal penyimpanan status dalam berbagai skenario. Verifikasi selama Festival Belanja Double 11 Alibaba Group menunjukkan bahwa teknologi ini dapat mengurangi penyetelan parameter manual lebih dari 95% dan meningkatkan throughput inti tunggal sebesar 10% hingga 40%. Untuk informasi lebih lanjut tentang konfigurasi terkait penyetelan parameter adaptif, lihat Parameter untuk penyetelan parameter adaptif.

Dalam contoh ini, kasus penggunaan terkait hambatan status dan sumber daya perangkat keras di Nexmark digunakan untuk membandingkan kinerja antara RocksDBStateBackend dan GeminiStateBackend.

Hasil perbandingan menunjukkan bahwa GeminiStateBackend secara signifikan mengoptimalkan kinerja keseluruhan (throughput inti tunggal) penyebaran. Tabel berikut menunjukkan hasil perbandingan.