Alibaba Cloud Fluss for Apache Fluss adalah sistem penyimpanan aliran berbasis kolom berkinerja tinggi yang dibangun di atas Apache Fluss. Sistem ini menyediakan tanggapan baca dan tulis tingkat milidetik, pembaruan data real-time, serta pembaruan parsial per kolom. Fluss juga menawarkan fitur langganan log Change Data Capture (CDC) yang menjamin konsistensi pembacaan data lengkap maupun inkremental untuk skenario konsumsi data real-time.
Prasyarat
Sebelum memulai, Anda perlu memahami konsep-konsep berikut:
Ikhtisar produk
Arsitektur integrasi lake-stream dari Alibaba Cloud Fluss for Apache Fluss memungkinkan integrasi tanpa hambatan dengan format data lake seperti Apache Paimon. Pendekatan ini tidak hanya menjamin ketepatan waktu data yang tinggi, tetapi juga secara signifikan mengurangi biaya pembangunan dan pemeliharaan gudang data real-time. Melalui aliran data terpadu dan kolaborasi lake-stream, Fluss membantu organisasi menghilangkan silodata serta mempercepat penemuan nilai dan berbagi data secara efisien dalam data lake.
|
Fitur |
Deskripsi |
|
Baca dan tulis aliran tingkat milidetik |
Fluss mendukung operasi baca dan tulis aliran berlatensi rendah. Anda dapat menggunakannya bersama Apache Flink untuk membangun gudang data real-time ber-throughput tinggi dan latensi rendah guna mendukung berbagai skenario pemrosesan data real-time. |
|
Penurunan kueri aliran |
Fluss menggunakan format kolom Apache Arrow pada lapisan penyimpanannya dan mendukung fitur akselerasi kueri seperti pemangkasan kolom, penurunan partisi, penurunan predikat, serta penurunan agregat. Hal ini secara signifikan mengurangi beban I/O dan dapat meningkatkan performa kueri hingga 10 kali lipat. |
|
Langganan log CDC dan konsistensi data lengkap/inkremental |
Fluss memiliki mekanisme Change Data Capture (CDC) bawaan yang mendukung langganan real-time terhadap data binlog, sehingga menjamin konsistensi pembacaan data lengkap maupun inkremental. Dalam gudang data real-time, hal ini memungkinkan deduplikasi dan pembaruan, tata kelola data bertingkat, serta pemrosesan data end-to-end berlatensi rendah. |
|
Pembaruan parsial per kolom |
Fluss mendukung pembaruan parsial per kolom pada level primary key, memungkinkan penggabungan real-time beberapa aliran data dan menghindari masalah state besar yang umum terjadi pada join dual-stream tradisional. Bahkan dalam skenario pembaruan parsial, binlog lengkap tetap dihasilkan untuk menjamin pipa data real-time end-to-end. |
|
Delta Join |
Dibangun di atas kemampuan baca aliran dan kueri titik berindeks dari Fluss, Delta Join dapat menggantikan join dual-stream tradisional, sehingga secara signifikan mengurangi penggunaan memori dan CPU. Di lingkungan produksi, hal ini terbukti mengurangi konsumsi memori dan CPU Flink lebih dari 86%, sekaligus mempersingkat waktu checkpoint dari 90 detik menjadi 1 detik. |
|
Indeks sekunder dan kueri titik Key-Value |
Fluss mendukung pembuatan indeks sekunder untuk menyediakan kemampuan kueri titik Key-Value yang efisien. Hal ini memungkinkan pengguna melakukan kueri dan verifikasi data langsung di lapisan DWD/DWS tanpa perlu mengekspornya ke sistem lain. |
|
Penyimpanan bertingkat untuk data panas dan dingin serta integrasi lake-stream |
Fluss mendukung penyimpanan bertingkat otomatis untuk data panas dan dingin, menyeimbangkan performa dan biaya. Sistem ini juga terintegrasi secara mulus dengan format lake seperti Apache Paimon untuk memungkinkan manajemen dan berbagi data aliran serta lake secara terpadu, sehingga meningkatkan efisiensi biaya gudang data real-time Anda. |
Arsitektur produk
1. Arsitektur integrasi lake-stream
Fitur
-
Menggunakan data lake sebagai penyimpanan dasar untuk persistensi berbiaya rendah data historis, sekaligus memanfaatkan ekosistem lake untuk kueri dan analitik batch yang efisien.
-
Menyertakan kemampuan streaming-to-lake bawaan, memungkinkan data aliran ditulis secara real-time dan langsung terlihat tanpa bergantung pada alat integrasi data eksternal.
-
Mendukung manajemen bertingkat cerdas data antara penyimpanan aliran dan data lake. Saat data dikueri atau dikonsumsi, sistem secara otomatis menggabungkan tingkat tersebut untuk menyediakan tampilan akses terpadu.
-
Mengadopsi arsitektur open-source yang kompatibel dengan berbagai format lake utama (seperti DLF, Paimon, Iceberg, dan Lance) serta mesin kueri (seperti Flink, Spark, dan StarRocks), memungkinkan ekspansi yang fleksibel.
Keunggulan
-
Pemrosesan aliran dan batch terpadu: Mendukung pemrosesan aliran dan batch dalam satu kerangka kerja, sehingga mengurangi kompleksitas arsitektur dan biaya operasional.
-
Penyimpanan data terpadu: Aliran dan lake berbagi satu salinan data, menghindari penyimpanan redundan dan secara signifikan mengurangi total biaya penyimpanan.
-
Tata kelola data terpadu: Menyediakan kontrol akses dan manajemen metadata terpadu untuk menyederhanakan tata kelola data, menjamin keamanan dan konsistensi data.
2. Arsitektur kluster terdistribusi
Struktur
-
Setiap kluster Fluss terdiri dari satu Coordinator dan beberapa node TabletServer.
-
Coordinator bertanggung jawab atas manajemen metadata, penjadwalan tugas, dan koordinasi global.
-
Node TabletServer bertanggung jawab atas penyimpanan data aktual, komputasi, dan eksekusi kueri.
Keunggulan
-
Ketersediaan tinggi: Mekanisme backup multi-replika dan desain node terdistribusi menjamin keandalan dan ketersediaan data yang tinggi.
-
Skalabilitas: Mendukung penskalaan sesuai kebutuhan dengan menambahkan node TabletServer atau kluster untuk memenuhi kebutuhan bisnis yang terus berkembang.
-
Lapisan penyimpanan dingin mengarsipkan data jangka panjang, sehingga mengurangi biaya penyimpanan data panas.
3. Dukungan fitur
Fitur inti
-
Integrasi lake-stream
Mewujudkan integrasi mendalam antara data lake dan pemrosesan aliran, mendukung baik pemrosesan data real-time maupun analisis data historis.
-
Penurunan kueri aliran
Menurunkan logika kueri, seperti pemangkasan kolom dan penurunan partisi, ke lapisan TabletServer. Hal ini mengurangi transfer data dan meningkatkan performa kueri aliran.
-
Delta Join
Mendukung analisis join efisien antara data aliran dan data statis, cocok untuk kasus penggunaan seperti rekomendasi real-time dan profil pengguna.
-
Pembaruan real-time dan kueri titik
Mendukung pembaruan real-time dan pembaruan parsial per kolom pada jutaan QPS, serta kueri titik tabel dimensi. Sistem ini juga menghasilkan log perubahan CDC real-time untuk integrasi mulus dengan Flink guna membangun gudang data real-time end-to-end.
Fitur dasar
-
Monitoring dan peringatan
Memantau status sistem secara real-time dan memberikan peringatan untuk memastikan deteksi dan penyelesaian masalah yang cepat.
-
Manajemen database dan tabel
Mendukung operasi seperti membuat, mengubah, dan menghapus database serta tabel untuk mempermudah manajemen data dan kontrol akses.
-
Pemulihan bencana intra-kota
Menyediakan pemulihan bencana intra-kota untuk menjamin keamanan data dan kelangsungan bisnis.
-
Peningkatan otomatis
Mendukung peningkatan online untuk mengurangi downtime dan menjamin ketersediaan layanan yang berkelanjutan.
Manfaat
Lakehouse aliran dan batch terpadu
Fluss dirancang untuk membantu organisasi mengatasi tantangan umum dalam pemrosesan data real-time dan mengekstraksi lebih banyak nilai dari data. Manfaat utamanya meliputi:
-
Performa real-time dan latensi rendah
Fluss mendukung baca dan tulis tingkat milidetik. Anda dapat mengombinasikannya dengan mesin komputasi aliran seperti Apache Flink untuk membangun gudang data real-time ber-throughput tinggi dan latensi rendah yang memenuhi persyaratan ketepatan waktu ketat pada kasus penggunaan seperti perdagangan finansial dan rekomendasi e-commerce.
-
Optimalisasi biaya
Strategi penyimpanan bertingkat untuk data panas dan dingin secara signifikan mengurangi biaya penyimpanan. Sementara itu, arsitektur integrasi lake-stream meminimalkan redundansi data dan komputasi berlebihan, sehingga mengoptimalkan total biaya kepemilikan (TCO).
-
Peningkatan efisiensi analitik data
Teknologi seperti penurunan kueri dan Delta Join secara dramatis meningkatkan performa kueri, memperpendek pipa pemrosesan data, dan mempercepat wawasan bisnis.
-
Tata kelola dan keamanan data
Platform manajemen data terpadu mendukung isolasi multi-tenant, kontrol akses, dan audit operasi untuk menjamin keamanan dan kepatuhan data.
-
Skalabilitas fleksibel
Layanan ini mendukung skalabilitas elastis sesuai permintaan, memungkinkan Anda menangani puncak bisnis atau lonjakan trafik mendadak tanpa khawatir akan hambatan sumber daya.