Alibaba Cloud Berbagi Fitur Baru Apache Flink 2.0 di Flink Forward Asia

Pemrosesan data yang ditingkatkan dalam Flink 2.0 sangat penting di era GenAI

Jakarta, Indonesia, 6 Desember 2024 - Alibaba Cloud, tulang punggung teknologi digital dan kecerdasan Alibaba Group, menyoroti fitur inovatif dari Apache Flink 2.0 yang akan datang di Flink Forward Asia di Jakarta. Acara ini menandai konferensi pertama di Asia Tenggara yang didedikasikan untuk kemajuan Apache Flink, sebuah framework open-source yang dirancang untuk menyatukan pemrosesan aliran dan pemrosesan batch oleh Apache Software Foundation. Sebagai kontributor jangka panjang, Alibaba Cloud telah memainkan peran penting dalam memajukan komunitas Apache Flink, khususnya di Asia.

Feng Wang, Kepala Platform Data Terbuka di Alibaba Cloud Intelligence, mengungkapkan antusiasmenya di acara tersebut: "Dengan meningkatnya permintaan akan data, kebutuhan akan pemrosesan data yang efisien, berskala, dan terpadu menjadi lebih kritis daripada sebelumnya. Rilis mendatang Flink 2.0 merupakan kemajuan signifikan sejak debutnya pada tahun 2016, bertepatan dengan peringatan sepuluh tahun Flink menjadi proyek tingkat atas Apache. Kami lebih berkomitmen daripada ever untuk mendukung komunitas Apache Flink, dan kami akan menjelajahi integrasi kemampuan Flink 2.0 yang ditingkatkan ke dalam penawaran cloud kami untuk pelanggan global dalam waktu dekat."

Feng Wang, Kepala Platform Data Terbuka di Alibaba Cloud Intelligence

Fitur Baru Apache Flink 2.0 untuk Era Komputasi Baru

Dijadwalkan untuk rilis pada awal 2025, Apache Flink 2.0 menandai evolusi signifikan dalam teknologi pemrosesan data, menekankan kemajuan besar menuju arsitektur pemrosesan batch dan aliran yang terpadu. Hal ini mengarah pada penyederhanaan komputasi di era cloud-native, meletakkan dasar untuk menangani beban kerja hibrida yang penting di era GenAI, di mana kemampuan pemrosesan data yang canggih sangat penting untuk aplikasi AI baru.

Kontribusi kunci oleh Alibaba Cloud untuk Apache Flink 2.0 meliputi:

•Penyimpanan dan manajemen status yang terpisah (Disaggregated state storage and management): Untuk memungkinkan masa depan cloud-native Flink, Alibaba Cloud memperkenalkan Penyimpanan dan Manajemen Status yang Terpisah, sebuah fitur yang menggunakan penyimpanan jarak jauh sebagai penyimpanan utama di Flink 2.0. Arsitektur baru ini memungkinkan pengguna menangani dataset masif tanpa khawatir tentang batasan disk lokal, mengubah skala job lebih cepat dan lebih efisien, mengurangi lonjakan resource, dan mencapai checkpoint yang ringan dan cepat secara native.

•Tabel Termaterialisasi (Materialized Table): Fitur ini dirancang untuk lebih menyederhanakan pemrosesan data batch dan aliran sambil memberikan pengalaman pengembangan yang terpadu. Dalam rilis Flink 2.0 yang akan datang, Alibaba Cloud meningkatkan dukungan operasional untuk Tabel Termaterialisasi, termasuk integrasi konektor dengan format lake terdepan dan penjadwal yang siap produksi.

•Eksekusi Batch Adaptif (Adaptive Batch Execution): Dengan mengoptimalkan rencana logis dan fisik secara dinamis berdasarkan wawasan eksekusi, Flink 2.0 meningkatkan efisiensi dan performa pemrosesan batch dan beban kerja Pemrosesan Analitik Online (OLAP).

•Arsitektur Streaming Lakehouse: Arsitektur ini, yang menampilkan pemrosesan terpadu aliran-batch, dapat lebih baik mendukung analitik data real-time dengan menggunakan penyimpanan data terpadu, format terbuka, dan efektivitas biaya dari paradigma Lakehouse. Akibatnya, pengguna dapat lebih baik menangani pembaruan data dinamis dan kueri dengan berbagai tingkat kesegaran, memenuhi berbagai kebutuhan analitik.

Kesuksesan Pelanggan dengan Apache Flink

Mekari, perusahaan software-as-a-service (SaaS) terkemuka di Indonesia, menggunakan kemampuan pemrosesan aliran yang tangguh dari Flink 1.0 untuk mengatasi tantangan dalam pemrosesan dan integrasi data real-time. Hal ini memungkinkan mereka menangkap data secara real-time dari berbagai sumber dan mengintegrasikannya secara mulus ke dalam MaxCompute, platform pemrosesan data berskala besar Alibaba. Integrasi ini tidak hanya mengurangi waktu pemrosesan tetapi juga meningkatkan kecepatan dan kualitas pengambilan keputusan melalui ingest data aliran yang andal, sehingga meningkatkan efisiensi operasional dan memberikan wawasan yang tepat waktu dan akurat kepada para pemangku kepentingan.

Wang menambahkan, "Apache Flink 2.0 mengungkapkan masa depan pemrosesan data dan dampak potensialnya pada industri cloud+AI. Dengan memodernisasi komponennya, merangkul lebih banyak inovasi AI, dan meningkatkan integrasi dengan proyek Apache lainnya, Apache Flink telah menetapkan tolok ukur baru untuk industri. Kami berharap dapat lebih lanjut melibatkan diri dengan komunitas Apache Flink untuk sepenuhnya menggunakan kemampuan teknologi yang revolusioner ini."

Di acara tersebut, Alibaba Cloud juga mengumumkan bahwa mereka telah membuka sumber Fluss (Flink Unified Streaming Storage) di GitHub, sebuah solusi penyimpanan aliran yang disesuaikan untuk analitik real-time yang berfungsi sebagai lapisan data real-time pada arsitektur Lakehouse. Fluss secara efektif menjembatani kesenjangan antara streaming data dan Data Lakehouse, memfasilitasi ingest dan pemrosesan data dengan latensi rendah dan throughput tinggi. Ini terintegrasi secara mulus dengan mesin komputasi terkemuka, termasuk Apache Flink, meningkatkan utilitas dan efisiensinya dalam manajemen data.

Alibaba Cloud telah berkontribusi dengan teknologinya untuk mendorong pengembangan komunitas Apache Flink open-source, mengoptimalkan Lapisan SQL dan Runtime Flink, serta mengintegrasikan Flink dengan proyek ekosistem lainnya. Inovasi-inovasi ini telah sangat meningkatkan mekanisme keseluruhan Flink untuk skalabilitas, keandalan, stabilitas, dan performa yang ditingkatkan.

Tentang Alibaba Cloud

Didirikan pada tahun 2009, Alibaba Cloud (www.alibabacloud.com) adalah tulang punggung teknologi digital dan kecerdasan Alibaba Group. Perusahaan ini menawarkan rangkaian lengkap layanan cloud kepada pelanggan di seluruh dunia, termasuk komputasi elastis, database, penyimpanan, layanan virtualisasi jaringan, komputasi berskala besar, keamanan, analitik big data, pembelajaran mesin, dan layanan kecerdasan buatan (AI). Alibaba telah dinobatkan sebagai penyedia IaaS terkemuka di Asia Pasifik berdasarkan pendapatan dalam dolar AS sejak 2018, menurut Gartner. Perusahaan ini juga mempertahankan posisinya sebagai salah satu penyedia layanan IaaS cloud publik terkemuka di dunia sejak 2018, menurut IDC.