Alibaba Cloud stellt neue Funktionen von Apache Flink 2.0 auf der Flink Forward Asia vor

Die erweiterte Datenverarbeitung in Flink 2.0 ist unverzichtbar im Zeitalter der generativen KI

Jakarta, Indonesien, 6. Dezember 2024 – Alibaba Cloud, das digitale Technologie- und Intelligenz-Rückgrat der Alibaba Group, präsentierte auf der Flink Forward Asia in Jakarta die innovativen Funktionen des kommenden Apache Flink 2.0. Diese Veranstaltung war die erste Konferenz in Südostasien, die sich den Fortschritten von Apache Flink widmete – einem Open-Source-Framework der Apache Software Foundation, das Stream-Verarbeitung und Batch-Verarbeitung vereinheitlicht. Als langjähriger Mitwirkender hat Alibaba Cloud eine zentrale Rolle bei der Weiterentwicklung der Apache-Flink-Community gespielt, insbesondere in Asien.

Feng Wang, Leiter der offenen Datenplattform bei Alibaba Cloud Intelligence, äußerte sich begeistert auf der Veranstaltung: „Mit der wachsenden Nachfrage nach Daten ist der Bedarf an effizienter, skalierbarer und einheitlicher Datenverarbeitung wichtiger denn je. Die bevorstehende Veröffentlichung von Flink 2.0 stellt einen bedeutenden Fortschritt seit dem Debüt im Jahr 2016 dar und fällt mit dem zehnten Jahrestag zusammen, an dem Flink zu einem Apache-Top-Level-Projekt wurde. Wir engagieren uns mehr denn je für die Unterstützung der Apache-Flink-Community und werden in naher Zukunft prüfen, wie wir die erweiterten Fähigkeiten von Flink 2.0 in unsere Cloud-Angebote für globale Kunden integrieren können.“

Feng Wang, Leiter der offenen Datenplattform bei Alibaba Cloud Intelligence

Neue Funktionen von Apache Flink 2.0 für eine neue Ära des Computings

Apache Flink 2.0, dessen Veröffentlichung für Anfang 2025 geplant ist, markiert eine bedeutende Weiterentwicklung der Datenverarbeitungstechnologien und unterstreicht den großen Fortschritt hin zu einer einheitlichen Batch- und Stream-Verarbeitungsarchitektur. Dies vereinfacht das Computing im Cloud-nativen Zeitalter und legt die Grundlage für die Bewältigung hybrider Workloads, die im Zeitalter der generativen KI unverzichtbar sind, wo anspruchsvolle Datenverarbeitungsfähigkeiten für neue KI-Anwendungen entscheidend sind.

Zu den wichtigsten Beiträgen von Alibaba Cloud zu Apache Flink 2.0 gehören:

â¢Entkoppelte Zustandsspeicherung und -verwaltung: Um die Cloud-native Zukunft von Flink zu ermöglichen, führt Alibaba Cloud die entkoppelte Zustandsspeicherung und -verwaltung ein – eine Funktion, die in Flink 2.0 Remote-Speicher als primären Speicher nutzt. Diese neue Architektur ermöglicht es Benutzern, riesige Datensätze ohne lokale Speicherbeschränkungen zu verarbeiten, Jobs schneller und effizienter zu skalieren, Ressourcenspitzen zu reduzieren und leichte, schnelle Checkpoints auf native Weise zu erreichen.

â¢Materialisierte Tabelle: Diese Funktion wurde entwickelt, um die Batch- und Stream-Datenverarbeitung weiter zu vereinfachen und gleichzeitig eine einheitliche Entwicklungserfahrung zu bieten. In der kommenden Version Flink 2.0 erweitert Alibaba Cloud die operative Unterstützung für materialisierte Tabellen, einschließlich der Connector-Integration mit hochmodernen Lake-Formaten und produktionsreifen Schedulern.

â¢Adaptive Batch-Ausführung: Durch die dynamische Optimierung logischer und physischer Pläne basierend auf Ausführungserkenntnissen verbessert Flink 2.0 die Effizienz und Leistungsfähigkeit von Batch-Verarbeitung und OLAP-Workloads (Online Analytical Processing).

â¢Streaming-Lakehouse-Architektur: Diese Architektur mit einheitlicher Stream-Batch-Verarbeitung unterstützt die Echtzeit-Datenanalyse besser, indem sie die einheitliche Datenspeicherung, das offene Format und die Kosteneffizienz des Lakehouse-Paradigmas nutzt. Dadurch können Benutzer dynamische Datenaktualisierungen und Abfragen mit unterschiedlichen Aktualitätsgraden besser bewältigen und so eine breite Palette analytischer Anforderungen erfüllen.

Kundenerfolge mit Apache Flink

Mekari, das führende Software-as-a-Service-Unternehmen (SaaS) in Indonesien, nutzte die leistungsstarken Stream-Verarbeitungsfähigkeiten von Flink 1.0, um Herausforderungen bei der Echtzeit-Datenverarbeitung und -integration zu meistern. Dies ermöglichte es ihnen, Daten in Echtzeit aus verschiedenen Quellen zu erfassen und nahtlos in MaxCompute, die großvolumige Datenverarbeitungsplattform von Alibaba, zu integrieren. Diese Integration verkürzte nicht nur die Verarbeitungszeit, sondern verbesserte auch die Geschwindigkeit und Qualität der Entscheidungsfindung durch zuverlässiges Streaming-Daten-Ingestion, wodurch die betriebliche Effizienz gesteigert und Stakeholdern zeitnahe, präzise Einblicke bereitgestellt wurden.

Wang fügte hinzu: „Apache Flink 2.0 zeigt die Zukunft der Datenverarbeitung und ihre potenziellen Auswirkungen auf die Cloud-plus-KI-Branche. Durch die Modernisierung seiner Komponenten, die Integration weiterer KI-Innovationen und die verbesserte Anbindung an andere Apache-Projekte hat Apache Flink einen neuen Maßstab für die Branche gesetzt. Wir freuen uns darauf, unser Engagement in der Apache-Flink-Community weiter auszubauen, um das volle Potenzial dieser bahnbrechenden Technologie auszuschöpfen.“

Auf der Veranstaltung gab Alibaba Cloud außerdem bekannt, dass Fluss (Flink Unified Streaming Storage) auf GitHub als Open Source veröffentlicht wurde – eine Streaming-Speicherlösung, die speziell für Echtzeitanalysen entwickelt wurde und als Echtzeit-Datenschicht auf der Lakehouse-Architektur dient. Fluss überbrückt effektiv die Lücke zwischen Daten-Streaming und Data-Lakehouse und ermöglicht Datenaufnahme und -verarbeitung mit niedriger Latenz und hohem Durchsatz. Es integriert sich nahtlos in führende Compute-Engines, einschließlich Apache Flink, und steigert so seinen Nutzen und seine Effizienz in der Datenverwaltung.

Alibaba Cloud hat seine Technologie kontinuierlich zur Weiterentwicklung der Open-Source-Apache-Flink-Community beigetragen, indem es die SQL- und Runtime-Ebenen von Flink optimierte sowie Flink mit anderen Ökosystemprojekten integrierte. Diese Innovationen haben die Gesamtmechanismen von Flink erheblich verbessert und sorgen für höhere Skalierbarkeit, Zuverlässigkeit, Stabilität und Leistungsfähigkeit.

Über Alibaba Cloud

Alibaba Cloud (www.alibabacloud.com) wurde 2009 gegründet und ist das digitale Technologie- und Intelligenz-Rückgrat der Alibaba Group. Das Unternehmen bietet Kunden weltweit ein umfassendes Portfolio an Cloud-Diensten, darunter elastisches Computing, Datenbank-, Speicher- und Netzwerkvirtualisierungsdienste sowie Großrechenleistungen, Sicherheit, Big-Data-Analysen, maschinelles Lernen und Dienste der künstlichen Intelligenz (KI). Laut Gartner ist Alibaba seit 2018 gemessen am Umsatz in US-Dollar der führende IaaS-Anbieter im asiatisch-pazifischen Raum. Auch laut IDC zählt Alibaba Cloud seit 2018 durchgehend zu den weltweit führenden Anbietern von Public-Cloud-IaaS-Diensten.