Data Lake auf Alibaba Cloud

Daten aller Größen und Typen in Echtzeit speichern, verwalten und analysieren

Vertrieb kontaktieren

Übersicht
Highlights
Architektur
Sicherheit und Compliance
Ressourcen

Übersicht

Übersicht
Highlights
Architektur
Sicherheit und Compliance
Ressourcen

Alibaba Cloud Data Lake

Mit dem Alibaba Cloud Data Lake können Sie große Mengen strukturierter, halbstrukturierter und unstrukturierter Streaming-Daten speichern, verwalten und analysieren, um Datensilos aufzubrechen und geschäftliche Erkenntnisse zu gewinnen. Sie können Daten aller Größen und Formate unverändert speichern, Regeln über den gesamten Datenlebenszyklus konfigurieren, um Hot- und Cold-Daten flexibel entsprechend wechselnder Geschäftsanforderungen zu speichern, und Ihren Data Lake nahtlos mit verschiedenen Verarbeitungs- und KI-Engines (wie MaxCompute, Hologres, DataBricks, Platform for AI usw.) integrieren, um eine einheitliche Batch- und Stream-Verarbeitung zu ermöglichen.

Unbegrenzter Speicher

Der einheitliche Datenspeicher mit unbegrenzter Skalierbarkeit integriert lokale und Cloud-Daten – kostengünstig und ohne Wartungsaufwand.

Zentralisierte Verwaltung

Zentralisierte Metadatendienste mit hoher Kompatibilität für Datenspeicherformate ermöglichen eine einheitliche Datenverwaltung und die Unterstützung verschiedener Verarbeitungs-Engines.

Cloud-nativ

Containerisierte Rechenressourcen ermöglichen hyperskalare Elastizität und nahezu Echtzeit-Datenanalyse durch Streaming von Daten in den Data Lake.

Stärken Sie Ihr Unternehmen mit dem Alibaba Cloud Data Lake

Vollständig verwalteter Data Lake

Reduzieren Sie den Betriebs- und Wartungsaufwand und erleichtern Sie die Datenentwicklung und -verwaltung auf einer vollständig verwalteten Serverless-Architektur, die zahlreiche Datenanalyseszenarien unterstützt.

Vereinheitlichte Batch- und Streamverarbeitung

Vereinheitlichen Sie Echtzeit-Datenverarbeitung und Offline-Batchverarbeitung in einem einzigen Programmiermodell und ersetzen Sie die operative Komplexität des Codes durch Genauigkeit, Konsistenz und hohe Leistungsfähigkeit.

Alles-aus-einer-Hand-Datenmanagement

Umfassende Datenintegration, -entwicklung, Katalogisierung sowie Sicherheits- und Serviceverwaltung für Daten aller Typen und Größen in einem Data Lake mit einer Haltbarkeit von 99,9999999999 % (12 Neunen), unterstützt durch ein branchenführendes SLA.

Elastische Datenverarbeitungsressourcen

Erstellen und skalieren Sie Rechenknoten dynamisch für die Verarbeitungsanforderungen von Realtime Compute for Apache Flink auf Alibaba Cloud E-MapReduce (EMR), das Rechen- und Speicherressourcen entkoppelt und mehrere Open-Source-Rechen-Engines unterstützt.

Mehr über Data Lake auf Alibaba Cloud erfahren

Vertrieb kontaktieren

Funktionsweise

Der Alibaba Cloud Data Lake basiert auf einer durchgängig geschichteten Architektur. Jede Schicht bietet eine Reihe von Produkten und Tools zur Integration, Speicherung und Verarbeitung von Daten.

Datenspeicherschicht des Data Lake: Nimmt Rohdaten aller Typen in einem skalierbaren und sicheren Speicher auf, mit entsprechenden Speicherklassen für Hot und Cold Data je nach Zugriffsanforderungen

Data-Lake-Bildungsschicht: Erstellt einen Cloud-nativen Data Lake, der Batch- und Stream-Datenverarbeitung unterstützt, indem Metadaten aus verschiedenen Datenquellen über den gesamten Datenlebenszyklus zentralisiert werden – mit Berechtigungssteuerung auf Unternehmensebene.

Datenverarbeitungsschicht des Data Lake: Verbindet sich nahtlos mit verschiedenen Rechen-Engines und KI-Plattformen, um Benutzerabfragen auszuführen, erweiterte Datenanalysen durchzuführen und Geschäftseinblicke aus verwalteten Daten abzuleiten

Datenentwicklungs- und Governance-Schicht: Bietet effiziente, sichere und zuverlässige Dienste für Datenentwicklung und Governance auf Basis von Daten-Rechen-Engines

Object Storage Service (OSS)

E-MapReduce (EMR)

MaxCompute

Hologres

Platform for AI (PAI)

DataWorks

Vierschichtige Data-Lake-Architektur von Alibaba Cloud

Data-Lake-Speicher

Alibaba Cloud Object Storage Service (OSS) bietet branchenführende Skalierbarkeit, Langlebigkeit und Leistung. Sie können beliebige Datenmengen mit einer Langlebigkeit von 99,9999999999 % (12 Neunen) speichern und schützen – als skalierbare, sichere und kostengünstige Speichergrundlage für Ihren Data Lake. Sie können Daten aus IoT-Geräten, lokalen Umgebungen und Cloud-Umgebungen einfach in Ihren Data Lake aufnehmen und Lebenszyklusregeln konfigurieren, um häufig und selten genutzte Daten basierend auf Zugriffsanforderungen und Kosten in verschiedenen Speicherklassen abzulegen. Darüber hinaus können Sie JindoFS nutzen, um häufig genutzte Daten zwischenzuspeichern und den Datenzugriff über die HDSF-Schnittstelle für Datenanalyse-Frameworks (wie Apache Spark, Apache Hive, Presto und TensorFlow) zu beschleunigen.

Mehr erfahren >

Data Lake Formation

Data Lake Formation (DLF) ist eine Schlüsselkomponente des Cloud-nativen Data-Lake-Frameworks und bietet einen einfachen Weg zum Aufbau eines Cloud-nativen Data Lakes. DLF lässt sich nahtlos mit verschiedenen Rechen-Engines integrieren. Sie können Data-Lake-Metadaten zentral verwalten und Berechtigungen auf Unternehmensebene steuern. Die Architektur trennt Computing und Storage voneinander, sodass Sie Ressourcen bedarfsgerecht und kostengünstig planen und die Effizienz der Datenverarbeitung steigern können. Sie können DLF mit verschiedenen Datenverarbeitungs- und Analyseplattformen verbinden, um geschäftliche Erkenntnisse zu gewinnen, und JindoFS nutzen, um Data-Lake-Analysen mit hoher Leistung zu beschleunigen.

Mehr erfahren >

Data-Lake-Computing

Alibaba Cloud bietet eine Vielzahl von Datenverarbeitungs-Engines für unterschiedliche Anforderungen der Datenverarbeitung. Elastic MapReduce (EMR) ermöglicht die Nutzung von Hadoop- und Spark-Ökosystemkomponenten (wie Apache Hive, Apache Kafka, Flink, Druid und TensorFlow) zur Analyse und Verarbeitung von Daten, die in verschiedenen Alibaba-Cloud-Speicherdiensten gespeichert sind, einschließlich Object Storage Service (OSS), Simple Log Service (SLS) und ApsaraDB RDS. MaxCompute unterstützt verschiedene Data-Lake-Formate (wie Delta Lake und Hudi). Sie können ihn mit verschiedenen Datenquellen verbinden, um effiziente Abfragen auf großen Datensätzen durchzuführen. Hologres verbindet sich nahtlos mit Data Lake Formation (DLF), um Metadaten und Daten in Echtzeit zu lesen, und analysiert Daten im PB-Bereich mit hoher Parallelität und niedriger Latenz. Durch die Anbindung von Platform for AI (PAI) an diese Daten-Engines können Sie Data-Mining und Analysen durchführen, um intelligente Geschäftsdienste zu unterstützen.

Datenentwicklung und -governance

DataWorks ist eine schlüsselfertige Plattform, die professionelle, effiziente, sichere und zuverlässige Big-Data-Entwicklungs- und Governance-Dienste auf Basis von Big-Data-Rechen-Engines (wie MaxCompute, E-MapReduce (EMR) und Hologres) bereitstellt. DataWorks integriert die Best Practices der Alibaba-Daten-Middleware und Datengovernance, um Ihnen das Planen, Ausführen und Überwachen zahlreicher Aufgaben verschiedener Typen (wie Datenintegration, maschinelles Lernen und MaxCompute SQL) zu ermöglichen und täglich Hunderte von PB an Daten mit hoher Stabilität zu verarbeiten. Per Drag & Drop können Sie Ihre Datenworkflows individuell anpassen und erhalten visuelle Einblicke in die Datenentwicklung.