Stockage du data lake

Object Storage Service (OSS) d'Alibaba Cloud offre une évolutivité, une durabilité et des performances de premier plan. Vous pouvez y stocker et protéger n'importe quel volume de données avec une durabilité de 99,9999999999 % (12 neufs), constituant ainsi une base de stockage évolutive, sécurisée et économique pour votre data lake. Vous pouvez facilement ingérer des données provenant d'appareils IoT, d'environnements on-premises et cloud dans votre data lake, et configurer des règles de cycle de vie des données pour stocker les données chaudes et froides dans différentes classes de stockage en fonction des besoins d'accès et des coûts. Vous pouvez également tirer parti de JindoFS pour mettre en cache les données chaudes et accélérer l'accès aux données via l'interface HDSF pour les frameworks d'analyse de données (tels qu'Apache Spark, Apache Hive, Presto et TensorFlow).

En savoir plus >

Data Lake Formation

Data Lake Formation (DLF) est un composant clé du framework de data lake cloud natif et offre un moyen simple de construire un data lake cloud natif. DLF s'intègre de manière transparente à divers moteurs de calcul. Il permet de gérer les métadonnées du data lake de manière centralisée et de contrôler les autorisations de niveau entreprise. Son architecture sépare le calcul du stockage, ce qui permet de planifier les ressources à la demande à faible coût et d'améliorer l'efficacité du traitement des données. Vous pouvez le connecter à différents types de plateformes de calcul et d'analyse de données pour obtenir des informations sur la valeur métier et utiliser JindoFS pour accélérer l'analyse du data lake avec des performances élevées.

En savoir plus >

Calcul de lac de données

Alibaba Cloud propose divers moteurs de calcul de données pour répondre aux différents besoins de traitement. Elastic MapReduce (EMR) permet d'utiliser les composants des écosystèmes Hadoop et Spark (tels que Apache Hive, Apache Kafka, Flink, Druid et TensorFlow) pour analyser et traiter les données stockées sur les différents services de stockage d'Alibaba Cloud, notamment Object Storage Service (OSS), Simple Log Service (SLS) et Relational Database Service (RDS). MaxCompute prend en charge différents formats de lac de données (tels que Delta Lake et Hudi). Vous pouvez le connecter à différentes sources de données pour effectuer des requêtes efficaces sur des jeux de données massifs. Hologres se connecte facilement à Data Lake Formation pour lire les métadonnées et les données en temps réel, et analyse des données à l'échelle du pétaoctet avec un haut niveau de concurrence et une faible latence. Vous pouvez effectuer l'exploration et l'analyse de données pour alimenter des services métier intelligents en connectant Platform for AI à ces moteurs de données.

• E-MapReduce
• Hologres
• Realtime Compute for Apache Flink
• MaxCompute

Développement et gouvernance des données

DataWorks est une plateforme clé en main qui fournit des services professionnels, efficaces, sécurisés et fiables de développement et de gouvernance du big data, reposant sur des moteurs de calcul big data (tels que MaxCompute, E-MapReduce (EMR) et Hologres). DataWorks intègre les meilleures pratiques du data mid-end et de la gouvernance des données d'Alibaba pour planifier, exécuter et superviser un grand nombre de tâches de différents types (intégration de données, apprentissage automatique et MaxCompute SQL) et traiter des centaines de Po de données chaque jour avec une grande stabilité. Vous pouvez glisser-déposer pour personnaliser votre flux de travail de données et obtenir des informations visuelles sur le développement de données.

• DataWorks