E-MapReduce:Choose a deployment option

Plateforme de données entièrement gérée de niveau entreprise : Développez vos tâches sans avoir à construire votre propre infrastructure. La solution offre une gamme complète de fonctionnalités, du développement et du débogage jusqu'à l'O&M.

Moteur de calcul haute performance : Le moteur intégré Fusion Engine offre des performances jusqu'à quatre fois supérieures à celles de Spark open source. Il prend en charge le service Remote Shuffle Service Celeborn, qui fournit des capacités de shuffle à l'échelle du pétaoctet et réduit les coûts de calcul.

Évolutivité et élasticité élevées : Bâtie sur l'infrastructure serverless d'Alibaba Cloud, la solution assure une mise à l'échelle automatique des ressources en quelques secondes. La facturation repose sur les ressources de calcul effectivement utilisées, ce qui permet de réduire les coûts.

Observabilité des ressources et sécurité : La solution fournit une surveillance et des alertes au niveau des tâches et des ressources. Le déploiement s'effectue via un VPC et prend en charge un contrôle d'accès granulaire.

Architecture ouverte et intégration écosystémique : L'intégration avec OSS-HDFS, Data Lake Formation (DLF) et DataWorks est transparente. La solution prend en charge la séparation du calcul et du stockage et permet le partage de métadonnées centralisées.

Expérience de développement tout-en-un : La solution propose une gestion des versions intégrée et une isolation entre les environnements de développement et de production. Elle prend en charge le développement, le débogage, la publication et la planification des tâches.

Exécutez des tâches Spark via un service entièrement géré, sans avoir à gérer les ressources du cluster.

Scénarios nécessitant une forte élasticité et une facturation à la demande pour obtenir rapidement des ressources de calcul lors de pics soudains de charge.

Scénarios requérant un Spark haute performance et une plateforme lakehouse pour prendre en charge des lacs de données destinés à des charges de travail lakehouse ou IA.

Entièrement géré et sans O&M : Prêt à l'emploi. La solution propose une gestion visuelle des instances, une surveillance intelligente et des diagnostics de santé pour réduire significativement les coûts d'O&M.

Noyau cloud-native de niveau entreprise (Stella) : Basé sur une architecture découplant le stockage et le calcul, il est profondément optimisé pour les performances et la stabilité dans cette architecture ainsi que pour l'analytique lakehouse. Il prend en charge l'isolation de plusieurs groupes de calcul afin de garantir l'isolation des ressources pour les services critiques.

Plateforme de gestion des données tout-en-un : Intègre des fonctionnalités telles qu'un éditeur SQL, un contrôle des autorisations, des vues matérialisées, des tâches d'importation et des diagnostics SQL pour améliorer l'efficacité du développement et de la gestion.

Performances de requête ultra-rapides : L'architecture distribuée MPP (Massively Parallel Processing) et le moteur d'exécution entièrement vectorisé améliorent les performances des requêtes de 3 à 10 fois.

Optimisation intelligente des requêtes : L'optimiseur basé sur les coûts (CBO) sélectionne automatiquement le plan d'exécution optimal pour améliorer l'efficacité des requêtes complexes.

Mises à jour de données en temps réel : Le stockage columnar prend en charge l'importation de données en quelques secondes, les transactions ACID (atomicité, cohérence, isolation, durabilité) et des upserts efficaces pour répondre aux besoins d'analytique en temps réel.

Analytique lakehouse : Les vues matérialisées intelligentes sont synchronisées automatiquement pour simplifier le processus ETL (extraction, transformation et chargement). La solution prend en charge nativement des requêtes efficaces sur les formats de lac de données tels que Paimon, Iceberg, Hudi, Delta Lake et Hive.

Analyse OLAP multidimensionnelle : Prend en charge une analyse multidimensionnelle flexible et des requêtes ad hoc. Largement utilisé dans des scénarios tels que les rapports opérationnels, les personas utilisateurs, les plateformes de métriques et l'analytique BI, le service vous aide à prendre des décisions fondées sur les données.

Entrepôt de données en temps réel : Permet l'ingestion et la mise à jour des données en quelques secondes. Convient aux scénarios métier exigeant une faible latence, tels que la surveillance des stocks en temps réel, le suivi des commandes, l'analyse du comportement utilisateur et le contrôle des risques en temps réel.

Traitement et analytique lakehouse : Se connecte de manière transparente aux stockages de lac de données tels qu'OSS et HDFS. Vous pouvez interroger directement des formats comme Paimon et Iceberg, brisant ainsi les silos de données et permettant une analytique unifiée et efficace.

Composants riches : Intègre des composants open source tels que Hadoop, Spark, Hive, Flink et Presto, ainsi que des composants propriétaires tels qu'OSS-HDFS, JindoCache et DLF-Auth. Convient à divers scénarios, notamment le traitement par lots, le traitement de flux et les lacs de données.

Flexible et maîtrisable : Connectez-vous aux instances ECS pour effectuer des opérations personnalisées. La solution offre des capacités de création rapide de clusters, de mise à l'échelle automatique, de gestion de la configuration et d'O&M visuelle.

Stable et facile à utiliser : Utilise des composants 100 % open source de la communauté, optimisés pour l'environnement cloud afin d'améliorer les performances et d'éviter les problèmes de compatibilité de version. Configurez un environnement de calcul big data en quelques minutes et ajustez l'échelle des ressources en un seul clic.

Rentable : Utilisez les ressources de calcul à la demande. La solution prend en charge les modes de facturation par abonnement ou paiement à l'utilisation. Elle propose un stockage hiérarchisé automatique des données chaudes et froides ainsi qu'un ensemble riche d'outils d'O&M pour réduire les coûts totaux.

Mise à l'échelle automatique : Ajustez dynamiquement la taille du cluster en fonction de l'horaire ou de la charge de travail. La solution prend en charge plusieurs types de ressources élastiques.

Intégration profonde : S'intègre profondément avec les services Alibaba Cloud tels qu'OSS, DataWorks et DLF. Utilisez EMR comme moteur de calcul pour les tâches dans DataWorks.

Plateformes big data de niveau entreprise nécessitant un contrôle total sur les ressources de calcul et de stockage.

Besoins de personnalisation des environnements de déploiement et des configurations, tels que l'installation de composants open source spécifiques ou l'ajustement des paramètres du noyau.

Scénarios nécessitant un équilibre entre coût et performance, ainsi que la prise en charge de tâches par lots de longue durée ou de charges de travail mixtes.

Partage des ressources du cluster Kubernetes : Exécutez des tâches telles que Spark et Presto sur un cluster ACK existant. Partagez les ressources de conteneurs avec des services en ligne et les ressources de calcul entre les zones.

Réduction des coûts : Aucun besoin d'acheter un cluster ACK séparé. Réutilisez les ressources inutilisées du cluster ACK pour exécuter des tâches EMR en un seul clic. Cela convient aux déploiements hybrides de services en ligne et hors ligne.

O&M simplifiée : Gérez les applications en ligne et les tâches big data via un système d'O&M unifié. Exploitez les capacités d'ACK et d'Elastic Container Instance (ECI) pour obtenir plus rapidement des ressources de calcul élastiques.

Expérience optimisée : Prend en charge l'ajustement de la version de Spark au niveau de la tâche pour expérimenter rapidement de nouvelles fonctionnalités. Permet un basculement transparent entre les modèles de ressources ECS et ACK.

Intégration profonde avec l'architecture de lac de données : Adopte une architecture de lac de données cloud-native. Utilise ACK pour le calcul et OSS pour le stockage afin de réaliser la séparation du stockage et du calcul. DLF gère les métadonnées.

Vous disposez déjà d'un cluster ACK et souhaitez exécuter des tâches big data et des applications en ligne sur le même cluster pour réaliser un pool de ressources et une planification élastique.

Scénarios ayant une forte demande de gestion conteneurisée, nécessitant une combinaison de l'élasticité Kubernetes et de l'écosystème cloud-native (tel que CI/CD, service mesh et microservices).

Scénarios où vous souhaitez construire rapidement une architecture de lac de données et utiliser DLF pour gérer les métadonnées.