EMR on ACK vous permet d'exécuter des charges de travail Big Data open source sur Alibaba Cloud Container Service for Kubernetes (ACK). ACK gère le cycle de vie des conteneurs et le déploiement des services, ce qui permet à votre équipe de se concentrer sur les jobs Big Data plutôt que sur l'infrastructure du cluster.
Public concerné
Si vous utilisez déjà EMR on ECS, créez un cluster EMR on ACK pour exécuter des jobs Spark et Presto aux côtés de vos charges de travail existantes. Différentes applications partagent un seul cluster ACK et les ressources de calcul peuvent être mutualisées entre plusieurs zones.
Si vous exécutez déjà des jobs Big Data sur ACK, EMR on ACK automatise le déploiement et la gestion du cluster pour les charges de travail Spark et Presto. Combinez EMR on ACK avec EMR Shuffle Service pour améliorer considérablement les performances des jobs Spark.
Comparaison des fonctionnalités
Alibaba Cloud E-MapReduce (EMR) propose deux modèles de déploiement pour répondre à différents besoins en infrastructure.
| Type | Description |
|---|---|
| EMR on ECS | EMR déploie les composants de l'écosystème Hadoop open source sur des instances Elastic Compute Service (ECS) et les exécute en tant que services. Gérez les instances ECS et les services depuis la console EMR, puis soumettez les jobs Big Data au cluster. |
| EMR on ACK | Déployez d'abord un cluster ACK. EMR déploie ensuite les composants de service Big Data sur les ressources ACK et les exécute dans des conteneurs. |
Avantages
Rentabilité
Exécutez des jobs Big Data sur un cluster ACK existant avec une configuration minimale : aucun cluster distinct n'est requis pour les services Big Data. Réutilisez les ressources inactives du cluster pour exécuter des charges de travail EMR, telles que des jobs Spark et Presto, en un seul clic. Dans les scénarios mixtes associant des charges de travail en ligne et hors ligne, les applications Big Data et en ligne partagent les ressources du cluster, ce qui permet de lisser les pics de charge et de maximiser l'utilisation des ressources.
Simplification des opérations et de la maintenance (O&M)
Un système unique de gestion des opérations et du cluster couvre à la fois les services Big Data et les applications en ligne, ce qui simplifie les tâches O&M.
Expérience utilisateur optimisée
EMR prend en charge deux modèles Infrastructure as a Service (IaaS) — EMR on ECS et EMR on ACK — avec un basculement transparent entre les deux. ACK et Elastic Container Instance (ECI) fournissent rapidement des ressources de calcul élastiques pour répondre aux pics de demande. Ajustez la version de Spark au niveau du job pour tester de nouvelles fonctionnalités ou satisfaire différentes exigences métier sans modifier l'ensemble du cluster.
Intégration poussée
EMR on ACK s'appuie sur une architecture de data lake cloud native :
Calcul : Alibaba Cloud ACK offre une mise à l'échelle illimitée des ressources de calcul.
Stockage : Alibaba Cloud Object Storage Service (OSS) découple le stockage du calcul.
Métadonnées : Data Lake Formation (DLF) gère les métadonnées pour prendre en charge votre data lake.