EMR on ECS
|
Catégorie |
Fonctionnalité |
Description |
Références |
|
Gestion des clusters |
Créer un cluster |
Construisez et exécutez des frameworks Big Data open source tels que Hadoop, Spark, Hive et Presto pour le traitement et l'analyse de données à grande échelle. |
Créer un cluster |
|
Libérer un cluster |
Si vous n'avez plus besoin d'un cluster EMR, libérez-le rapidement pour éviter des coûts inutiles. |
Libérer un cluster | |
|
Afficher les informations du cluster |
Consultez les informations générales sur les clusters appartenant à votre compte Alibaba Cloud ainsi que les détails d'un cluster spécifique. |
Interroger les clusters | |
|
Se connecter à un cluster |
Connectez-vous au nœud maître de votre cluster via SSH pour exécuter des commandes Linux destinées à la gestion du cluster. |
Se connecter à un cluster | |
|
Afficher les types de cluster |
EMR prend en charge plusieurs types de clusters, notamment DataLake, OLAP, Dataflow et DataServing, afin de répondre à divers besoins de traitement et d'analyse Big Data. |
||
|
Gestion des nœuds |
Gérer les groupes de nœuds |
Les groupes de nœuds constituent des ressources clés pour la gestion des nœuds au sein d'un cluster EMR. La plupart du temps, ils sont constitués d'instances Elastic Compute Service (ECS) de même type. |
|
|
Étendre un groupe de nœuds |
Ajoutez des nœuds Core ou Task pour étendre un cluster EMR dont les ressources de calcul ou de stockage sont insuffisantes. |
||
|
Réduire un groupe de nœuds |
Lorsque d'importantes ressources de calcul restent inutilisées dans un cluster EMR, vous pouvez réduire le nombre de nœuds Task. |
||
|
Étendre un disque |
Si l'espace disque d'un cluster s'avère insuffisant, augmentez la capacité des disques de données. |
||
|
Mettre à niveau la configuration des nœuds |
Si les vCPU ou la mémoire des instances ECS d'un groupe de nœuds ne répondent pas à vos exigences métier, mettez à niveau la configuration de ces instances. |
||
|
Afficher l'état de santé des nœuds |
L'état de santé d'un nœud indique si celui-ci fonctionne comme prévu. Il est agrégé à partir des résultats de plusieurs éléments de vérification de santé. |
||
|
Gestion des services |
Ajouter des services |
Une fois le cluster créé, ajoutez des services qui n'ont pas encore été déployés. |
|
|
Redémarrer un service |
Après avoir modifié les éléments de configuration d'un service, redémarrez-le pour que les changements prennent effet. Vous pouvez également redémarrer un service défaillant afin de le restaurer. |
||
|
Gérer les éléments de configuration |
Consultez, modifiez et ajoutez des éléments de configuration pour les services déployés dans un cluster depuis la console EMR. |
||
|
Restaurer la configuration d'un service |
Après avoir effectué des opérations sur les éléments de configuration d'un service dans la console EMR, vous avez la possibilité de restaurer la configuration précédente. |
||
|
Personnaliser la configuration logicielle |
Modifiez les configurations existantes ou ajoutez de nouveaux éléments de configuration lors de la création du cluster. |
||
|
Exporter et importer la configuration des services |
Exportez les configurations de service aux formats XML ou JSON pour effectuer des sauvegardes, des migrations ou des restaurations. Les configurations au format JSON peuvent être importées dans un nouveau cluster en tant que configurations prédéfinies. |
||
|
Accéder aux interfaces Web UI des composants open source |
Accédez aux interfaces Web UI des composants open source déployés dans un cluster EMR depuis l'onglet Liens d'accès et ports du cluster dans la console EMR. |
||
|
Afficher les informations sur les services du cluster |
Consultez les informations relatives aux services déployés dans un cluster EMR. Par exemple, vous pouvez afficher l'état, les composants et les éléments de configuration de services tels que HDFS et YARN. |
||
|
Afficher l'état de santé des services |
L'état de santé d'un service indique si celui-ci fonctionne comme prévu. Il est agrégé à partir des résultats de plusieurs éléments de vérification de santé. |
||
|
Gestion des composants |
Effectuer des opérations sur les composants |
Les clusters EMR intègrent une gamme de services Big Data destinés au traitement, à l'analyse et au stockage de données à grande échelle. EMR fournit des guides d'exploitation et des bonnes pratiques avancées pour chaque composant. |
|
|
Afficher les informations de déploiement des composants de service |
Consultez les informations de déploiement des composants de service sur chaque nœud d'un cluster EMR. |
||
|
Afficher l'état de santé des composants |
L'état de santé d'un composant indique si celui-ci fonctionne comme prévu. Il est agrégé à partir des résultats de plusieurs éléments de vérification de santé. |
||
|
Gestion des utilisateurs |
Ajouter un utilisateur |
Ajoutez un utilisateur RAM existant en tant qu'utilisateur EMR. Cela vous permet d'utiliser cet utilisateur RAM pour gérer les clusters EMR ou d'autres ressources de services cloud. |
|
|
Supprimer un utilisateur |
Supprimez un utilisateur existant d'un cluster EMR via la console EMR. |
||
|
Réinitialiser le mot de passe d'un utilisateur |
Réinitialisez le mot de passe d'un utilisateur. |
||
|
Télécharger les informations d'authentification |
Le téléchargement des informations d'authentification n'est possible que sur les clusters à haute sécurité. Vous pouvez télécharger le fichier keytab d'un compte utilisateur. |
||
|
Auto Scaling |
Ajouter des règles Auto Scaling |
Activez l'Auto Scaling et configurez des règles de mise à l'échelle pour votre cluster EMR. EMR ajuste automatiquement le nombre de nœuds Task pendant les heures de pointe et les heures creuses afin d'optimiser l'utilisation des ressources et de réduire les coûts. |
|
|
Afficher les activités Auto Scaling |
Consultez les modifications apportées aux nœuds d'un cluster ainsi que les journaux d'exécution des activités Auto Scaling. |
||
|
Afficher les informations générales sur les ressources du cluster |
La fonctionnalité Auto Scaling d'EMR vous aide à analyser les évolutions des ressources du cluster et propose des règles Auto Scaling recommandées. |
||
|
Afficher les résultats de l'analyse des coûts Auto Scaling de manière visuelle |
Consultez l'utilisation des ressources et la répartition des coûts sous plusieurs angles. Cela vous permet d'évaluer les économies générées par l'Auto Scaling et d'optimiser l'utilisation des ressources de votre cluster. |
||
|
Gestion des actions d'amorçage |
Gérer les actions d'amorçage |
Utilisez les actions d'amorçage pour installer des logiciels tiers et modifier l'environnement d'exécution de votre cluster. |
|
|
Exécuter manuellement des scripts |
Une fois le cluster créé, exécutez simultanément un script spécifié sur plusieurs nœuds afin de répondre à des besoins personnalisés. |
||
|
Journaux d'opérations |
Afficher les journaux d'opérations |
Consultez les journaux d'opérations des clusters. |
- |
|
Surveillance et alertes |
Surveiller les clusters |
Consultez les détails des métriques pour chaque service de votre cluster. |
- |
|
Gérer les règles d'alerte |
Créez des règles d'alerte pour surveiller l'utilisation des ressources des services dans vos clusters EMR. Lorsque les métriques atteignent certaines conditions, CloudMonitor envoie des notifications afin que vous puissiez traiter rapidement les anomalies du cluster. |
||
|
Gérer les journaux |
S'intègre à Simple Log Service pour vous permettre d'interroger les journaux des composants open source directement dans la console EMR. |
||
|
Vérification de l'état de santé |
Activer la vérification et l'analyse en temps réel |
EMR Doctor vérifie l'état du cluster en temps réel à intervalles de 5 minutes. Vous pouvez consulter l'état actuel, identifier les problèmes et leurs causes racines, puis procéder au dépannage approprié pour maintenir la stabilité du cluster. |
|
|
Afficher les rapports quotidiens du cluster et les résultats d'analyse |
Consultez l'état de santé de votre cluster et suivez les suggestions d'amélioration pour le maintenir dans un état optimal. |
||
|
Gateway |
Créer un cluster Gateway |
Utilisez un cluster Gateway pour équilibrer la charge et isoler les clusters afin de garantir la sécurité des données. Vous pouvez également soumettre des jobs à un cluster EMR via le cluster Gateway. |
|
|
Configurer un cluster Gateway |
EMR fournit l'outil EMR-CLI que vous pouvez utiliser pour déployer une passerelle sur une instance Alibaba Cloud ECS. |
EMR on ACK
|
Catégorie |
Fonctionnalité |
Description |
Références |
|
Gestion des clusters |
Créer un cluster |
Déployez des services Big Data open source sur Container Service for Kubernetes (ACK) afin de tirer parti de ses capacités de déploiement de services et de gestion de conteneurs. Cela réduit la charge opérationnelle liée à la maintenance des ressources sous-jacentes du cluster et vous permet de vous concentrer sur les jobs Big Data. |
|
|
Libérer un cluster |
Si vous n'avez plus besoin d'un cluster, libérez-le pour supprimer le namespace associé ainsi que tous les services logiciels déployés dans ce namespace. Toutefois, aucune ressource physique n'est libérée lors de cette opération. |
Libérer un cluster | |
|
Afficher les informations du cluster |
Consultez la liste des clusters et les détails d'un cluster spécifique au sein de votre compte Alibaba Cloud. |
||
|
Afficher les types de cluster |
Créez différents types de clusters depuis la page EMR on ACK. |
Créer un cluster | |
|
Gestion des services |
Redémarrer un service |
Après avoir modifié les éléments de configuration d'un service, vous devez le redémarrer pour que les modifications prennent effet. |
Redémarrer un service |
|
Accéder à l'interface Web UI des composants |
Une fois qu'un utilisateur RAM a été ajouté en tant qu'utilisateur EMR, il peut accéder à l'interface Web UI des services déployés dans le cluster. |
- |
|
|
Gérer les éléments de configuration |
Modifiez et ajoutez des éléments de configuration pour un cluster EMR. |
Gérer les éléments de configuration | |
|
Gestion des jobs |
Afficher les informations sur un job |
Consultez les informations relatives aux jobs présents dans un cluster EMR. |
Afficher les jobs |
EMR Workbench
|
Catégorie |
Fonctionnalité |
Description |
Références |
|
EMR Workflow |
Gérer les espaces de travail |
Effectuez les configurations, exécutez les tâches et lancez les workflows au sein d'un espace de travail. Les administrateurs peuvent ajouter des membres et attribuer des rôles pour favoriser la collaboration entre plusieurs profils. |
- |
|
Gérer les groupes de ressources de planification |
Les groupes de ressources de planification servent à planifier et exécuter les tâches. Si le groupe par défaut ne répond pas à vos exigences, procurez-vous un groupe aux spécifications supérieures. |
- |
|
|
Gérer les projets |
Modifiez les tâches et planifiez les workflows dans un projet spécifique. |
Créer un projet | |
|
Gérer les workflows |
Un workflow est un graphe acyclique dirigé (DAG) que vous créez en faisant glisser des tâches et en les associant entre elles. |
Gérer un workflow | |
|
Gérer les instances de workflow |
Une instance de workflow correspond à l'instanciation d'un workflow. Elle est générée lorsqu'un workflow est exécuté manuellement ou selon une planification. |
Gérer les instances de workflow | |
|
Gérer les tâches |
Une fois le workflow enregistré, effectuez des opérations sur les tâches existantes. |
Gérer les tâches | |
|
Gérer les instances de tâche |
Une fois le workflow enregistré, effectuez des opérations sur les instances de tâche existantes. |
Gérer les tâches | |
|
Gérer les tâches manuelles |
Créez une tâche manuelle indépendante d'un workflow. Ce type de tâche doit être exécuté manuellement. |
- |
|
|
Gérer les instances de tâches manuelles |
Une instance de tâche manuelle est générée chaque fois qu'une telle tâche est déclenchée manuellement. |
- |
|
|
Gérer les ressources |
Si vous souhaitez utiliser un package JAR tiers ou un script personnalisé lors de la planification, importez les fichiers requis dans le Centre de ressources. |
Gestion des ressources | |
|
Gérer les sources de données |
Configurez différentes sources de données afin de répondre à divers besoins de stockage et d'accès aux données. |
Gestion des sources de données | |
|
Utiliser le Centre de sécurité |
Le Centre de sécurité vous permet de gérer les utilisateurs, les instances d'alerte, les groupes d'alerte et les journaux d'audit. Cela facilite la mise en œuvre d'une gestion fine des autorisations et la surveillance sécurisée des opérations. |
- |