Cette rubrique définit les termes clés d'E-MapReduce (EMR) Serverless Spark pour vous aider à appréhender le service avant de consulter la documentation.
Workspaces et ressources
| Terme | Définition |
|---|---|
| workspace | Unité de base du développement métier dans EMR Serverless Spark. Un workspace regroupe des jobs, des ressources de calcul et des permissions, tout en les isolant des autres workspaces. |
| resource queue | Pool de capacité de calcul mesuré en unités de calcul (CU). Chaque CU correspond à une configuration spécifique de vCore et de mémoire ; vous pouvez allouer un ou plusieurs CU à un nœud pilote ou exécuteur Spark. Chaque nœud de calcul dispose d'un stockage local de 20 à 160 GiB. Le nombre de CU consommés par un job dépend de sa complexité de calcul et de la distribution des données : consultez la liste des jobs pour vérifier l'utilisation réelle des CU. Pour plus de détails sur la tarification, voir Facturation. |
| session resource | Session Spark déployée au sein d'un workspace. Les sessions fournissent la puissance de calcul nécessaire à l'exécution d'instructions SQL et à l'utilisation de l'environnement notebook. Déployez une session dans une resource queue, puis ajustez sa version de moteur, son affectation de queue et ses paramètres Spark selon l'évolution de votre charge de travail. |
Contrôle d'accès
| Terme | Définition |
|---|---|
| user | Entité de contrôle d'accès. Ajoutez un utilisateur RAM en tant que membre d'un workspace et accordez-lui les permissions nécessaires pour gérer les jobs et les ressources de ce workspace. |
| role | Entité de contrôle d'accès regroupant des permissions. Un utilisateur peut endosser plusieurs rôles et plusieurs utilisateurs peuvent endosser le même rôle. Tous les utilisateurs endossant un rôle disposent des mêmes permissions. |
Exécution des jobs
| Terme | Définition |
|---|---|
| workflow | Séquence ordonnée de jobs. Les jobs d'un workflow sont interdépendants et s'exécutent dans un ordre précis. Utilisez les workflows pour modéliser des pipelines de données en plusieurs étapes avec un ordre d'exécution défini. |
| job run | Exécution unique d'un workflow. À chaque exécution d'un workflow, le système d'orchestration lui attribue un ID de job run. |
| publish | Action consistant à promouvoir un fichier de job brouillon vers la production. La publication est requise après modification d'un brouillon ; elle empêche les modifications en cours d'affecter la planification des jobs actifs et maintient la séparation entre les environnements de développement et de production. |