Les jobs MapReduce de MaxCompute traitent les données en quatre étapes : Map/Reduce, Sort, Partition et Combiner, chacune disposant d'options de configuration spécifiques. Maîtriser ces termes vous aide à concevoir vos jobs correctement et à déboguer les résultats inattendus.
Fonctionnement
Les données circulent dans un job MapRelease selon l'ordre suivant :
(input) → map → [combine] → shuffle & sort → reduce → (output)Chaque terme de cette rubrique correspond à une étape ou à une option de configuration de ce pipeline.
Map/Reduce
Une tâche map ou reduce exécute trois méthodes séquentiellement :
setup()— s'exécute une fois par worker avant le début du traitementmap()oureduce()— s'exécute pour chaque enregistrement d'entréecleanup()— s'exécute une fois par worker après le traitement de tous les enregistrements
Pour des exemples exécutables, consultez la section Exemples de programmes.
Sort
MaxCompute vous permet de contrôler le tri via deux types de colonnes :
|**Type de colonne**
|
**Rôle**
|
**Comparateur personnalisé**
| | --- | --- | --- | |
Colonnes de tri
|
Déterminent l'ordre de tri. Sélectionnées parmi les colonnes des enregistrements de clé générés par un mappeur.
|
Non pris en charge
| |
Colonnes de regroupement
|
Sous-ensemble des colonnes de tri. Utilisées pour le tri secondaire.
|
Non pris en charge
|
Pour un exemple de tri secondaire, consultez le Code source du tri secondaire.
Partition
Les partitionneurs acheminent les données générées par un mappeur vers différents réducteurs selon la logique de partitionnement. MaxCompute prend en charge deux mécanismes :
|**Mécanisme**
|
**Description**
| | --- | --- | |
Colonnes de partition
|
Partitionnement basé sur des colonnes désignées.
| |
Partitionneurs personnalisés
|
Logique définie par l'utilisateur pour router les enregistrements vers les réducteurs.
|
Si les deux sont configurés, les colonnes de partition priment sur les partitionneurs personnalisés.
Combiner
Le combiner est une optimisation facultative du framework de calcul MapReduce qui s'exécute lors de l'étape de shuffle. Il combine les enregistrements adjacents, réduisant ainsi le volume de données transféré des mappeurs aux réducteurs.
Décidez d'utiliser ou non la fonction combiner en fonction de votre logique métier. La logique du combiner est identique à celle du réducteur : après la génération des données par un mappeur, le framework applique le combiner à tous les enregistrements partageant la même clé.
Pour des exemples exécutables, consultez la section Exemples de programmes.