Les tâches DataWorks s'exécutent dans des conteneurs. Utilisez la gestion des images pour remplacer l'environnement d'exécution par défaut par votre propre image Docker : installez des bibliothèques spécifiques, figez les versions des dépendances ou imposez un environnement cohérent à toute votre équipe.
Par défaut, DataWorks utilise des images intégrées maintenues par Alibaba Cloud. La gestion des images vous permet d'enregistrer des images Docker personnalisées et de les associer à des groupes de ressources, ce qui vous donne un contrôle total sur l'environnement d'exécution.
Quand utiliser des images personnalisées
Les images personnalisées sont utiles lorsque vous devez :
Installer des bibliothèques spécifiques : inclure des packages Python, des dépendances système ou des environnements d'exécution linguistiques non disponibles dans l'image par défaut.
Figer les versions des dépendances : verrouiller votre environnement sur des versions exactes de packages afin de garantir la reproductibilité des résultats d'une exécution à l'autre et entre les membres de l'équipe.
Imposer un environnement standardisé : distribuer une image unique et validée à plusieurs tâches et groupes de ressources pour que chaque ingénieur exécute la même pile technologique.
S'intégrer à votre pipeline CI/CD : construisez et poussez des images dans le cadre de votre flux de travail existant basé sur les conteneurs, puis associez-les aux tâches DataWorks.
Si les images intégrées répondent à vos exigences, il n'est pas nécessaire d'utiliser la gestion des images.
Concepts clés
Les termes suivants sont utilisés tout au long du processus de gestion des images :
Dockerfile : fichier texte qui définit l'image de base, les packages installés et la configuration de l'environnement pour votre image personnalisée.
Image Docker : artefact généré à partir d'un Dockerfile. Poussez cette image vers un registre de conteneurs avant que DataWorks ne puisse l'utiliser.
Image DataWorks : enregistrement dans DataWorks qui fait référence à une image Docker stockée dans un registre de conteneurs. Chaque image DataWorks suit une ou plusieurs versions.
Version d'image : snapshot immuable d'une image Docker à un instant donné. Une fois créée, une version ne peut pas être modifiée ; créez plutôt une nouvelle version.
Types d'images
Les images DataWorks se répartissent en deux catégories :
|
Type |
Propriétaire |
Description |
|
Images intégrées |
Alibaba Cloud |
Images préconfigurées maintenues et mises à jour par DataWorks. Aucune configuration requise. |
|
Images personnalisées |
Vous |
Images Docker que vous construisez et poussez vers un registre de conteneurs, puis enregistrez dans DataWorks. Vous êtes responsable de la maintenance et des mises à jour. |
Choisissez les images intégrées lorsque l'environnement d'exécution par défaut satisfait vos besoins. Optez pour des images personnalisées lorsque vous avez besoin de bibliothèques, d'outils ou de configurations non inclus dans les paramètres par défaut.
Fonctionnement
Rédigez un Dockerfile qui étend une image de base compatible et installe les dépendances requises.
Construisez l'image Docker et poussez-la vers un registre de conteneurs pris en charge (Alibaba Cloud Container Registry, Docker Hub ou un registre privé accessible depuis votre groupe de ressources DataWorks).
Enregistrez l'image dans DataWorks en fournissant l'URL du registre et les identifiants.
Associez l'image à un groupe de ressources. Les tâches exécutées sur ce groupe de ressources utilisent votre image comme environnement d'exécution.
Pour mettre à jour l'environnement, construisez et poussez une nouvelle image Docker, puis créez une nouvelle version d'image dans DataWorks.
Intégrer les modifications de l'environnement dans l'image
Évitez de modifier l'environnement d'exécution via des scripts d'initialisation lorsque vous pouvez apporter la même modification dans le Dockerfile. Les scripts d'initialisation s'exécutent à chaque démarrage du conteneur, ce qui ajoute de la latence et rend votre environnement plus difficile à reproduire. Réservez les scripts d'initialisation aux tâches qui nécessitent véritablement une exécution au démarrage du conteneur — par exemple, le lancement d'un daemon en arrière-plan — et gérez tout le reste au moment de la construction de l'image.
Registres de conteneurs pris en charge
DataWorks peut extraire des images à partir des registres suivants :
|
Registre |
Format de l'URL de l'image |
|
Alibaba Cloud Container Registry (ACR) |
|
|
Docker Hub |
|
|
Registre privé |
|
Pour les registres privés, configurez les identifiants lors de l'enregistrement de l'image dans DataWorks.
Dépannage des échecs liés aux images
Lorsqu'une image personnalisée ne parvient pas à s'associer ou qu'une tâche échoue au démarrage, vérifiez les points suivants :
Journal de construction : sortie brute du processus de construction du conteneur. Recherchez les erreurs d'installation de packages ou les couches d'image de base manquantes.
Erreurs d'extraction d'image : assurez-vous que l'URL du registre est correcte, que le tag de l'image existe et que DataWorks dispose des autorisations nécessaires pour extraire l'image depuis le registre.
Conflits d'environnement : si votre Dockerfile installe des packages d'une manière qui entre en conflit avec les exigences de DataWorks (par exemple, en écrasant un chemin système requis), la tâche échouera au démarrage plutôt qu'au moment de la construction.
Étapes suivantes
[Créer une image personnalisée]()
[Associer une image à un groupe de ressources]()
[Mettre à jour une version d'image]()