Alibaba Cloud propose un composant compatible avec Argo Workflows, un moteur de workflow cloud-native, pour simplifier l'orchestration des tâches par lots dédiées au traitement des données, aux pipelines de ML, à l'automatisation de l'infrastructure et aux charges de travail CI/CD.
Présentation d'Argo Workflows
Argo Workflows est un moteur de workflow cloud-native puissant conçu pour définir, gérer et planifier des workflows complexes dans Kubernetes. Un workflow se compose de plusieurs tâches interdépendantes ; cette flexibilité facilite leur configuration.
Cas d'usage
Argo Workflows prend en charge des scénarios tels que le traitement des données par lots, les pipelines de machine learning, l'automatisation de l'infrastructure et le CI/CD. Il est largement utilisé dans des secteurs comme la conduite autonome, le calcul scientifique, la finance quantitative et les médias numériques.
Traitement des données par lots : ce cas couvre notamment le traitement à grande échelle de cartes haute précision, les backtests et simulations en finance quantitative, le traitement audio et vidéo parallèle ainsi que le rendu d'animations.
Calcul scientifique : il inclut les simulations scientifiques complexes, la recherche pharmaceutique et l'entraînement de modèles, le séquençage génétique, la comparaison et la détection de mutations ou encore l'exploration énergétique.
Simulation : cette catégorie regroupe la simulation d'algorithmes de conduite autonome, la dynamique moléculaire, la simulation de données astronomiques et la modélisation financière.
Pipeline de machine learning : les usages typiques comprennent le prétraitement des données, l'entraînement distribué, le réglage des paramètres de grands modèles de langage (LLM), ainsi que l'évaluation et le déploiement de modèles.
Automatisation de l'infrastructure : elle concerne la gestion automatisée des ressources cloud, la sauvegarde et la restauration des ressources, la migration de pools de nœuds, ou encore la migration et la mise à niveau de clusters.
CI/CD : ce domaine englobe les pipelines CI parallèles, les builds et tests multi-étapes, le déploiement d'applications multi-cloud et l'intégration de flux d'approbation.
Avantages d'Argo Workflows
Cloud-native : conçu spécifiquement pour Kubernetes. Chaque tâche s'exécute sous forme de pod, tirant pleinement parti de la légèreté et de la flexibilité des conteneurs.
Léger et évolutif : Argo Workflows est léger et n'entraîne aucune surcharge ni limitation par rapport aux machines virtuelles (VM) traditionnelles. Grâce aux capacités de planification de Kubernetes, vous pouvez exécuter des milliers de tâches en parallèle pour améliorer l'efficacité du traitement.
Orchestration flexible : la combinaison souple de graphes acycliques orientés (DAG) et d'étapes permet de créer des logiques de workflow personnalisées de toute complexité. De puissants mécanismes de nouvelle tentative et de mise en cache augmentent le taux de réussite des exécutions.
Écosystème riche : ce service prend en charge l'orchestration de divers types de tâches, tels que Spark, Ray et TensorFlow Job. Associé à des fonctionnalités événementielles, il permet de construire une plateforme de traitement des tâches entièrement automatisée.
Utiliser Argo Workflows
ACK Argo Workflows est compatible avec la version open source et l'enrichit. Vous pouvez migrer vos workflows Argo existants sans aucune modification. Avantages par rapport à la version communautaire :
Mise à l'échelle automatique élastique pour optimiser les coûts de calcul.
Équilibrage de charge multizone et planification fiable pour assurer une haute disponibilité.
Plan de contrôle amélioré offrant une meilleure évolutivité, performance, efficacité, stabilité et observabilité.
Gestion renforcée du stockage OSS prenant en charge le transfert de fichiers volumineux, le ramasse-miettes (GC) des artefacts et le streaming.
Support expert assuré par des spécialistes de Container Service for Kubernetes pour optimiser les workflows, améliorer les performances et réduire les coûts.
ACK Argo Workflows propose deux méthodes de déploiement :
Serverless Argo Workflows : pour des workflows entièrement gérés et hautes performances, créez un cluster de workflow dédié. Serverless Argo Workflows.
Composant Argo Workflows sur ACK : si vous disposez déjà d'un cluster ACK, installez le composant Argo Workflows pour orchestrer des workflows avec les ressources de votre cluster. Cette rubrique traite de cette méthode de déploiement.
Après l'installation du composant, utilisez Alibaba Cloud Argo CLI ou la console Argo pour envoyer et gérer vos workflows.
Le tableau suivant présente le flux de travail selon le rôle.
Processus | Description |
1. Préparatifs |
|
2. Configuration de l'environnement |
|
3. Gestion des workflows | (Ingénieur données) Utilisez Argo CLI ou la console Argo pour envoyer et gérer les tâches orchestrées.
|
(Administrateur de cluster)
|
Facturation
L'orchestration de tâches par lots est gratuite. Seules les ressources sous-jacentes sont payantes, telles que la puissance de calcul ACK et autres produits cloud. Le serveur Argo crée automatiquement une instance SLB en paiement à l'utilisation, ce qui engendre des frais. Présentation de la facturation SLB.
Nous contacter
Pour toute question ou suggestion, rejoignez le groupe DingTalk (ID : 35688562).