Container Compute Service:Orquestación de tareas por lotes

Escenarios

Argo Workflows admite escenarios como el procesamiento de datos por lotes, los pipelines de aprendizaje automático, la automatización de infraestructura y CI/CD. Se utiliza ampliamente en sectores como la conducción autónoma, la computación científica, las finanzas cuantitativas y los medios digitales.

• Procesamiento de datos por lotes: incluye el procesamiento de mapas de alta precisión a gran escala, pruebas retrospectivas y simulaciones financieras cuantitativas, procesamiento paralelo de audio y video, y renderizado de animaciones.

• Computación científica: abarca simulaciones científicas complejas, descubrimiento y entrenamiento de fármacos, secuenciación genética, comparación y detección de mutaciones, y exploración energética.

• Simulación: contempla la simulación de algoritmos de conducción autónoma, dinámica molecular, datos astronómicos y modelado financiero.

• Pipeline de aprendizaje automático: comprende el preprocesamiento de datos, el entrenamiento distribuido, el ajuste de parámetros de modelos de lenguaje grandes (LLM) y la evaluación y despliegue de modelos.

• Automatización de infraestructura: incluye la gestión automatizada de recursos en la nube, copias de seguridad y recuperación de recursos, migración de node pools, y migración y actualización de clústeres.

• CI/CD: abarca pipelines de CI paralelos, compilación y pruebas en varias etapas, despliegue de aplicaciones multinube e integración de flujos de aprobación.

Ventajas de Argo Workflows

• Nativo para la nube: diseñado específicamente para Kubernetes. Cada tarea es un pod, lo que aprovecha al máximo la naturaleza ligera y flexible de los contenedores.

• Ligero y escalable: Argo Workflows es ligero y no genera sobrecargas ni limitaciones adicionales frente a las máquinas virtuales (VM) tradicionales. Gracias a las capacidades de programación de Kubernetes, puede ejecutar miles de tareas en paralelo para mejorar la eficiencia del procesamiento.

• Orquestación flexible: la combinación de grafos acíclicos dirigidos (DAG) y pasos permite implementar lógicas de flujo de trabajo personalizadas de cualquier complejidad. Sus potentes mecanismos de reintento y caché aumentan la tasa de éxito en la ejecución.

• Ecosistema amplio: admite la orquestación de diversos tipos de tareas, como Spark, Ray y TensorFlow Job. Al combinarlo con funciones basadas en eventos, puede construir una plataforma de procesamiento de tareas totalmente automatizada.