Container Compute Service:Orquestração de tarefas em lote

Cenários

O Argo Workflows atende a cenários como processamento de dados em lote, pipelines de machine learning, automação de infraestrutura e CI/CD. Seu uso é amplo em setores como direção autônoma, computação científica, finanças quantitativas e mídia digital.

• Processamento de dados em lote: inclui processamento de mapas de alta precisão em grande escala, backtesting e simulação para finanças quantitativas, processamento paralelo de áudio e vídeo e renderização de animações.

• Computação científica: abrange simulações científicas complexas, pesquisa e treinamento para descoberta de fármacos, sequenciamento genético, comparação e detecção de mutações e exploração energética.

• Simulação: contempla simulação de algoritmos de direção autônoma, dinâmica molecular, dados astronômicos e modelagem financeira.

• Pipeline de machine learning: envolve pré-processamento de dados, treinamento distribuído, ajuste de parâmetros de Large Language Models (LLMs) e avaliação e implantação de modelos.

• Automação de infraestrutura: cobre gerenciamento automatizado de recursos na nuvem, backup e recuperação de recursos, migração de node pools e migração e atualização de clusters.

• CI/CD: engloba pipelines de CI paralelos, builds e testes em múltiplos estágios, implantação de aplicações multicloud e integração com fluxos de aprovação.

Vantagens do Argo Workflows

• Cloud-native: desenvolvido especificamente para Kubernetes. Cada tarefa é executada como um pod, aproveitando ao máximo a natureza leve e flexível dos containers.

• Leveza e escalabilidade: o Argo Workflows é leve e não impõe overhead ou limitações adicionais em comparação às máquinas virtuais (VMs) tradicionais. Com os recursos de agendamento do Kubernetes, execute milhares de tarefas em paralelo para aumentar a eficiência do processamento.

• Orquestração flexível: a combinação versátil de Grafos Acíclicos Direcionados (DAGs) e etapas permite criar lógicas de workflow personalizadas de qualquer complexidade. Mecanismos avançados de nova tentativa e cache elevam a taxa de sucesso na execução dos workflows.

• Ecossistema rico: possibilita a orquestração de diversos tipos de tarefas, como Spark, Ray e TensorFlow Job. Integrado a recursos orientados a eventos, construa uma plataforma totalmente automatizada para processamento de tarefas.