:Workflow cluster overview

Console

Console do cluster de workflow do ACK One

Casos de uso

O Argo Workflows é um projeto graduado da Cloud Native Computing Foundation (CNCF), o nível mais alto de maturidade da CNCF. Isso indica ampla adoção, segurança e alcance no ecossistema. Trata-se do mecanismo de workflow mais popular para Kubernetes, utilizado em áreas como direção autônoma, computação científica, finanças quantitativas e mídia digital.

Os clusters de workflow são ideais para:

• Processamento de dados em lote: inicie milhares de tarefas paralelas sem pré-alocar recursos computacionais.

• Pipelines de machine learning: orquestre treinamento, avaliação e implantação como workflows de pods.

• Automação de infraestrutura: coordene jobs de provisionamento e descomissionamento em várias etapas com confiabilidade.

• Pipelines de CI/CD: construa pipelines de alto throughput que escalem sob demanda e liberem recursos após a conclusão.

O Argo Workflows se destaca na orquestração de tarefas em lote:

• Nativo da nuvem: projetado para Kubernetes, onde cada tarefa executa como um pod.

• Leve e escalável: sem sobrecarga de VM; inicia milhares de tarefas em paralelo com dimensionamento elástico.

• Orquestração avançada: suporta jobs regulares, Spark, Ray e Tensor em um único workflow.

Por que usar clusters de workflow

Os clusters de workflow baseiam-se no Argo Workflows de código aberto com total compatibilidade de API. Assim, workflows existentes do ACK ou de qualquer cluster Kubernetes migram sem modificações.

Além da compatibilidade, esses clusters eliminam a sobrecarga operacional em grande escala:

• Sem gerenciamento de infraestrutura: os clusters ficam prontos imediatamente e recebem atualizações automáticas de versão.

• Dimensionamento elástico com liberação automática de recursos: os recursos escalam durante a execução e são liberados após a conclusão. Pague apenas pelo tempo de computação efetivamente utilizado.

• Confiabilidade multizona: o mecanismo agenda pods em várias zonas de disponibilidade e mantém os workflows em execução mesmo durante falhas em uma zona.

• Plano de controle otimizado: ajustado para desempenho, eficiência, estabilidade e observabilidade em escala, garantindo agendamento consistente sob carga elevada.

• Gerenciamento aprimorado de artefatos no OSS: faça upload de artefatos grandes, transmita dados entre etapas e configure a coleta de lixo (GC) automática de artefatos sem precisar gerenciar manualmente políticas de bucket.

• Suporte técnico da comunidade: obtenha orientação especializada para otimizar o desempenho e os custos das pipelines.

Arquitetura

Os clusters de workflow são mecanismos serverless construídos sobre Kubernetes e alimentados pelo Argo Workflows de código aberto.

Design de rede

Os clusters de workflow estão disponíveis nas seguintes regiões: China (Pequim), China (Hangzhou), China (Xangai), China (Shenzhen), China (Zhangjiakou), China (Heyuan), China (Guangzhou), China (Hong Kong), Singapura, Malásia (Kuala Lumpur), Indonésia (Jacarta), Japão (Tóquio), Alemanha (Frankfurt), Reino Unido (Londres) e Tailândia (Bangkok). Para outras regiões, participe do grupo 35688562 no DingTalk para obter suporte especializado.

Antes de criar um mecanismo de workflow, planeje a configuração da sua Virtual Private Cloud (VPC) e vSwitch:

• Crie uma VPC ou selecione uma existente.

• Crie vSwitches ou selecione os existentes seguindo estas diretrizes:

  • Garanta que os blocos CIDR dos seus vSwitches forneçam endereços IP suficientes. Os workflows do Argo podem criar muitos pods, e cada um exige um endereço IP.

  • Crie um vSwitch em cada zona de disponibilidade e especifique todos os IDs de vSwitch ao criar o mecanismo de workflow. O mecanismo agenda pods do ACS ou instâncias de contêiner elásticas nas zonas com estoque disponível. Se todas as zonas estiverem sem estoque, os workflows não poderão ser executados.