Sistemas tradicionais de orquestração de tarefas em lote e workflows têm dificuldade para gerenciar a crescente complexidade dos cenários e não oferecem suporte à expansão automatizada. Essas limitações são evidentes em casos como processamento de dados em lote, pipelines de machine learning, automação de infraestrutura e integração e entrega contínuas (CI/CD). A Alibaba Cloud oferece um componente compatível com o mecanismo de workflow nativo da nuvem Argo Workflows para simplificar a orquestração de tarefas em lote. Este tópico apresenta o uso do componente Argo Workflows em clusters do Container Service for Kubernetes (ACK).
Argo Workflows open-source
O Argo Workflows é um mecanismo de workflow nativo da nuvem projetado para definir, gerenciar e agendar workflows complexos no Kubernetes. Um workflow pode incluir várias tarefas interdependentes. Essa flexibilidade simplifica a configuração das tarefas.
Cenários
O Argo Workflows atende a diversos cenários, é amplamente utilizado em setores como direção autônoma, computação científica, análise quantitativa financeira e mídia digital.
Processamento de dados em lote: processamento de mapas de alta precisão em grande escala, simulações de backtesting quantitativo financeiro, processamento paralelo de áudio e vídeo e renderização de animação.
Computação científica: simulações complexas, pesquisa e treinamento farmacêutico, sequenciamento genético, detecção de alinhamento de mutações e exploração de energia.
Simulação e modelagem: simulações de algoritmos de direção autônoma, dinâmica molecular, dados astronômicos e modelagem financeira.
Pipelines de machine learning: pré-processamento de dados, treinamento distribuído, ajuste de parâmetros de modelos grandes, avaliação e implantação de modelos.
Automação de infraestrutura: gerenciamento automatizado de recursos de nuvem, backup e recuperação de recursos, migração de pool de nós, migração e atualização de cluster.
CI/CD: pipelines de CI paralelos, compilação e teste em vários estágios, implantação de aplicativos entre nuvens e integração de workflows de aprovação.
Vantagens
Nativo da nuvem: Projetado especificamente para o Kubernetes, cada tarefa é um pod que aproveita totalmente a natureza leve e flexível dos contêineres.
Leveza e escalabilidade: Comparado às VMs tradicionais, o Argo Workflows é leve e não impõe sobrecarga ou limitações adicionais. Os robustos recursos de agendamento do Kubernetes permitem iniciar milhares de tarefas em paralelo, o que aumenta a eficiência do processamento.
Orquestração flexível: A combinação de grafos acíclicos dirigidos (DAGs) e etapas permite personalizar workflows com diferentes níveis de complexidade. Mecanismos avançados de nova tentativa e cache aumentam a taxa de sucesso das execuções.
Ecossistema rico: Suporta a orquestração de vários tipos de tarefas, como jobs Spark, Ray e TensorFlow. Combinado com recursos orientados a eventos, possibilita a criação de plataformas de processamento de tarefas totalmente automatizadas.
ACK Argo Workflows
Vantagens
O ACK Argo Workflows é compatível com o Argo Workflows open-source e inclui aprimoramentos. É possível migrar perfeitamente dos workflows existentes do Argo open-source para o ACK Argo Workflows sem modificações. Em comparação com a versão open-source, o ACK Argo Workflows oferece as seguintes vantagens:
Alta elasticidade, dimensionamento automático e custos de computação otimizados.
Alta confiabilidade, balanceamento de carga multizona e agendamento altamente confiável.
Plano de controle aprimorado com melhorias significativas em escalabilidade, desempenho, eficiência, estabilidade e observabilidade.
Gerenciamento de armazenamento do Object Storage Service (OSS) aprimorado, com suporte para uploads de arquivos grandes, coleta de lixo (GC) de artefatos e streaming de dados.
Suporte de especialistas técnicos em serviço de contêiner para ajudar sua equipe a otimizar workflows, melhorar o desempenho e reduzir custos.
O ACK Argo Workflows oferece duas opções de uso para atender a diferentes necessidades:
Serverless Argo Workflows: Se você prefere focar na orquestração de processos de negócios sem sobrecarga operacional e precisa de cargas de trabalho de grande escala e alto desempenho, crie um cluster de workflow separado. Para obter mais informações, consulte Serverless Argo Workflows.
Componente Argo Workflows no ACK: Caso já possua um cluster ACK e queira utilizar os recursos existentes, use o componente Argo Workflows para orquestrar seus workflows.
Procedimento
Após instalar o componente Argo Workflows, utilize a orquestração de tarefas em lote enviando e gerenciando workflows por meio da Alibaba Cloud Argo CLI ou do console do Argo.
A figura a seguir descreve os processos para diferentes funções:
Processo | Descrição |
Preparação |
|
Configuração do ambiente |
Para obter mais informações, consulte Ativar orquestração de tarefas em lote. |
Gerenciamento de workflow | (Engenheiros de dados) Após orquestrar tarefas paralelas, envie e gerencie as tarefas usando a Argo CLI ou o console do Argo.
|
(Administradores de cluster)
|
Faturamento
O recurso de orquestração de tarefas em lote não gera taxas. No entanto, além do faturamento regular do ACK, ao usar a orquestração de tarefas em lote, o Argo Server cria automaticamente uma instância de Classic Load Balancer (CLB) com pagamento conforme o uso. O CLB cobra os custos associados. Para obter mais informações, consulte Visão geral do faturamento do CLB.
Fale conosco
Se você tiver sugestões ou dúvidas sobre este produto, participe do grupo DingTalk 35688562 para entrar em contato conosco.