O Workflows é um recurso de agendamento de fluxos de trabalho totalmente gerenciado que permite orquestrar implantações em lote por meio de uma interface visual, construir data warehouses e unificar desenvolvimento, agendamento, implantação e O&M no console do Realtime Compute for Apache Flink.
O recurso Workflows está em visualização pública. O acordo de nível de serviço (SLA) não é garantido durante esta fase. Para mais informações, consulte Acordo de Nível de Serviço (SLA). Em caso de dúvidas ao utilizar o recurso Workflows, envie um ticket.
O suporte ao recurso Workflows está disponível apenas nas regiões China (Xangai), China (Hangzhou), China (Pequim), China (Shenzhen), China (Zhangjiakou), Singapura, Alemanha (Frankfurt) e Japão (Tóquio).
Contexto
Soluções offline tradicionais costumam atualizar dados sobrescrevendo partições, o que gera custos elevados e processamento lento. A ingestão em data lakes e warehouses em tempo real é complexa e onerosa, tornando o gerenciamento lake-warehouse difícil. Além disso, combinar arquiteturas Kappa offline e em tempo real ou implementar desenvolvimento near-real-time em múltiplas plataformas aumenta a complexidade e prejudica a experiência do usuário.
Com a orquestração de fluxos de trabalho, é possível agendar a execução de jobs em lote e alcançar processamento de dados near-real-time com custo relativamente baixo. Isso permite melhorar a saída de dados de nível diário para nível de minuto, aumentando a tempestividade dos dados de negócios.
Recursos
Gerenciamento visual: crie e gerencie fluxos de trabalho por meio de uma interface visual.
Agendamento: oferece suporte a agendamentos manuais e periódicos.
Gerenciamento programado: utilize expressões cron para definir regras de agendamento complexas.
Gerenciamento de filas: configure filas distintas para fluxos de trabalho e tarefas.
Termos
-
Fluxo de trabalho
Um fluxo de trabalho é um grafo acíclico dirigido (DAG) criado com base no recurso Workflows. Configure tarefas e políticas de agendamento no fluxo de trabalho para executar tarefas em momentos específicos.
-
Tarefa
Uma tarefa é executada dentro de um fluxo de trabalho. Cada tarefa deve estar associada a uma implantação.
-
Instância de fluxo de trabalho
Sempre que um fluxo de trabalho é executado, uma instância de fluxo de trabalho é gerada.
-
Instância de tarefa
A cada execução do fluxo de trabalho, instâncias de tarefa são geradas a partir das tarefas contidas nele.
-
Dependência
A dependência indica a relação entre tarefas. Por exemplo, se a página de edição de tarefas exibir Tarefa A -> Tarefa B, a Tarefa A é a tarefa upstream da qual a Tarefa B depende. A Tarefa B só será executada após a conclusão da Tarefa A e quando as condições especificadas para a Tarefa B forem atendidas.
-
Versão do fluxo de trabalho
Uma nova versão do fluxo de trabalho é criada sempre que você o modifica, como ao adicionar ou remover uma tarefa ou alterar uma dependência.
Procedimento
