Gerenciar pipelines de dados de produção em escala é complexo. Agendar tarefas interdependentes, tratar falhas e manter agendadores open source exigem alta sobrecarga operacional. O EMR Workflow é um serviço de agendamento totalmente gerenciado que elimina esse esforço. Compatível com o Apache DolphinScheduler open source, oferece um ambiente serverless para orquestrar workflows e tarefas sem implantar ou gerenciar infraestrutura.
O EMR Workflow está atualmente em visualização pública. Para mais detalhes, consulte Visualização pública do EMR Workflow .
Benefícios
Sem implantação ou O&M. O EMR Workflow está pronto para uso imediato. Não é necessário provisionar, aplicar patches ou manter clusters de agendamento.
Confiabilidade cloud-native. O serviço opera na infraestrutura serverless da Alibaba Cloud e garante execução estável e resiliente sem planejamento de capacidade.
Segurança e isolamento corporativos. A integração com o Resource Access Management (RAM) permite controle de acesso baseado em funções e isolamento no nível empresarial.
Integração nativa com big data. Conecte-se diretamente a clusters EMR e aos principais mecanismos de computação — Hive, Spark e Flink — sem conectores personalizados.
API compatível e migração simplificada. O EMR Workflow disponibiliza operações de API compatíveis com o Apache DolphinScheduler. Migre workflows existentes e jobs legados do EMR com poucos cliques.
Recursos
|
Recurso |
Descrição |
|
Múltiplos tipos de tarefa |
Agende tarefas de diversos tipos, incluindo SHELL, SPARK e HIVECLI. |
|
Editor visual de workflow |
Crie e conecte tarefas visualmente. Consulte Crie um workflow para obter detalhes. |
|
Monitoramento em tempo real |
Acompanhe o status das tarefas e visualize ou baixe logs durante a execução dos workflows. |
|
Gerenciamento de tarefas agendadas |
Defina agendamentos baseados em cron e gerencie-os em uma única interface. Consulte Configure um workflow agendado. |
|
Alertas baseados em exceções |
Receba notificações automáticas quando tarefas falharem ou apresentarem exceções. Consulte Crie uma instância de alerta. |
|
Gerenciamento de recursos |
Crie e carregue arquivos de recurso pela interface visual para usar nos workflows. Consulte Gerenciamento de recursos. |
Processo
