|
Método de envio
|
Vantagens e desvantagens
|
Cenários
|
|
Enviar jobs por meio de nós Gateway do cluster (recomendado)
|
Vantagens:
-
Isolamento de rede: acesse os clusters por meio de jump servers sem expor diretamente os nós mestres.
-
Dimensionamento elástico: ajuste dinamicamente os recursos da instância Gateway com base na carga do cluster.
-
Operação simplificada: utilize CLIs pré-instaladas, como spark-submit, para enviar jobs sem configurar ambientes de cliente adicionais.
Desvantagens:
|
|
|
Enviar jobs por meio do Alibaba Cloud DataWorks (recomendado)
|
Vantagens:
-
O&M automatizado: orquestração visual de tarefas e alertas de monitoramento.
-
Recursos de nível empresarial: análise de linhagem de tarefas e otimização de custos.
-
Boa compatibilidade: integração unificada com outros serviços da Alibaba Cloud.
Desvantagens:
|
|
|
Enviar jobs por meio de nós mestres do cluster
|
Vantagens:
-
Facilidade operacional: utilize CLIs pré-instaladas, como spark-submit, para enviar jobs sem configurar ambientes de cliente adicionais.
-
Menor custo: nenhuma despesa adicional com recursos.
Desvantagens:
-
Riscos de segurança: os nós mestres geralmente possuem permissões elevadas. Operações incorretas, como a exclusão acidental de metadados HDFS, podem causar falhas no cluster.
-
Extensibilidade limitada: gargalo de envio em ponto único, sem capacidade de dimensionamento horizontal.
-
Contenção de recursos: o envio frequente de jobs grandes pode consumir CPU e memória no nó mestre e afetar serviços de gerenciamento do cluster, como ZooKeeper e HMaster.
|
|