Use um nó de Gateway quando precisar de um ponto de entrada unificado e isolado para que vários usuários ou aplicações enviem jobs sem comprometer a estabilidade dos serviços principais do cluster EMR. O nó de Gateway separa as cargas de trabalho dos clientes dos nós mestres do cluster. Essa separação protege os componentes essenciais e permite configurar ambientes independentes para diferentes usuários.
Opções de implantação do Gateway
O Gateway é uma camada de isolamento para envio de jobs fornecida pelo EMR. Seus principais benefícios incluem:
-
Desacoplamento das cargas de trabalho dos clientes em relação aos serviços principais do cluster
Transfere operações do cliente, como
spark-submit,hive -feyarn application, dos nós mestres para o Gateway. -
Isolamento em ambientes multilocatários
Oferece suporte a ambientes de execução separados para usuários ou departamentos distintos.
-
Melhoria na estabilidade e manutenibilidade do cluster
Evita que envios frequentes de jobs, depuração de scripts, conflitos de ambiente ou contenção de recursos afetem serviços críticos como YARN ResourceManager e HDFS NameNode.
O EMR oferece três opções de Gateway para atender a diferentes tipos de cluster, versões e requisitos arquiteturais.
|
Opção |
Tipos e versões de cluster suportados |
Implantação e recursos principais |
Casos de uso e recomendações |
|
Grupo de nós de Gateway |
Suporta apenas os seguintes clusters:
|
• Adicione um novo grupo de nós a um cluster existente. Para mais informações, consulte Gerenciar grupos de nós. |
Altamente recomendado: Use esta opção para adicionar rapidamente um ponto de entrada de envio seguro e isolado a um cluster DataLake ou DataFlow existente. Oferece o menor custo de manutenção e garante alta consistência de configuração. |
|
Ambiente de Gateway |
Suporta clusters DataLake, DataFlow, Personalizados e OLAP. |
• Implante manualmente em uma instância ECS. Para detalhes, consulte Usar a CLI do EMR para personalizar uma implantação de ambiente de Gateway. |
Alternativa padrão quando o cluster não suporta um grupo de nós de Gateway. |
|
Cluster de Gateway |
Suporta apenas clusters Hadoop e Kafka. |
|
Indicado para clusters Hadoop e Kafka. |
Procedimento
Conecte-se à instância de Gateway via SSH. Para mais informações, consulte Fazer login em um cluster.
-
Após conectar-se ao nó via SSH, execute o comando a seguir para enviar um job. Este exemplo usa o Spark 3.1.1.
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /opt/apps/SPARK3/spark-current/examples/jars/spark-examples_2.12-3.1.1.jar 10NotaO nome do arquivo JAR
spark-examples_2.12-3.1.1.jarpode variar conforme o cluster. Acesse o cluster e verifique o nome do arquivo no diretório/opt/apps/SPARK3/spark-current/examples/jars. -
Após enviar o job, visualize seu status na interface do usuário do YARN. Siga estas etapas:
Abra a porta 8443 no grupo de segurança. Para mais informações, consulte Gerenciar grupos de segurança.
-
Adicione um usuário. Para mais informações, consulte Gerenciamento de usuários OpenLDAP.
É necessário um nome de usuário e senha da conta Knox para acessar a interface do usuário do YARN.
Na página EMR on ECS, clique em Cluster Services na linha do cluster desejado.
Clique em na aba Access Links and Ports.
-
Clique em no link público na linha YARN UI.
Faça login com suas credenciais de usuário para acessar a página da interface do usuário do YARN.
Na página All Applications, clique em no ID do job desejado para visualizar seus detalhes.