Os clusters do E-MapReduce (EMR) disponibilizam interfaces web para componentes de código aberto, como YARN, Hadoop Distributed File System (HDFS), Spark e Flink. Há três métodos de acesso. Escolha o mais adequado ao seu ambiente de rede e aos requisitos de segurança:
|
Método |
Indicado para |
Porta necessária |
Autenticação |
|
Endereço nativo da interface (mais simples) |
Rede interna; configuração mínima |
Específica do componente (ex.: 8088 para YARN) |
Nenhuma |
|
Proxy Knox (recomendado para a maioria dos usuários) |
Acesso seguro; porta única para todos os componentes |
8443 |
Nome de usuário e senha |
|
Túnel SSH |
Redes restritas ou com alta exigência de segurança |
SSH (22) |
Chave SSH |
Este tópico aborda os métodos de endereço nativo da interface e proxy Knox. Para usar o túnel SSH, consulte Criar um túnel SSH para acessar as interfaces web de componentes de código aberto.
Abrir portas de entrada em um grupo de segurança gera risco potencial. Revise cada regra com atenção e restrinja o objeto de autorização ao menor intervalo de IP necessário.
Pré-requisitos
Antes de começar, verifique se você tem:
Um cluster EMR em execução. Consulte Criar um cluster caso precise criar um.
Acesse a aba Access Links and Ports
A aba Access Links and Ports lista todos os componentes de código aberto e seus respectivos endereços de acesso.
Faça login no console do EMR. No painel de navegação à esquerda, clique em EMR on ECS.
Na barra de navegação superior, selecione uma região e um grupo de recursos.
Localize o cluster desejado e clique no nome dele na coluna Cluster ID/Name.
Na página de detalhes do cluster, clique na aba Access Links and Ports.
Use o endereço nativo da interface
O endereço nativo permite acesso direto à interface web do componente pelo navegador. Ative a porta do componente no grupo de segurança e abra o endereço no navegador.
O cliente e os nós do cluster EMR devem estar no mesmo ambiente de rede interna.
Etapa 1: Ativar uma porta
Clique na aba Basic Information.
Na seção Security, clique no link ao lado de Cluster Security Group para abrir a aba Security Group Details no console do Elastic Compute Service (ECS).
-
Na subaba Inbound, clique em Add Rule. Configure os parâmetros abaixo e mantenha os demais com os valores padrão. Para obter a referência completa dos parâmetros, consulte Regras de grupo de segurança.
Parâmetro Descrição Exemplo Port range A porta do componente de código aberto Para YARN, insira 8088/8088. Para outros componentes, consulte Acessar as interfaces web de componentes de código aberto.Authorization object O endereço IP interno do cliente Insira o endereço IP interno da sua máquina cliente
Etapa 2: Acessar a interface web
Na aba Access Links and Ports, copie o endereço nativo da interface do componente desejado.
-
Abra o endereço em um navegador no cliente. Para verificar a conectividade no Linux, execute:
curl -L http://<IP-address>:<port>/
Use o endereço do proxy Knox
O Knox oferece acesso autenticado por porta única a várias interfaces web de componentes. Há suporte tanto para acesso interno quanto público.
Componentes compatíveis: YARN, HDFS, Spark 2, Spark 3, Flink, HBase, Impala, Trino, Presto, Tez e Ranger.
Algumas versões de componentes têm problemas conhecidos de compatibilidade com o Knox. Consulte Solução de problemas para obter detalhes.
Etapa 1: Adicionar o Knox
Ignore esta etapa se o Knox já estiver implantado no cluster.
Clique na aba Services.
Clique em Add Service. No painel Add Service, selecione KNOX e OpenLDAP e clique em OK.
-
Após adicionar os serviços, acesse a aba Access Links and Ports para confirmar se os endereços do proxy Knox aparecem.
Etapa 2: (Opcional) Associar um Elastic IP Address ao nó mestre
Ignore esta etapa se precisar apenas de acesso interno ao proxy Knox ou se já houver um Elastic IP Address (EIP) associado ao nó mestre.
Clique na aba Nodes.
No grupo de nós emr-master, clique no ícone
e clique no ID do nó master-1-1.Na seção Configuration Information, localize Public IP Address e clique em Associate EIP. Consulte EIPs para obter detalhes.
De volta ao console do EMR, clique em All Operations no canto superior direito da página de detalhes do cluster e clique em Synchronize Host Information na seção Cluster Operation.
-
Na aba Access Links and Ports, confirme se os endereços públicos do proxy Knox estão listados.
Etapa 3: Ativar a porta 8443
Adicione a porta 8443 ao grupo de segurança do cluster EMR seguindo os mesmos passos descritos em Etapa 1: Ativar uma porta. Use os valores abaixo:
|
Parâmetro |
Valor |
|
Port range |
|
|
Authorization object |
Para acesso público, insira um endereço IP público. Para acesso interno, insira o endereço IP interno do cliente. |
Para acesso interno via proxy Knox, o cliente e os nós do cluster EMR devem estar no mesmo ambiente de rede interna.
Etapa 4: Adicionar um usuário
O acesso via Knox exige nome de usuário e senha válidos. Adicione um usuário na aba Users. Consulte Gerenciar usuários do OpenLDAP para obter instruções.
Etapa 5: Acessar a interface web
Na aba Access Links and Ports:
Endereço público do proxy Knox: Clique no endereço público do proxy Knox do componente desejado. Insira o nome de usuário e a senha na página de login.
-
Endereço interno do proxy Knox: Clique no endereço interno do proxy Knox do componente desejado. Insira o nome de usuário e a senha na página de login. Para verificar a conectividade no Linux, execute:
curl -k -u <username>:<password> https://<internal-IP-address>:8443/gateway/cluster-topo/xx
Acesse a interface web do Ranger
Após implantar o Ranger, acesse a interface web dele com as credenciais padrão. Consulte Ranger para obter detalhes completos de configuração.
|
Tipo de cluster |
Versão do EMR |
Nome de usuário padrão |
Senha padrão |
|
Clusters DataLake |
V3.44.0 ou versão secundária posterior, ou V5.10.0 ou versão secundária posterior |
admin |
Admin1234 |
|
Clusters DataLake |
Versão secundária anterior à V3.44.0 ou versão secundária anterior à V5.10.0 |
admin |
admin1234 |
|
Clusters Hadoop (data lake antigo) |
Qualquer |
admin |
admin |
Se esquecer a senha, consulte as Perguntas frequentes na documentação do Ranger.
Acesse a interface web do Flink (versões secundárias anteriores ao EMR V3.29.0)
Nas versões secundárias do EMR anteriores à V3.29.0, a interface web do Flink só é acessível via túnel SSH. Consulte Criar um túnel SSH para acessar as interfaces web de componentes de código aberto.
Solução de problemas
A aba Access Links and Ports está em branco.
Verifique se há pagamentos pendentes na conta. Quite qualquer saldo devedor e aguarde alguns minutos antes de atualizar a página.
Impossível acessar uma interface web pelo endereço nativo.
Confirme se o cliente e os nós do cluster EMR estão no mesmo ambiente de rede interna.
A página de nome de usuário e senha reaparece após inserir credenciais corretas.
Os dados do OpenLDAP podem estar corrompidos. Para repará-los:
Na aba Services, pare o OpenLDAP.
Faça login no nó master-1-1.
Copie o script repair_ldap_service.sh para o nó master-1-1.
Execute o script como usuário root:
bash repair_ldap_service.shNo canto superior direito da página do serviço OpenLDAP no console do EMR, escolha More > Restart.
Impossível acessar uma interface web via proxy Knox.
Primeiro, confirme se a porta 8443 está aberta no grupo de segurança.
Se a porta estiver aberta, mas o acesso ainda falhar, verifique se a versão do componente tem algum problema conhecido de compatibilidade com o Knox:
HBase implantado no EMR V5.10.X até V5.12.X
Presto e Trino implantados no EMR V5.10.X até V5.14.X
Para essas combinações, use o endereço nativo da interface ou o túnel SSH.
Quais nome de usuário e senha são necessários para autenticação no Knox?
Use o nome de usuário e a senha de um usuário adicionado na aba Users. Consulte Gerenciar usuários do OpenLDAP.
Próximos passos
Para ambientes de alta segurança ou configurações de rede restritas, use um túnel SSH. Consulte Criar um túnel SSH para acessar as interfaces web de componentes de código aberto.
Para solução geral de problemas de serviço, consulte as Perguntas frequentes.