O recurso Access Links and Ports no console do E-MapReduce é uma maneira prática de acessar as web UIs dos componentes open source em seu cluster. Este tópico descreve como configure regras de grupo de segurança e usar links de acesso para visualize essas UIs.
Para conhecer as diferentes formas de acessar as web UIs dos componentes, consulte Access web UIs of open source components.
Pré-requisitos
Crie um cluster do E-MapReduce. Para mais informações, consulte Create a cluster.
Links e portas de acesso
Na aba Access Links and Ports, visualize seus service e seus respectivos endereços de acesso.
Acesse o console do E-MapReduce.
Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.
Clique em Cluster ID do cluster de destino para abrir sua página de detalhes.
Clique em aba Access Links and Ports para visualize os endereços de UI dos service dos componentes.
Acesso interno com um endereço de UI nativo
É possível acessar diretamente a web UI de um service por meio de seu endereço de UI nativo. Esse método exige abrir a porta correspondente à UI do service e adicionar uma regra ao grupo de segurança. Embora seja um método direto, a desvantagem é a necessidade de abrir uma porta e conceder permissões de acesso para cada service individualmente.
1. Abra a porta de acesso
Certifique-se de que sua máquina cliente e os nós do cluster do E-MapReduce estejam na mesma rede interna.
Adicione uma regra ao grupo de segurança do cluster do E-MapReduce para permitir o acesso a partir do endereço IP de sua máquina cliente à porta do service.
Na página de detalhes do cluster, clique em aba Basic Information.
Clique em link ao lado de para acessar as configurações do grupo de segurança do ECS.
-
Na página Security Group Details, acesse as regras Inbound, clique em Add Rule e configure os seguintes parâmetros.
Parâmetro
Descrição
Exemplo
Intervalo de portas
A porta do service que deseja acessar.
Por exemplo, para a web UI do YARN, insira
8088/8088. Para mais portas de componentes, consulte Access web UIs of open source components.Objeto de autorização
O endereço IP interno da sua máquina cliente.
Seu endereço IP interno, que deve estar na mesma rede interna dos nós do cluster do E-MapReduce.
NotaPara mais informações sobre os parâmetros, consulte Security group rules.
2. Acesse o endereço de UI nativo
Na página de detalhes do cluster, clique em aba Access Links and Ports e copie o Native UI Address do service desejado.
-
Em sua máquina cliente, abra um navegador e cole o endereço copiado. Se estiver usando Linux, execute o comando
curl -L http://<IP_address>:<service_port>/e verifique a conectividade.
Acesso usando um endereço de proxy Knox
Como alternativa, você pode acessar as web UIs de todos os service por meio do endereço de proxy Knox. Isso exige abrir a porta 8443 para o Knox e autenticar-se usando um usuário adicionado em Users. A vantagem desse método é expor menos portas e fornecer autenticação de identidade, mas a desvantagem é o maior número de etapas.
Atualmente, este método é compatível com os seguintes service: YARN, HDFS, Spark 2, Spark 3, Flink, HBase, Impala, Trino, Presto, Tez e Ranger.
1. Adicione o service Knox
Se o service Knox ainda não estiver instalado em seu cluster do E-MapReduce, adicione-o.
Na página de detalhes do cluster, clique em aba Services para acessar a lista de service do cluster.
Clique em Add Service, selecione os service Knox e OpenLDAP e conclua o processo.
-
Após alguns instantes, os novos service aparecerão na lista de service. Na aba Access Links and Ports, o endereço interno de proxy Knox aparecerá.
2. (Opcional) Associe um EIP
Se precisar acessar as web UIs apenas por meio do endereço interno de proxy Knox, ou se um EIP já estiver associado, pule esta etapa.
Na página de detalhes do cluster, clique em aba Nodes para acessar a lista de nós.
Na linha do grupo de nós emr-master, clique em ícone
, localize o link do ID do nó master-1-1 e clique em ele para abrir o console do ECS.Na página Instance Details do ECS, na seção Configuration Information sob Public IP Address, clique em Associate EIP para associar um EIP à instância do ECS. Para mais informações, consulte Elastic IP Addresses.
Retorne à página de detalhes do cluster do E-MapReduce. No canto superior direito, clique em para sincronizar as informações do host.
-
Após alguns instantes, o endereço público de proxy Knox aparecerá na aba Access Links and Ports.
3. Abra a porta 8443
Adicione uma regra ao grupo de segurança do cluster para abrir a porta 8443. As etapas são semelhantes às descritas em Open the access port. Os principais parâmetros são:
|
Parâmetro |
Descrição |
Exemplo |
|
Intervalo de portas |
A porta do Knox. |
Insira |
|
Objeto de autorização |
O endereço IP da sua máquina cliente. |
|
4. Adicione um usuário
A autenticação exige o nome de usuário e a senha de uma conta de usuário criada na aba Users. Se ainda não adicionou uma conta de usuário, consulte OpenLDAP user management.
5. Acesse o endereço de proxy
Na página de detalhes do cluster, acesse a aba Access Links and Ports.
Acesso público: Clique em Public Address do componente desejado. Insira seu nome de usuário e senha para acessar a web UI do service.
-
Acesso interno: Clique em Internal Address do componente desejado. Insira seu nome de usuário e senha para acessar a web UI do service. Se estiver usando Linux, execute o comando
curl -k -u <username>:<password> https://<internal_ip>:8443/gateway/cluster-topo/xxe verifique a conectividade.
Componentes especiais
Acesse a UI do Ranger
Quando o Ranger estiver ativado no cluster, use o nome de usuário e a senha padrão para acessar a UI do Ranger. Para mais informações, consulte Ranger.
-
Para clusters DataLake
-
Para EMR-3.44.0 e versões posteriores ou EMR-5.10.0 e versões posteriores:
O nome de usuário padrão é admin e a senha padrão é Admin1234.
-
Para versões anteriores à EMR-3.44.0 ou EMR-5.10.0:
O nome de usuário padrão é admin e a senha padrão é admin1234.
-
-
Para clusters Hadoop
O nome de usuário e a senha padrão são admin.
Acesse a UI do Flink (para versões anteriores ao E-MapReduce 3.29.0)
Para versões anteriores do componente Flink, só é possível acessar a web UI por meio de um túnel SSH. Para mais informações, consulte Access web UIs of open source components by using an SSH tunnel.
Perguntas frequentes
Por que a página Access Links and Ports está em branco?
Essa página pode ficar em branco se sua conta tiver pagamentos em atraso, podendo causar a suspensão do service. Para restaurar o service, regularize todos os pagamentos pendentes.
Por que não consigo acessar o endereço de UI nativo?
Certifique-se de que sua máquina cliente e os nós do cluster do E-MapReduce estejam na mesma rede interna.
Qual nome de usuário e senha devo usar?
Use as credenciais de uma conta de usuário criada na aba User Management. Para obter instruções, consulte OpenLDAP user management.
Por que o prompt de login continua aparecendo?
Na página de detalhes do cluster, clique em aba Services e interrompa o service OpenLDAP.
Faça login no nó master-1-1.
Copie o script de reparo repair_ldap_service.sh para o nó master-1-1.
Como usuário root, execute o comando
bash repair_ldap_service.sh.Retorne ao console do E-MapReduce. Na página de detalhes do service OpenLDAP, clique em no canto superior direito para reiniciar o service OpenLDAP.
Por que o acesso pelo proxy Knox falha?
Certifique-se de ter aberto a porta 8443 conforme instruído.
-
O acesso à web UI pode falhar devido a problemas de compatibilidade entre o Knox e versões anteriores de alguns componentes open source. Caso isso ocorra, use um método de acesso diferente. Esses problemas de compatibilidade afetam as seguintes versões dos service:
O componente HBase nas versões 5.10.x a 5.12.x do E-MapReduce.
Os componentes Presto e Trino nas versões 5.10.x a 5.14.x do E-MapReduce.
Documentação relacionada
Se tiver requisitos rigorosos de segurança ou um ambiente de rede específico, poderá acessar as web UIs por meio de um túnel SSH. Para mais informações, consulte Access web UIs of open source components by using an SSH tunnel.
Para outras dúvidas sobre o uso do service, consulte FAQ.