Um gateway cluster oferece balanceamento de carga e isolamento de segurança, permitindo enviar jobs a um cluster E-MapReduce sem fazer login diretamente no cluster.
Pré-requisitos
Você já criou um cluster Hadoop ou Kafka no E-MapReduce. Para obter mais informações, consulte Create a cluster.
Somente contas Alibaba Cloud que criaram clusters Hadoop ou Kafka antes das 17:00 (UTC+8) do dia 19 de dezembro de 2022 podem continuar criando-os.
Limitações
Este método se aplica somente a clusters Hadoop e Kafka. Para implantações de gateway em clusters DataLake, OLAP, DataFlow e Custom, consulte Gateway deployment modes and selection guide.
Procedimento
Acesse o EMR console.
Na página EMR on ECS, clique no nome do cluster de destino.
No canto superior direito da página Basic Information, escolha All Operations > Create Gateway.
-
Na página Create Gateway, configure os seguintes parâmetros.
Module
Parameter
Description
Configurações associadas
Region
A localização física do gateway cluster.
Resource Group
O grupo de recursos do gateway cluster.
Para criar um novo grupo de recursos, clique em Create Resource Group.. Para obter mais informações, consulte Create a resource group.
Associated Cluster
O cluster de computação a ser associado ao gateway cluster. A lista é filtrada pela região selecionada. O cluster deve atender aos seguintes requisitos:
-
O cluster deve estar no estado Running.
-
Somente clusters Hadoop ou Kafka podem ser associados.
NotaAo selecionar um cluster associado, a VPC do gateway cluster passa a ser a mesma VPC do cluster associado. É possível associar o gateway cluster a clusters criados tanto na versão nova quanto na versão anterior do console.
Configurações básicas
Billing Method
-
Subscription: Modalidade de faturamento pré-pago. O pagamento pelos recursos é feito antes do uso.
-
Pay-as-you-go: Modalidade de faturamento pós-pago com cobrança por hora. Indicado para testes de curta duração ou cargas de trabalho dinâmicas.
Zone
Selecione a zona do gateway cluster. Essa zona deve ser a mesma do cluster associado.
vSwitch
Selecione um vSwitch na VPC e na zona especificadas.
Default Security Group
Utiliza o grupo de segurança do cluster associado.
Assign Public Network IP
Indique se um EIP será atribuído ao gateway cluster.
Node Group
-
Instance Type: Selecione o tipo de instância ECS para os nós do gateway. Os tipos disponíveis são filtrados pela região selecionada. Para obter mais informações, consulte Instance family.
-
System Disk: O tipo de disco de sistema dos nós do gateway. Os tipos compatíveis incluem Ultra Disk, ESSD e SSD padrão. Os tipos de disco disponíveis variam conforme o tipo de instância e a região. Por padrão, o disco de sistema é excluído quando o cluster é liberado.
Ajuste o tamanho do disco de sistema conforme necessário. Intervalo de valores: 60 GiB a 500 GiB.
-
Data Disk: O tipo de disco de dados dos nós do gateway. Os tipos compatíveis incluem Ultra Disk, ESSD e SSD padrão. Os tipos de disco disponíveis variam conforme o tipo de instância e a região. Por padrão, o disco de dados é excluído quando o cluster é liberado.
Ajuste o tamanho do disco de dados conforme necessário. Intervalo de valores: 40 GiB a 32.768 GiB.
-
Instances: O número de nós do gateway. Valor padrão: 1. Ajuste o valor conforme necessário.
Cluster Name
O nome do gateway cluster. O nome deve ter entre 1 e 64 caracteres e pode conter caracteres chineses, letras, dígitos, hifens (-) e underscores (_).
Identity Credentials
As credenciais usadas para fazer login em todos os nós do gateway cluster.
-
Password: Insira a senha para login no gateway cluster.
-
Deve ter entre 8 e 30 caracteres.
-
Deve conter letras maiúsculas e minúsculas.
-
Deve conter dígitos e caracteres especiais. Os seguintes caracteres especiais são compatíveis:
!@#$%^&*
-
-
Key Pair: Selecione um par de chaves para login no gateway cluster. Se ainda não tiver um par de chaves, clique em Create Key Pair para acessar o ECS console e criar um.
Mantenha o arquivo de chave privada (arquivo .pem) em local seguro. Após a criação do gateway cluster, o sistema vincula automaticamente a chave pública às instâncias ECS do cluster. Para fazer login no gateway cluster via SSH, forneça a chave privada.
Configurações avançadas
ECS Application Role
A função RAM que autoriza as aplicações do cluster a chamar outros serviços Alibaba Cloud. Valor padrão: AliyunECSInstanceForEMRRole.
Bootstrap Actions
Opcional. Execute scripts personalizados antes da inicialização do cluster. Para obter mais informações, consulte Run scripts by using bootstrap actions e Manually run scripts.
Tags
Opcional. Adicione tags durante ou após a criação do cluster. Para obter mais informações, consulte Manage tags.
Data Disk Encryption
Opcional. Este recurso só pode ser ativado durante a criação do cluster. Para obter mais informações, consulte Enable data disk encryption.
-
-
Após configurar os parâmetros, clique em Create and Pay.
Após a criação do gateway cluster, o campo Status muda de Creating para Running.