E-MapReduce:Criar um cluster Dataflow Kafka

Limitações

O service Kafka não é compatível com as versões 5.18.0 e posteriores ou 3.52.0 e posteriores do E-MapReduce (EMR). Recomendamos o uso do ApsaraMQ for Kafka ou a instalação manual do Kafka.

Observações de uso

Para recomendações detalhadas de dimensionamento, consulte Cluster resource assessment.

Procedimento

1. Acesse a página de criação de cluster.

   1. Faça login no E-MapReduce console.

   2. Optional: Na barra de navegação superior, selecione uma região e um grupo de recursos de acordo com seus requisitos de negócio.

      • Region: O cluster é criado na região selecionada. Essa configuração não pode ser alterada após a criação.

      • Resource Group: Por padrão, todos os recursos da sua conta são exibidos.

   3. Clique em CREATE_CLUSTER.

2. Configure as definições do cluster.

   É necessário definir as configurações de software, hardware e informações básicas do cluster.

   Importante

   Após a criação do cluster, somente o nome pode ser alterado. Verifique todas as configurações com atenção antes de prosseguir. Para mais informações sobre os parâmetros, consulte Create a cluster.

   1. Configure as definições de software.

      Parâmetro	Exemplo	Descrição
      Region	China (Hangzhou)	A região onde o cluster será criado. Não pode ser alterada após a criação.
      Business Scenario	Real-time Data Streaming	Selecione Real-time Data Streaming.
      Product Version	EMR-3.43.1	Selecione uma versão do EMR para visualize as versões dos services incluídos. Por exemplo, o EMR-3.43.1 inclui o Kafka 2.12_2.4.1, onde 2.12 é a versão do Scala e 2.4.1 é a versão open-source do Kafka.
      High Service Availability	On	Desativado por padrão. Importante Recomendamos ativar a alta disponibilidade, pois o service Kafka no EMR depende do ZooKeeper. Ao habilitar esta opção, um service ZooKeeper com três nós é implantado no grupo de nós master.
      Optional Services	Kafka	Selecione o service Kafka. Outros componentes também podem ser selecionados. Os services dos componentes escolhidos são iniciados automaticamente.
      Collect Service Operational Logs	On	Ativado por padrão. Controla a coleta de logs de todos os services. Esses logs são usados exclusivamente para diagnóstico do cluster. Após a criação do cluster, acesse a página Basic Information para alterar o Collection Status of Service Operational Logs. Importante Ao desativar a coleta de logs, as verificações de integridade e o suporte técnico do EMR ficam limitados, mas os demais recursos continuam funcionando normalmente. Para saber como desativar esse recurso e entender seus impactos, consulte How do I stop collecting service logs?.

   2. Configure as definições de hardware.

      Parâmetro	Exemplo	Descrição
      Billing Method	Pay-as-you-go	O método de faturamento padrão é assinatura. Os seguintes métodos são compatíveis: Pay-as-you-go: Modalidade pós-paga com cobrança por hora. Indicada para testes de curta duração ou cargas de trabalho dinâmicas. Subscription: Modalidade pré-paga em que você paga pelos recursos antecipadamente. Nota Recomendamos o uso da opção Pay-as-you-go durante os testes. Após validar o ambiente, crie um novo cluster Subscription para uso em produção.
      Zone	China (Hangzhou) Zone I	As zonas são locais físicos distintos dentro da mesma região, interconectados por uma rede interna. Em geral, é possível utilizar a zona padrão.
      VPC	emr_test/vpc-bp1f4epmkvncimpgs****	Um VPC existente é selecionado por padrão. Para criar um novo VPC, acesse o console do VPC. Para mais informações, consulte Create and manage a VPC.
      vSwitch	vsw_test/vsw-bp1e2f5fhaplp0g6p****	Selecione um vSwitch na zona especificada do VPC escolhido. Se não houver nenhum vSwitch disponível na zona, crie um no console do VPC. Para mais informações, consulte VPCs and vSwitches.
      Default Security Group	sg-bp1ddw7sm2risw**/sg-bp1ddw7sm2risw**	Um grupo de segurança existente é selecionado por padrão. Para mais informações sobre grupos de segurança, consulte Security group overview. Também é possível clique em create a new security group. para criar um grupo de segurança no console do ecs. Para mais informações, consulte Create a security group. Importante Grupos de segurança empresariais criados no console do ecs não são compatíveis.
      Node Group	Configure conforme necessário.	Instance Type: Selecione um tipo de instância de acordo com suas necessidades. Para recomendações de dimensionamento, consulte Cluster resource assessment. Add to Deployment Set: Com a alta disponibilidade ativada, os nós master são adicionados a um deployment set por padrão. Para mais informações, consulte Enable a deployment set. System Disk: Selecione um tipo para o disco do sistema. System disk size: O valor pode variar de 80 GiB a 500 GiB, sendo recomendado o mínimo de 120 GiB. Data Disk: Selecione um tipo para o disco de dados. Nota Recomendamos o uso de discos cloud. Data disk size: O valor pode variar de 40 GiB a 32.768 GiB, sendo recomendado o mínimo de 80 GiB. Instances: Por padrão, três instâncias master e três instâncias core são criadas. Additional Security Group: Associe até dois grupos de segurança adicionais ao grupo de nós para controlar o acesso entre diferentes recursos ou aplicações externas. Assign Public Network IP: Define se um endereço IP elástico (EIP) será associado ao cluster. Desativado por padrão. Nota Para acessar o cluster pela rede pública após a criação, solicite um EIP no console do ecs. Para mais informações, consulte a documentação sobre como solicitar um EIP.

   3. Configure as definições básicas.

      Na seção Basic Information, defina os seguintes parâmetros.

      Importante

      Os parâmetros da seção Advanced Settings não são compatíveis. Não os configure.

      Parâmetro	Exemplo	Descrição
      Cluster Name	Emr-Kafka	O nome deve ter entre 1 e 64 caracteres e pode conter letras, dígitos, hífens (-) e sublinhados (_).
      Identity Credentials	Password	Key Pair (padrão): Use um par de chaves SSH para fazer login nas instâncias Linux. Para mais informações sobre como usar um par de chaves, consulte SSH key pairs.
      		Password: Defina uma senha para fazer login nas instâncias do nó master. A senha deve ter entre 8 e 30 caracteres e conter letras maiúsculas, letras minúsculas, dígitos e caracteres especiais. Os caracteres especiais permitidos são: !, @, #, $, %, ^, &, e *.

3. Na página Confirm, marque a caixa de seleção E-MapReduce Terms of Service.

4. Clique em create.

   O cluster é criado com sucesso quando o Status é alterado para Running.

Próximas etapas

Após criar o cluster, modifique os parâmetros padrão para atender aos requisitos de produção. Por exemplo:

• Avalie se é necessário ativar o SSL para criptografar as conexões de rede. Para mais informações, consulte Use SSL to encrypt Kafka connections.

• Avalie se é necessário ativar o SASL para autenticação de login. Para mais informações, consulte Use SASL to authenticate a Kafka service.