E-MapReduce:Criar um cluster Dataflow Kafka

Limitações

O service Kafka não é compatível com as versões 5.18.0 e posteriores ou 3.52.0 e posteriores do E-MapReduce (EMR). Recomendamos o uso do ApsaraMQ for Kafka ou a instalação manual do Kafka.

Observações de uso

Para recomendações detalhadas de dimensionamento, consulte Avaliação de recursos do cluster.

Procedimento

1. Acesse a página de criação de cluster.

   1. Faça login no console E-MapReduce.

   2. Opcional: Na barra de navegação superior, selecione uma região e um grupo de recursos conforme suas necessidades de negócios.

      • Região: O cluster será criado na região selecionada. Essa configuração não pode ser alterada após a criação.

      • Grupo de Recursos: Por padrão, todos os recursos da sua conta são exibidos.

   3. Clique em CREATE_CLUSTER.

2. Configure as definições do cluster.

   É necessário definir as configurações de software, hardware e básicas para o cluster.

   Importante

   Após a criação do cluster, apenas o nome pode ser alterado. Verifique todas as configurações com atenção antes de prosseguir. Para mais informações sobre os parâmetros, consulte Criar um cluster.

   1. Defina as configurações de software.

      Parâmetro	Exemplo	Descrição
      Region	China (Hangzhou)	Região onde o cluster será criado. Não pode ser alterada após a criação.
      Business Scenario	Real-time Data Streaming	Selecione Real-time Data Streaming.
      Product Version	EMR-3.43.1	Selecione uma versão do EMR para visualizar as versões dos services incluídos. Por exemplo, o EMR-3.43.1 inclui o Kafka 2.12_2.4.1, onde 2.12 é a versão do Scala e 2.4.1 é a versão open source do Kafka.
      High Service Availability	On	Desativado por padrão. Importante Recomendamos ativar a alta disponibilidade, pois o service Kafka no EMR depende do ZooKeeper. Ao ativar esta opção, um service ZooKeeper com três nós é implantado no grupo de nós mestre.
      Optional Services	Kafka	Selecione o service Kafka. Também é possível selecionar outros componentes. Os services correspondentes aos componentes escolhidos iniciam automaticamente.
      Collect Service Operational Logs	On	Esta configuração, ativada por padrão, controla a coleta de logs para todos os services. Esses logs são utilizados exclusivamente para diagnósticos do cluster. Após a criação do cluster, acesse a página Basic Information para alterar o Collection Status of Service Operational Logs. Importante Se você desativar a coleta de logs, as verificações de integridade do EMR e o suporte técnico serão limitados, mas os demais recursos continuarão funcionando normalmente. Para detalhes sobre como desativar esse recurso e seu impacto, consulte Como parar a coleta de logs de service?.

   2. Defina as configurações de hardware.

      Parâmetro	Exemplo	Descrição
      Billing Method	Pay-as-you-go	O método de faturamento padrão é assinatura. Os seguintes métodos são suportados: Pay-as-you-go: Método pós-pago com cobrança horária. Ideal para testes de curto prazo ou cargas de trabalho dinâmicas. Subscription: Método pré-pago no qual você paga pelos recursos antecipadamente. Nota Recomendamos utilizar a opção Pay-as-you-go para testes. Após validar com sucesso, crie um novo cluster Subscription para uso em produção.
      Zone	China (Hangzhou) Zone I	As zonas são locais físicos distintos dentro da mesma região, interconectados por uma rede interna. Geralmente, é possível usar a zona padrão.
      VPC	emr_test/vpc-bp1f4epmkvncimpgs****	Uma VPC existente é selecionada por padrão. Para criar uma nova VPC, acesse o console VPC. Para mais informações, consulte Criar e gerenciar uma VPC.
      vSwitch	vsw_test/vsw-bp1e2f5fhaplp0g6p****	Selecione um vSwitch na zona especificada da VPC escolhida. Se não houver nenhum vSwitch disponível na zona, crie um no console VPC. Para mais informações, consulte VPCs e vSwitches.
      Default Security Group	sg-bp1ddw7sm2risw**/sg-bp1ddw7sm2risw**	Um grupo de segurança existente é selecionado por padrão. Para mais informações sobre grupos de segurança, consulte Visão geral de grupos de segurança. Você também pode clicar em create a new security group. para criar um grupo de segurança no console ECS. Para mais informações, consulte Criar um grupo de segurança. Importante Grupos de segurança corporativos criados no console ECS não são suportados.
      Node Group	Configure conforme necessário.	Instance Type: Selecione um tipo de instância conforme suas necessidades. Para recomendações de dimensionamento, consulte Avaliação de recursos do cluster. Add to Deployment Set: Quando a alta disponibilidade está ativada, os nós mestres são adicionados a um conjunto de implantação por padrão. Para mais informações, consulte Ativar um conjunto de implantação. System Disk: Escolha o tipo do disco de sistema. System disk size: O valor pode variar de 80 GiB a 500 GiB, mas recomenda-se no mínimo 120 GiB. Data Disk: Escolha o tipo do disco de dados. Nota Recomendamos o uso de discos cloud. Data disk size: O valor pode variar de 40 GiB a 32.768 GiB, mas recomenda-se no mínimo 80 GiB. Instances: Por padrão, três instâncias mestre e três instâncias core são criadas. Additional Security Group: Associe até dois grupos de segurança adicionais ao grupo de nós para controlar o acesso entre diferentes recursos externos ou aplicações. Assign Public Network IP: Define se um elastic IP address (EIP) será associado ao cluster. Desativado por padrão. Nota Para acessar o cluster pela rede pública após a criação, solicite um EIP no console ECS. Para mais informações, consulte a documentação sobre solicitação de EIP.

   3. Defina as configurações básicas.

      Na seção Basic Information, configure os seguintes parâmetros.

      Importante

      Os parâmetros da seção Advanced Settings não são suportados. Não os configure.

      Parâmetro	Exemplo	Descrição
      Cluster Name	Emr-Kafka	O nome deve ter entre 1 e 64 caracteres e pode conter letras, dígitos, hifens (-) e sublinhados (_).
      Identity Credentials	Custom password	Key Pair (padrão): Utilize um par de chaves SSH para fazer login nas instâncias Linux. Para mais informações sobre como usar um par de chaves, consulte Pares de chaves SSH.
      		Password: Defina uma senha para acessar as instâncias do nó mestre. A senha deve ter entre 8 e 30 caracteres e incluir letras maiúsculas, minúsculas, dígitos e caracteres especiais. Os caracteres especiais permitidos são: !, @, #, $, %, ^, & e *.

3. Na página Confirm, marque a caixa de seleção E-MapReduce Terms of Service.

4. Clique em create.

   O cluster será criado com sucesso quando seu Status mudar para Running.

Próximos passos

Após a criação do cluster, modifique os parâmetros padrão para atender aos seus requisitos de produção. Por exemplo:

• Avalie se deve ativar o SSL para criptografar conexões de rede. Para mais informações, consulte Usar SSL para criptografar conexões Kafka.

• Verifique a necessidade de ativar o SASL para autenticação de login. Para mais informações, consulte Usar SASL para autenticar um service Kafka.