E-MapReduce:Criar um cluster

Parâmetro

Descrição

Region

Uma região é a área geográfica onde um data center está localizado. Selecionar uma região mais próxima da sua localização pode reduzir a latência de rede. Não é possível alterar a região após a criação do cluster.

Business Scenario

Selecione um cenário com base nas necessidades do seu negócio:

• Data Lake (DataLake): Oferece um cluster gerenciado flexível, confiável e eficiente para executar engines de computação de big data e realizar análises de dados.

  • Suporta a construção de uma arquitetura de data lake e utiliza o JindoFS para acelerar operações de data lake.

  • Suporta OSS-HDFS (HDFS totalmente gerenciado) para armazenamento, reduzindo custos de O&M com um modelo de faturamento baseado no uso.

  Para mais informações, consulte Cluster DataLake.

• Data Analytics (OLAP): Importa grandes conjuntos de dados para uma engine de análise OLAP, como ClickHouse ou StarRocks, usando métodos como importação de dados ou tabelas externas. Fornece análises de dados eficientes, em tempo real e flexíveis para cenários de negócios como perfilamento de usuários, segmentação de audiência, relatórios de BI e análise de negócios.

• Real-time Data Streaming (DataFlow): Uma solução completa de computação em tempo real na plataforma EMR. Possui dois componentes principais: Kafka, um sistema de mensagens distribuído, de alto throughput e altamente escalável, e o kernel comercial Flink da Ververica (baseado em Apache Flink). Esta solução foca em resolver desafios de computação em tempo real de ponta a ponta e é amplamente utilizada para ETL de dados em tempo real, além de coleta e análise de logs. Você também pode usar cada componente individualmente.

• Data Service (DataServing):

  • Fornece clusters de serviço de dados flexíveis, confiáveis e eficientes.

  • Oferece clusters HBase semigerenciados e desacopla clusters de computação do armazenamento de dados usando OSS-HDFS (o serviço JindoFS).

  • Suporta cache local JindoData para melhorar ainda mais o desempenho de leitura e gravação do cluster de serviço de dados.

  Para mais informações, consulte Cluster DataServing.

• Custom Cluster (Custom): Oferece uma ampla seleção de serviços. Escolha os serviços necessários conforme seus requisitos.

  Nota

  Em ambiente de produção, recomendamos evitar a implantação de múltiplos serviços de armazenamento no mesmo grupo de nós.

Product Version

A versão de lançamento do produto EMR. Para mais informações, consulte Versões de lançamento.

High Service Availability

Este recurso está desativado por padrão. Ao ativar a alta disponibilidade, o EMR cria múltiplos nós Master para suportar alta disponibilidade para ResourceManager e NameNode. Esses nós são distribuídos em diferentes hardwares subjacentes para reduzir o risco de falhas.

Optional Services (Select One At Least)

Selecione outros serviços conforme os requisitos do seu negócio. Os serviços selecionados iniciam automaticamente seus processos relacionados.

Collect Service Operational Logs

Esta configuração, ativada por padrão, controla a coleta de logs para todos os serviços. Esses logs são usados apenas para diagnósticos do cluster.

Após a criação do cluster, acesse a página Basic Information para alterar o Collection Status of Service Operational Logs.

Metadata

Os seguintes métodos são suportados para armazenar e gerenciar metadados:

• DLF Unified Metadata (Recomendado): Armazena metadados no Data Lake Formation (DLF).

  Após ativar o DLF, o sistema seleciona um DLF Catalog padrão para você (geralmente seu UID). Para usar catálogos diferentes para clusters distintos, crie um novo:

  1. Clique em Create Catalog. Na caixa de diálogo exibida, insira um ID de catálogo e clique em OK.

  2. Na lista suspensa DLF Catalog, selecione o catálogo que você criou.

• Self-managed RDS: Usa sua própria instância RDS ou uma instância Alibaba Cloud RDS como armazenamento de metadados.

  Se escolher este método, configure os parâmetros relacionados ao RDS. Para mais informações, consulte Configurar um banco de dados RDS autogerenciado.

• Built-in MySQL (Não Recomendado): Armazena metadados em um banco de dados MySQL no nó Master do cluster.

  Nota

  • Para cenários de teste: Recomendamos o uso de DLF Unified Metadata.

  • Para cenários de produção: Utilize DLF Unified Metadata ou Self-managed RDS.

Root Storage Directory of Cluster

Este parâmetro é necessário apenas quando você seleciona o serviço OSS-HDFS. Não é necessário se você selecionar o serviço HDFS.

Ao usar o serviço OSS-HDFS pela primeira vez, sua conta Alibaba Cloud (conta principal) deve clicar here e seguir as instruções para concluir a autorização. Se você for um usuário RAM, sua conta Alibaba Cloud deve autorizá-lo a ativar o serviço e conceder a política AliyunEMRDlsFullAccess e as funções AliyunOSSDlsDefaultRole e AliyunEMRDlsDefaultRole. Para mais informações, consulte Conceder permissões a um usuário RAM. Selecione um bucket na mesma região onde o serviço OSS-HDFS já está habilitado ou clique em Create OSS-HDFS Bucket para criar uma nova instância OSS-HDFS como caminho raiz de armazenamento do cluster.

Parâmetro

Descrição

Billing Method

Assinatura é selecionado por padrão. Os seguintes métodos de faturamento são suportados:

• Pay-as-you-go: Modelo pós-pago onde o faturamento é horário com base no uso real. Adequado para testes de curto prazo ou tarefas dinâmicas e flexíveis.

• Subscription: Modelo pré-pago onde o pagamento é feito antes do uso.

  Nota

  • Recomendamos usar o método Pay-as-you-go para cenários de teste. Após o sucesso nos testes, crie um cluster por Subscription para uso em produção.

  • Para instâncias por assinatura, selecione também uma Subscription Duration e decida se deseja ativar a Auto-renewal. O período de renovação padrão é de seis meses, com renovação automática ativada. Quando ativada, a instância é renovada automaticamente sete dias antes de expirar. Para mais informações, consulte Renovação.

Zone

Uma zona de disponibilidade é uma localização física distinta dentro de uma região, interconectada por uma rede privada de baixa latência. Geralmente, utilize a zona de disponibilidade padrão.

VPC

Uma VPC é um ambiente de rede logicamente isolado no Alibaba Cloud que oferece controle total sobre sua configuração de rede.

Selecione uma VPC existente ou clique em Create VPC para criar uma instantaneamente no console VPC. Para mais informações, consulte Criar e gerenciar uma VPC.

vSwitch

Um vSwitch é uma subdivisão básica de rede de uma VPC usada para conectar diferentes recursos cloud.

Selecione um vSwitch existente ou clique em . Create vSwitch para criar um instantaneamente no console VPC. Para mais informações, consulte VPCs e vSwitches.

O tamanho do bloco CIDR do vSwitch determina o número de endereços IPv4 disponíveis. Por exemplo, um bloco CIDR /24 fornece cerca de 250 endereços IP disponíveis, um bloco /20 fornece cerca de 4.090 e um bloco /17 fornece cerca de 32.764. Se seu cluster exigir um grande número de nós, selecione um vSwitch com um bloco CIDR maior para garantir que endereços IP suficientes possam ser alocados para todos os nós do cluster.

Não é possível alterar o bloco CIDR de um vSwitch após sua criação. Se precisar de um intervalo de endereços IP maior, crie um novo vSwitch com um bloco CIDR maior e, em seguida, crie um novo cluster baseado nesse vSwitch. Ao criar um vSwitch, o console exibe o número de endereços IP disponíveis para o bloco CIDR selecionado, ajudando a avaliar se atende aos requisitos de tamanho do seu cluster.

Default Security Group

Um grupo de segurança é um firewall virtual que controla o tráfego de entrada e saída das instâncias dentro do grupo. Para mais informações, consulte Visão geral de grupos de segurança.

Selecione um grupo de segurança existente ou clique em create a new security group. para criar um no console ECS. Para mais informações, consulte Criar um grupo de segurança.

Node Group

Selecione tipos de instância conforme seus requisitos. Para mais informações, consulte Famílias de instâncias.

• Master: Executa serviços do plano de controle, como ResourceManager e NameNode.

• Core: Armazena dados no sistema de arquivos distribuído do cluster (HDFS). Também é possível escalar horizontalmente os nós Core sob demanda após a criação do cluster.

• Task: Fornece capacidade de computação adicional e não armazena dados. Este grupo de nós é opcional e pode ser adicionado para escalar recursos de computação.

  Importante

  Grupos de nós Task suportam métodos de faturamento por pagamento conforme o uso, instância preemptível e assinatura.

• Add to Deployment Set: Quando a alta disponibilidade está ativada, os nós Master são adicionados a um conjunto de implantação por padrão. Um conjunto de implantação é uma política que controla a distribuição de instâncias. Para mais informações, consulte Conjuntos de implantação.

• System Disk: Selecione SSD padrão, SSD aprimorado (ESSD) ou disco ultra conforme necessário. Ajuste o tamanho do disco de sistema conforme exigido.

• Data Disk: Selecione SSD padrão, SSD aprimorado (ESSD) ou disco ultra conforme necessário. Ajuste o tamanho do disco de dados conforme exigido.

  Nota

  Ao selecionar um SSD aprimorado (ESSD), defina diferentes níveis de desempenho (PLs) com base na capacidade do disco para atender a várias necessidades de desempenho do cluster. O nível de desempenho padrão é PL1. Dependendo da capacidade do disco, discos de sistema suportam PL0, PL1 e PL2, enquanto discos de dados suportam PL0, PL1, PL2 e PL3. Para mais informações sobre discos cloud, consulte Visão geral de discos cloud.

• Instances: O grupo de nós Master possui uma instância por padrão. Se a alta disponibilidade estiver ativada, é possível ter múltiplas instâncias Master.

  O grupo de nós Core possui duas instâncias por padrão. Ajuste esse número conforme necessário.

• Additional Security Group: Grupos de segurança adicionais permitem controle de acesso flexível entre diferentes recursos externos ou aplicações. Associe até dois grupos de segurança adicionais a este grupo de nós.

• Assign Public Network IP: Define se deve atribuir um endereço Elastic IP (EIP) ao cluster. Desativado por padrão. Apenas clusters DataLake suportam a atribuição de IPs públicos no nível do grupo de nós.

  Nota

  Se não ativar este recurso, mas desejar usar um endereço IP público para acessar o cluster após sua criação, solicite um no console ECS. Para mais informações, consulte Solicitar um EIP.

Cluster Scaling

Selecione uma regra de auto scaling conforme necessário:

• Do Not Use Auto Scaling Rules (Padrão).

• Custom Auto Scaling Rule: Defina regras personalizadas para auto scaling baseado em tempo ou carga. Para mais informações, consulte Criar uma regra de auto scaling personalizada.

• Managed Auto Scaling Rule: Ao iniciar o cluster, o EMR provisiona previamente o número de nós Task com base na regra de dimensionamento gerenciado. Para mais informações, consulte Criar uma regra de auto scaling gerenciada.

Parâmetro

Descrição

Cluster Name

O nome do cluster. O nome deve ter de 1 a 64 caracteres e pode conter apenas caracteres chineses, letras, dígitos, hifens (-) e sublinhados (_).

Identity Credentials

Identity Credentials fornecem acesso seguro ao nó Master do cluster. Para instruções de login, consulte Fazer login em um cluster. Os seguintes tipos de credenciais são suportados:

• Key Pair (Padrão): Selecione um par de chaves existente ou clique em Create Key Pair para criar um instantaneamente.

  Um par de chaves, composto por uma chave pública e uma chave privada, é um método de autenticação seguro e conveniente para fazer login em instâncias Linux. Para mais informações sobre o uso de pares de chaves, consulte Pares de chaves SSH.

• Password: Defina uma senha de login para o nó Master e confirme-a. O nome de usuário padrão é root.

  • Requisitos de senha: 8 a 30 caracteres de comprimento, devendo conter letras maiúsculas, minúsculas, dígitos e caracteres especiais.

  • Caracteres especiais suportados incluem: ponto de exclamação (!), arroba (@), cerquilha (#), cifrão ($), sinal de porcentagem (%), circunflexo (^), e comercial (&) e asterisco (*).