E-MapReduce:Criar um cluster

Parâmetro

Descrição

Region

Área geográfica onde o data center está localizado. Selecionar uma região mais próxima da sua localização reduz a latência de rede. Não é possível alterar a região após a criação do cluster.

Business Scenario

Escolha um cenário com base nas necessidades do seu negócio.

• Data Lake (DataLake): Cluster gerenciado flexível, confiável e eficiente para executar engines de computação de big data e realizar análises de dados.

  • Permite construir uma arquitetura de data lake e utiliza o JindoFS para acelerar operações no data lake.

  • Oferece suporte ao OSS-HDFS (HDFS totalmente gerenciado) para armazenamento, reduzindo custos de O&M com um modelo de faturamento baseado no uso.

  Para mais informações, consulte DataLake cluster.

• Data Analytics (OLAP): Importa grandes conjuntos de dados para uma engine de análise OLAP, como ClickHouse ou StarRocks, usando métodos como importação de dados ou tabelas externas. Suporta análises eficientes, em tempo real e flexíveis para cenários como perfilamento de usuários, segmentação de audiência, relatórios de BI e análise de negócios.

• Real-time Data Streaming (DataFlow): Solução completa de computação em tempo real na plataforma EMR. Inclui o Kafka, um sistema de mensagens distribuído, de alto throughput e altamente escalável, além do kernel comercial Flink da Ververica (baseado no Apache Flink). Amplamente utilizado para ETL de dados em tempo real e coleta e análise de logs, permitindo também o uso individual de cada componente.

• Data Service (DataServing):

  • Clusters de serviço de dados flexíveis, confiáveis e eficientes.

  • Clusters HBase semigerenciados com separação de computação e armazenamento usando OSS-HDFS (serviço JindoFS).

  • Cache local JindoData para melhorar ainda mais o desempenho de leitura e gravação.

  Para mais informações, consulte DataServing cluster.

• Custom Cluster (Custom): Uma ampla seleção de serviços que podem ser combinados conforme suas necessidades.

  Nota

  Em ambientes de produção, evite implantar múltiplos serviços de armazenamento no mesmo grupo de nós.

Product Version

Versão de lançamento do produto EMR. Para mais informações, consulte Release Overview.

High Service Availability

Desativado por padrão. Quando ativado, o EMR cria múltiplos nós Master para oferecer alta disponibilidade ao ResourceManager e ao NameNode. Esses nós são distribuídos em hardwares subjacentes diferentes para reduzir o risco de falhas.

Optional Services (Select One At Least)

Selecione serviços adicionais conforme os requisitos do seu negócio. Os serviços selecionados iniciam automaticamente seus processos relacionados.

Collect Service Operational Logs

Ativado por padrão. Controla a coleta de logs para todos os serviços. Esses logs são usados apenas para diagnósticos do cluster.

Após a criação do cluster, acesse a página Basic Information para alterar o Collection Status of Service Operational Logs.

Metadata

Os seguintes métodos estão disponíveis para armazenar e gerenciar metadados:

• DLF Unified Metadata (Recomendado): Armazena metadados no Data Lake Formation (DLF).

  Após ativar o DLF, o sistema seleciona um DLF Catalog padrão para você (geralmente seu UID). Para usar catálogos diferentes para clusters distintos, crie um novo:

  1. Clique em Create Catalog. Na caixa de diálogo exibida, insira um ID de catálogo e clique em OK.

  2. Na lista suspensa DLF Catalog, selecione o catálogo criado.

• Self-managed RDS: Utiliza sua própria instância RDS ou uma instância do Alibaba Cloud RDS como armazenamento de metadados.

  Se escolher este método, configure os parâmetros relacionados ao RDS. Para mais informações, consulte Configure a self-managed RDS database.

• Built-in MySQL (Não Recomendado): Armazena metadados em um banco de dados MySQL no nó Master do cluster.

  Nota

  • Para cenários de teste: Recomendamos o uso de DLF Unified Metadata.

  • Para cenários de produção: Utilize DLF Unified Metadata ou Self-managed RDS.

Root Storage Directory of Cluster

Necessário apenas quando o serviço OSS-HDFS for selecionado. Não é necessário se o serviço HDFS for escolhido.

Ao usar o serviço OSS-HDFS pela primeira vez, sua conta Alibaba Cloud (conta principal) deve clicar here e seguir as instruções para concluir a autorização. Se você for um usuário RAM, sua conta Alibaba Cloud deve autorizá-lo a ativar o serviço e conceder a política AliyunEMRDlsFullAccess e as funções AliyunOSSDlsDefaultRole e AliyunEMRDlsDefaultRole. Para mais informações, consulte Grant permissions to a RAM user. Selecione um bucket na mesma região onde o serviço OSS-HDFS já está habilitado ou clique em Create OSS-HDFS Bucket para criar uma nova instância OSS-HDFS como caminho raiz de armazenamento do cluster.

Parâmetro

Descrição

Billing Method

Assinatura é selecionado por padrão. Os seguintes métodos de faturamento são suportados:

• Pay-as-you-go: Modelo pós-pago com faturamento horário baseado no uso real. Adequado para testes de curto prazo ou tarefas dinâmicas e flexíveis.

• Subscription: Modelo pré-pago com pagamento antecipado.

  Nota

  • Recomendamos o método Pay-as-you-go para cenários de teste. Após o sucesso nos testes, crie um cluster por Subscription para uso em produção.

  • Para instâncias por assinatura, selecione também uma Subscription Duration e decida se deseja ativar a Auto-renewal. O período de renovação padrão é de seis meses, com renovação automática ativada. Quando ativada, a instância é renovada automaticamente sete dias antes de expirar. Para mais informações, consulte Renewal.

Zone

Localização física distinta dentro de uma região, interconectada por uma rede privada de baixa latência. Geralmente, é possível usar a zona de disponibilidade padrão.

VPC

Ambiente de rede logicamente isolado no Alibaba Cloud que oferece controle total sobre sua configuração de rede.

Selecione uma VPC existente ou clique em Create VPC para criar uma instantaneamente no console VPC. Para mais informações, consulte Create and manage a VPC.

vSwitch

Subdivisão básica de rede de uma VPC usada para conectar diferentes recursos cloud.

Selecione um vSwitch existente ou clique em . Create vSwitch para criar um instantaneamente no console VPC. Para mais informações, consulte VPCs and vSwitches.

O tamanho do bloco CIDR do vSwitch determina o número de endereços IPv4 disponíveis. Por exemplo, um bloco CIDR /24 fornece cerca de 250 endereços IP disponíveis, um bloco /20 fornece cerca de 4.090 e um bloco /17 fornece cerca de 32.764. Se seu cluster exigir um grande número de nós, selecione um vSwitch com um bloco CIDR maior para garantir que endereços IP suficientes possam ser alocados para todos os nós do cluster.

Não é possível alterar o bloco CIDR de um vSwitch após sua criação. Se precisar de um intervalo de endereços IP maior, crie um novo vSwitch com um bloco CIDR maior e, em seguida, crie um novo cluster baseado nesse vSwitch. Ao criar um vSwitch, o console exibe o número de endereços IP disponíveis para o bloco CIDR selecionado, ajudando a avaliar se atende aos requisitos de tamanho do seu cluster.

Default Security Group

Firewall virtual que controla o tráfego de entrada e saída das instâncias dentro do grupo. Para mais informações, consulte Security group overview.

Selecione um grupo de segurança existente ou clique em create a new security group. para criar um no console ECS. Para mais informações, consulte Create a security group.

Node Group

Selecione tipos de instância conforme suas necessidades. Para mais informações, consulte Instance families.

• Master: Executa serviços do plano de controle, como ResourceManager e NameNode.

• Core: Armazena dados no sistema de arquivos distribuído do cluster (HDFS). Também é possível escalar horizontalmente os nós Core sob demanda após a criação do cluster.

• Task: Fornece capacidade computacional adicional sem armazenar dados. Este grupo de nós é opcional e pode ser adicionado para escalar recursos de computação.

  Importante

  Grupos de nós Task suportam métodos de faturamento por pagamento conforme o uso, instância preemptível e assinatura.

• Add to Deployment Set: Quando a alta disponibilidade está ativada, os nós Master são adicionados a um conjunto de implantação por padrão. Um conjunto de implantação controla a distribuição das instâncias. Para mais informações, consulte Deployment sets.

• System Disk: Selecione SSD padrão, SSD aprimorado (ESSD) ou disco ultra conforme necessário. Ajuste o tamanho do disco de sistema conforme exigido.

• Data Disk: Selecione SSD padrão, SSD aprimorado (ESSD) ou disco ultra conforme necessário. Ajuste o tamanho do disco de dados conforme exigido.

  Nota

  Ao selecionar um SSD aprimorado (ESSD), defina diferentes níveis de desempenho (PLs) com base na capacidade do disco para atender a várias necessidades de desempenho do cluster. O nível de desempenho padrão é PL1. Dependendo da capacidade do disco, os discos de sistema suportam PL0, PL1 e PL2, enquanto os discos de dados suportam PL0, PL1, PL2 e PL3. Para mais informações sobre discos cloud, consulte Cloud disk overview.

• Instances: O grupo de nós Master possui uma instância por padrão. Se a alta disponibilidade estiver ativada, é possível ter múltiplas instâncias Master.

  O grupo de nós Core possui duas instâncias por padrão. Ajuste esse número conforme necessário.

• Additional Security Group: Permite controle de acesso flexível entre diferentes recursos externos ou aplicações. Associe até dois grupos de segurança adicionais a este grupo de nós.

• Assign Public Network IP: Controla se um endereço Elastic IP (EIP) será atribuído ao cluster. Desativado por padrão. Apenas clusters DataLake suportam a atribuição de IPs públicos no nível do grupo de nós.

  Nota

  Se não ativar este recurso, mas desejar usar um endereço IP público para acessar o cluster após sua criação, solicite um no console ECS. Para mais informações, consulte Apply for an EIP.

Cluster Scaling

Selecione uma regra de auto scaling conforme necessário.

• Do Not Use Auto Scaling Rules (Padrão).

• Custom Auto Scaling Rule: Defina regras personalizadas para auto scaling baseado em tempo ou carga. Para mais informações, consulte Create a custom auto scaling rule.

• Managed Auto Scaling Rule: Ao iniciar o cluster, o EMR provisiona previamente o número de nós Task com base na regra de dimensionamento gerenciado. Para mais informações, consulte Create a managed auto scaling rule.

Parâmetro

Descrição

Cluster Name

Nome do cluster. Deve ter entre 1 e 64 caracteres e pode conter apenas caracteres chineses, letras, dígitos, hifens (-) e sublinhados (_).

Identity Credentials

As Identity Credentials fornecem acesso seguro ao nó Master do cluster. Para instruções de login, consulte Log on to a cluster. Os seguintes tipos de credenciais estão disponíveis:

• Key Pair (Padrão): Selecione um par de chaves existente ou clique em Create Key Pair para criar um instantaneamente.

  Um par de chaves (chave pública + chave privada) é um método de autenticação seguro e conveniente para fazer login em instâncias Linux. Para mais informações sobre o uso de pares de chaves, consulte SSH key pairs.

• Password: Defina uma senha de login para o nó Master e confirme-a. O nome de usuário padrão é root.

  • Requisitos de senha: 8 a 30 caracteres de comprimento, devendo conter letras maiúsculas, minúsculas, dígitos e caracteres especiais.

  • Caracteres especiais suportados incluem: ponto de exclamação (!), arroba (@), cerquilha (#), cifrão ($), sinal de porcentagem (%), circunflexo (^), e comercial (&) e asterisco (*).