Hardware e rede - E-MapReduce: Central de Documentação do Alibaba Cloud

A configuração adequada de hardware e o design do ambiente de rede são fatores essenciais para garantir desempenho, custo-benefício e confiabilidade na criação de um cluster do Alibaba Cloud EMR. Este tópico descreve como selecionar serviços de alta disponibilidade, especificações de nós e soluções de configuração de rede com base nos requisitos de processamento de big data.

Seleção de serviço de alta disponibilidade

Ative ou não o recurso de alta disponibilidade conforme seus cenários de negócios e necessidades reais. Com o serviço de alta disponibilidade ativado, o cluster utiliza múltiplos nós mestre para eliminar riscos de falha de nó único e garantir a continuidade do serviço por meio de mecanismos distribuídos e de failover.

Dimensão	Cluster com nó mestre único	Cluster com múltiplos nós mestre
Cenários	Ambientes de teste Baixa necessidade de disponibilidade	Ambientes de produção Alta necessidade de disponibilidade
Recursos principais	Arquitetura de nó único com implantação simples. Apresenta riscos de falha de ponto único.	Eliminação do risco de falha de nó único: A arquitetura de cluster com múltiplos nós garante a continuidade do serviço alternando para outros nós mestre disponíveis. Alta confiabilidade do cluster: Suporta configuração de alta disponibilidade para componentes principais, como HDFS NameNode e YARN ResourceManager. Isolamento de hardware: Os conjuntos de implantação do ECS distribuem vários nós mestre em hardwares físicos distintos. Isso protege os múltiplos nós mestre contra falhas simultâneas em caso de problemas no hardware subjacente.
Failback	Sem recuperação automática: Exige intervenção manual para solução de problemas e reinicialização.	Failback automático: O serviço EMR substitui automaticamente o nó mestre com falha, configurando o mesmo ambiente e as mesmas ações de inicialização do nó original.
Custo	Baixo custo: Configuração de apenas 1 nó mestre.	Custo mais elevado: Requer 3 nós mestre. Eles implementam mecanismos de decisão por maioria via algoritmos de consenso em sistemas distribuídos, atendendo aos requisitos de consistência forte de componentes open-source (como ZooKeeper e HDFS), tolerando falhas de nó único e evitando split-brain.

Seleção de especificações de nó

O processo de configuração do cluster segue as etapas abaixo:

Definir o cenário de negócios: Conclua a seleção (por exemplo: data lake, análise de dados, fluxo de dados em tempo real, serviço de dados ou cenário de cluster personalizado) com base nos cenários.
Selecionar a arquitetura de armazenamento: Determine se deve escolher uma arquitetura com armazenamento e computação acoplados (HDFS) ou desacoplados (OSS-HDFS/OSS) conforme o cenário.
Configure as especificações dos nós e o tamanho do disco:
1. Configurar especificações de nó: Selecione tipos de instância ECS adequados (como uso geral, otimizado para computação, otimizado para memória, big data, etc.) para diferentes tipos de nós (como Master, Core, Task) com base na arquitetura de armazenamento escolhida, escala do cluster, características do negócio e outros fatores.
2. Configure o tamanho do disco: Calcule a capacidade de armazenamento e defina o tamanho apropriado do disco considerando o volume de dados e as expectativas de crescimento.

Cenário de Data Lake

Armazenamento e computação acoplados (HDFS)

Tipo de nó

Especificação recomendada

Master

Gerencia o cluster e coordena tarefas.

Serviços implantados: NameNode, ResourceManager, HiveServer, HiveMetastore, SparkHistoryServer.

Padrão: Instâncias de uso geral; selecione discos em nuvem.
Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB.
Clusters médios a grandes: ≥ 16 núcleos e 64 GiB.
Quantidade massiva de arquivos HDFS (≥ 10 milhões): As especificações devem atender aos requisitos de memória do NameNode.

Core

Fornece poder de computação e recursos de armazenamento.

Serviços implantados: DataNode, NodeManager.

As especificações das instâncias de nós Core dependem dos requisitos de recursos.

Correspondência ao tipo de negócio: Selecione o tipo de instância com base na proporção CPU/memória exigida pelas tarefas do Yarn.
- Cenário padrão: Instâncias de uso geral.
- Tarefas intensivas em CPU (como treinamento de inferência de IA): Instâncias otimizadas para computação.
- Tarefas intensivas em memória (como análise de relatórios offline): Instâncias otimizadas para memória.
Requisitos de armazenamento HDFS (> 10 TB/nó): Família de instâncias de big data. Este tipo de instância usa discos locais para armazenamento, reduzindo custos, mas exige manutenção manual dos discos locais.
Restrição de capacidade de memória: Especificação de memória do nó > Pico de memória de um único contêiner de tarefa Yarn.

Task

Fornece apenas poder de computação; não armazena dados. Usado principalmente para suprir demandas de CPU e memória dos nós Core.

Serviços implantados: NodeManager.

Recomendações para cenários de pico e vale:

Configure especificações fixas para nós Core baseadas nas demandas de computação do período de vale.
Especificações elásticas de nós Task ≥ especificações de nós Core para lidar com demandas de pico.

Armazenamento e computação desacoplados (OSS-HDFS/OSS)

Tipo de nó	Especificação recomendada
Master Gerencia o cluster e coordena tarefas. Serviços implantados: ResourceManager, HiveServer, HiveMetastore, SparkHistoryServer.	Padrão: Instâncias de uso geral; selecione discos em nuvem. Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB. Clusters médios a grandes: ≥ 16 núcleos e 64 GiB.
Core Função semelhante aos nós Task; não armazena dados. Serviços implantados: NodeManager.	Os nós Core não suportam dimensionamento elástico. Recomendamos usar apenas nós Task e não configurar nós Core.
Task Fornece poder de computação. Serviços implantados: NodeManager.	Correspondência ao tipo de negócio: Selecione o tipo de instância com base na proporção CPU/memória exigida pelas tarefas do Yarn. Cenário padrão: Instâncias de uso geral. Tarefas intensivas em CPU (como treinamento de inferência de IA): Instâncias otimizadas para computação. Tarefas intensivas em memória (como análise de relatórios offline): Instâncias otimizadas para memória. Restrição de capacidade de memória: Especificação de memória do nó > Pico de memória de um único Container de tarefa Yarn.

Cenário de análise de dados

Armazenamento e computação acoplados

Tipo de nó

Especificações recomendadas

Master

Gerencia o cluster e coordena tarefas.

Serviços implantados: StarRocks FE, Doris FE, Zookeeper.

Cenários comuns: Instâncias de uso geral; selecione discos em nuvem.
Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB.
Clusters médios a grandes: ≥ 16 núcleos e 64 GiB.

Core

Fornece poder de computação e recursos de armazenamento.

Serviços implantados: StarRocks BE, Doris BE, ClickhouseKeeper, ClickhouseServer.

As especificações das instâncias de nós Core relacionam-se às necessidades de computação do negócio e ao volume de dados armazenados.

Volume de armazenamento ≤ 10 TB/nó: As especificações da instância dependem das necessidades reais de computação do negócio.
- Padrão: Instâncias de uso geral; selecione discos em nuvem.
- Tarefas intensivas em CPU (envolvendo muitas operações computacionais): Instâncias otimizadas para computação.
- Tarefas intensivas em memória (exigindo cache maior para melhorar o desempenho): Instâncias otimizadas para memória.
Volume de armazenamento > 10 TB/nó: Famílias de instâncias de big data. Este tipo de instância usa discos locais para armazenamento, reduzindo custos, mas exige manutenção manual dos discos locais.

Task

Fornece poder de computação.

Serviços implantados: StarRocks CN.

Apenas o StarRocks Compute Node suporta implantação em nós Task. Se você não estiver usando componentes StarRocks, não é necessário utilizar nós Task.

Recomendações para cenários de pico e vale:

Configure especificações fixas para nós Core baseadas nas demandas de computação do período de vale.
Especificações elásticas de nós Task ≥ especificações de nós Core para lidar com demandas de pico.

Armazenamento e computação desacoplados

Apenas a versão 3.x do StarRocks suporta armazenamento e computação desacoplados.

Tipo de nó

Especificações recomendadas

Master

Gerencia o cluster e coordena tarefas.

Serviços implantados: StarRocks FE, Zookeeper.

Cenários comuns: Instâncias de uso geral; selecione discos em nuvem.
Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB.
Clusters médios a grandes: ≥ 16 núcleos e 64 GiB.

Task

Fornece poder de computação.

Serviços implantados: StarRocks CN.

Na arquitetura de armazenamento e computação desacoplados do StarRocks, não existem nós Core, apenas nós Task.

Padrão: Instâncias de uso geral; selecione discos em nuvem.
Tarefas intensivas em CPU (envolvendo muitas operações computacionais): Instâncias otimizadas para computação.
Tarefas intensivas em memória (exigindo cache maior para melhorar o desempenho): Instâncias otimizadas para memória.

Avalie as especificações da instância com base nas necessidades reais de computação do negócio; geralmente, selecione ≥16 núcleos e 64 GiB. O número de nós pode ser dimensionado elasticamente conforme a demanda.

Cenário de fluxo de dados em tempo real

Armazenamento e computação acoplados (HDFS)

Tipo de nó

Especificações recomendadas

Master

Gerencia o cluster e coordena tarefas.

Serviços implantados: NameNode, ResourceManager, FlinkHistoryServer, Zookeeper.

Padrão: Instâncias de uso geral; selecione discos em nuvem.
Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB.
Clusters médios a grandes: ≥ 16 núcleos e 64 GiB.
Quantidade massiva de arquivos HDFS (≥ 1 milhão): As especificações devem atender aos requisitos de memória do NameNode.

Core

Fornece poder de computação e recursos de armazenamento.

Serviços implantados: DataNode, NodeManager.

As especificações das instâncias de nós Core dependem do tipo de negócio e dos requisitos de recursos.

Correspondência ao tipo de negócio: Selecione o tipo de instância com base na proporção CPU/memória exigida pelas tarefas do Flink.
- Padrão: Instâncias de uso geral.
- Tarefas intensivas em CPU: Instâncias otimizadas para computação.
- Tarefas intensivas em memória: Instâncias otimizadas para memória.
Requisitos de armazenamento HDFS (> 10 TB/nó): Famílias de instâncias de big data. Este tipo de instância usa discos locais para armazenamento, reduzindo custos, mas exige manutenção manual dos discos locais.
Restrição de capacidade de memória: Especificação de memória do nó > Pico de memória de um único JobManager ou TaskManager em tarefas Flink.

Task

Fornece apenas poder de computação; não armazena dados. Usado principalmente para complementar as demandas de CPU e memória dos nós Core.

Serviços implantados: NodeManager.

Recomendações para cenários de pico e vale:

Configure especificações fixas para nós Core baseadas nas demandas de computação do período de vale.
Especificações elásticas de nós Task ≥ especificações de nós Core para lidar com demandas de pico.

Armazenamento e computação desacoplados (OSS-HDFS/OSS)

Tipo de nó	Especificações recomendadas
Master Gerencia o cluster e coordena tarefas. Serviços implantados: ResourceManager, FlinkHistoryServer, Zookeeper.	Padrão: Instâncias de uso geral; selecione discos em nuvem. Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB. Clusters médios a grandes: ≥ 16 núcleos e 64 GiB.
Core Função semelhante aos nós Task; não armazena dados. Serviços implantados: NodeManager.	Os nós Core não suportam dimensionamento elástico. Recomendamos usar apenas nós Task e não configurar nós Core.
Task Fornece poder de computação. Serviços implantados: NodeManager.	Correspondência ao tipo de negócio: Selecione o tipo de instância com base na proporção CPU/memória exigida pelas tarefas do Flink. Padrão: Instâncias de uso geral. Tarefas intensivas em CPU: Instâncias otimizadas para computação. Tarefas intensivas em memória: Instâncias otimizadas para memória. Restrição de capacidade de memória: Especificação de memória do nó > Pico de memória de um único JobManager ou TaskManager em tarefas Flink.

Cenário de serviço de dados

Armazenamento e computação acoplados (HDFS)

Tipo de nó	Especificações recomendadas
Master Gerencia o cluster e coordena tarefas. Serviços implantados: NameNode, HMaster, Zookeeper.	Padrão: Instâncias de uso geral; selecione discos em nuvem. Clusters pequenos a médios (≤ 16 instâncias): 8 núcleos e 32 GiB. Clusters grandes: ≥ 16 núcleos e 64 GiB. Quantidade massiva de arquivos HDFS (≥ 10 milhões): As especificações devem atender aos requisitos de memória do NameNode.
Core Fornece poder de computação e recursos de armazenamento. Serviços implantados: DataNode, HRegionServer.	As especificações das instâncias de nós Core dependem do volume de requisições do negócio e do volume de armazenamento. Volume de requisições do negócio: Instâncias de uso geral; selecione discos em nuvem. Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB de memória, com QPS de até 10.000 por nó. Clusters médios a grandes: ≥ 16 núcleos e 64 GiB; defina o número de nós Core conforme a situação real. Volume de armazenamento HDFS (> 10 TB/nó): Famílias de instâncias de big data. Este tipo de instância usa discos locais para armazenamento, reduzindo custos, mas exige manutenção manual dos discos locais.
Task Fornece apenas poder de computação; não armazena dados. Usado principalmente para complementar as demandas de CPU e memória dos nós Core. Serviços implantados: HRegionServer.	Em serviços de dados, como os dados ficam armazenados nos nós Core, geralmente não se recomenda o uso de nós Task para garantir a localidade dos dados.

Armazenamento e computação desacoplados (OSS-HDFS/OSS)

Tipo de nó

Especificações recomendadas

Master

Gerencia o cluster e coordena tarefas.

Serviços implantados: NameNode, HMaster, Zookeeper.

Padrão: Instâncias de uso geral; selecione discos em nuvem.
Clusters pequenos a médios (≤ 16 instâncias): 8 núcleos e 32 GiB.
Clusters grandes: ≥ 16 núcleos e 64 GiB.

Core

Fornece poder de computação e recursos de armazenamento.

Serviços implantados: DataNode, HRegionServer.

Usar OSS-HDFS/OSS para armazenar HLog do HBase impacta significativamente o desempenho de gravação. Recomendamos salvar o HLog do HBase no HDFS.

As especificações das instâncias de nós Core dependem do volume de requisições do negócio. Recomendam-se instâncias de uso geral, com espaço em disco ≥ 500 GiB.

Clusters pequenos (≤ 8 instâncias): 8 núcleos e 32 GiB de memória, com QPS de até 10.000 por nó.
Clusters médios a grandes: ≥ 16 núcleos e 64 GiB; defina o número de nós Core conforme a situação real.

Task

Fornece poder de computação.

Serviços implantados: HRegionServer.

Recomendações para cenários de pico e vale:

Modo de nós Core fixos + nós Task elásticos.
As especificações dos nós Task devem ser consistentes com as dos nós Core.

Cenário de cluster personalizado

Quando o negócio envolve múltiplos cenários mistos, como ETL offline, ETL em tempo real, análise complexa de agregação e serviços de consulta de alta concorrência:

Abordagem recomendada: Solução combinada de múltiplos tipos de cluster. Implante independentemente clusters com características diferentes (como clusters de processamento em lote offline, clusters de processamento de fluxo em tempo real, clusters analíticos e clusters de aceleração de consultas) para alcançar isolamento de recursos e adaptação ao cenário. Isso garante o desempenho e a estabilidade das diversas tarefas.
Se a escala do seu negócio for pequena e não houver conflitos de recursos entre os cenários, escolha um cluster personalizado: Reduza a complexidade de implantação e melhore a utilização de recursos através de configurações flexíveis.

Armazenamento e computação acoplados (HDFS)

Tipo de nó

Especificações recomendadas

Master

Responsável por gerenciar o cluster e coordenar tarefas.

Clusters pequenos (≤ 8 instâncias): Instâncias de uso geral com 8 núcleos e 32 GiB; selecione discos em nuvem.
Grande quantidade de arquivos HDFS (≥ 1 milhão): As especificações devem atender aos requisitos de memória do NameNode.

Core

Fornece poder de computação e recursos de armazenamento.

As especificações das instâncias de nós Core dependem do tipo de negócio e dos requisitos de recursos.

Correspondência ao tipo de negócio: Selecione o tipo de instância com base na proporção CPU/memória exigida pelas tarefas do cluster.
- Cenário padrão: Instâncias de uso geral.
- Tarefas intensivas em CPU: Instâncias otimizadas para computação.
- Tarefas intensivas em memória: Instâncias otimizadas para memória.
Requisitos de armazenamento (> 10 TB/nó): Famílias de instâncias de big data. Este tipo de instância usa discos locais para armazenamento, reduzindo custos, mas exige manutenção manual dos discos locais.
Restrição de capacidade de memória: Especificação de memória do nó > Max(Pico de memória de um único Container de tarefa Yarn, Pico de memória de um único JobManager ou TaskManager de tarefa Flink).

Task

Fornece apenas poder de computação; não armazena dados. Usado principalmente para complementar as demandas de CPU e memória dos nós Core.

Recomendações para cenários de pico e vale:

Configure especificações fixas para nós Core baseadas nas demandas de computação do período de vale.
Especificações elásticas de nós Task ≥ especificações de nós Core para lidar com demandas de pico.

Armazenamento e computação desacoplados (OSS-HDFS/OSS)

Tipo de nó	Especificações recomendadas
Master Gerencia o cluster e coordena tarefas.	Clusters pequenos (≤ 8 instâncias): Instâncias de uso geral com 8 núcleos e 32 GiB; selecione discos em nuvem.
Core Função semelhante aos nós Task; não armazena dados.	Se não houver necessidade de armazenamento de dados, recomendamos usar apenas nós Task elásticos e não configurar nós Core. Quando o serviço HBase for necessário: Para garantir o desempenho de gravação, recomendamos salvar o HLog do HBase no HDFS. Especificações: Instâncias de uso geral com 16 núcleos e 64 GiB, espaço em disco ≥ 500 GiB.
Task Fornece poder de computação.	Ao configurar apenas nós Task: Correspondência ao tipo de negócio: Selecione o tipo de instância com base na proporção CPU/memória exigida pelas tarefas do Flink. Padrão: Instâncias de uso geral. Tarefas intensivas em CPU: Instâncias otimizadas para computação. Tarefas intensivas em memória: Instâncias otimizadas para memória. Restrição de capacidade de memória: Especificação de memória do nó > Max(Pico de memória de um único Container de tarefa Yarn, Pico de memória de um único JobManager ou TaskManager de tarefa Flink). Quando tanto nós Core quanto nós Task forem configurados, considere os cenários de pico e vale: Modo de nós Core fixos + nós Task elásticos. As especificações dos nós Task devem ser consistentes com as dos nós Core.

Recomendações de configuração de rede

Dimensão principal	Recomendações de configuração
Configuração de rede VPC	Selecione uma VPC e um vSwitch adequados e planeje seus blocos CIDR para reservar endereços IP suficientes para expansões futuras. Para verificar o número de endereços IP disponíveis em um vSwitch, faça login no VPC Management Console. No painel de navegação à esquerda, escolha vSwitch para visualizar o bloco CIDR IPv4 e o número de endereços IPv4 disponíveis para cada vSwitch. O bloco CIDR de um vSwitch determina o número de endereços IP disponíveis. Cada vSwitch reserva cinco endereços IP (endereço de rede, endereço de gateway, endereço de broadcast e outros endereços reservados pelo Alibaba Cloud). O número de endereços IP disponíveis é calculado como 2^(32 - bits da máscara de sub-rede) - 5. Por exemplo, um bloco CIDR /24 possui 256 endereços IP no total, sendo 251 disponíveis, e um bloco CIDR /20 possui 4.096 endereços IP no total, sendo 4.091 disponíveis. Antes de criar um cluster EMR, certifique-se de que o vSwitch selecionado tenha mais endereços IP disponíveis do que o número de nós que você planeja implantar. Isso evita falhas no dimensionamento elástico devido ao esgotamento de endereços IP. O bloco CIDR de um vSwitch não pode ser alterado após sua criação. Para expandir o intervalo de endereços IP, crie um novo vSwitch e recrie o cluster. Alocação de endereços IP para nós elásticos: Os nós Task são instâncias ECS. Durante o dimensionamento, o sistema recria as instâncias ECS subjacentes e atribui dinamicamente novos endereços IP a partir dos blocos CIDR da VPC e do vSwitch. Não há garantia de que o novo endereço IP será igual ao anterior, podendo ser reutilizado. Esse comportamento depende do inventário de ECS e das políticas de agendamento. Conectividade de rede: Planeje os caminhos de conectividade de rede com outros serviços em nuvem.
Configuração de grupo de segurança	Princípio do menor privilégio: Configure as regras do grupo de segurança adequadamente. Abra apenas as portas necessárias e defina regras de entrada para permitir acesso somente de endereços IP ou segmentos de rede confiáveis. Isso previne ataques como mineração de criptomoedas. Controle rigoroso de portas de gerenciamento: Estabeleça controles de acesso estritos para portas de gerenciamento, como SSH, para garantir a segurança do cluster.
Configuração de conectividade de rede	Melhoria do desempenho da rede: Considere usar instâncias com grande largura de banda interna para grandes volumes de dados. Redução de tráfego entre zonas: Orquestre a topologia de rede entre clusters e fontes de dados. Controle de acesso externo: Se precisar de capacidade de acesso externo, utilize NAT Gateway ou IP elástico.

Apêndice: Tipos de instância ECS

Consulte Família de instâncias para visualizar as características, especificações e cenários aplicáveis das famílias de instâncias ECS disponíveis. Isso serve de referência para configurar as especificações das instâncias de nós no console EMR.

Tipo de instância	Características
Uso geral	vCPU:Memória=1:4. Abreviado como série g.
Otimizado para computação	vCPU:Memória=1:2, fornece mais recursos de computação. Abreviado como série c.
Otimizado para memória	vCPU:Memória=1:8, fornece mais recursos de memória. Abreviado como série r.
SSD Local	vCPU:Memória=1:4, usa discos SSD locais, possui alto IOPS aleatório e alta capacidade de throughput, mas apresenta risco de perda de dados. Este tipo de instância não está disponível para nós mestre. Abreviado como série i.
Big data	vCPU:Memória=1:4, usa discos SATA locais, possui alta relação custo-benefício de armazenamento, sendo o tipo de instância recomendado para cenários com grande volume de dados (nível de TB). Abreviado como série d.
Compartilhado	Tipo de instância com CPU compartilhada, não é estável o suficiente para grandes cargas computacionais, adequada apenas para aprendizado introdutório. Não recomendada para clientes empresariais. Este tipo de instância está disponível apenas para nós task.