Elastic Compute Service:Big data instance families (d series)

As instâncias de big data oferecem os seguintes benefícios:

• Poder de computação de nível empresarial garante processamento de dados eficiente e estável.

• Desempenho de rede aprimorado, com maior largura de banda interna máxima por instância e maiores taxas de encaminhamento de pacotes, atendendo a demandas de transferência de dados como shuffling no Hadoop MapReduce em momentos de pico.

Ao usar instâncias de big data, observe os seguintes pontos:

• Instâncias equipadas com SSDs locais não suportam alterações de configuração.

• Discos locais vinculam-se apenas a tipos específicos de instância. A quantidade e a capacidade dos discos locais anexados variam conforme o tipo de instância. Não é possível adquirir discos locais separadamente, nem desanexá-los de uma instância para anexá-los a outra.

• Não é possível criar snapshots de discos locais. Caso precise gerar uma imagem a partir do disco do sistema e dos discos de dados de uma instância com SSDs locais, combine snapshots do disco do sistema com snapshots de discos de dados. Nesse caso, os discos de dados devem ser discos em cloud.

• Não é permitido criar imagens compostas por snapshots do disco do sistema e de discos de dados em instâncias equipadas com SSDs locais.

• É possível anexar um SSD padrão a uma instância com SSDs locais e expandir a capacidade desse SSD padrão.

• Operações em instâncias equipadas com SSDs locais podem afetar os dados armazenados nesses discos. Para mais detalhes, consulte a seção Impacts of instance operations on data stored on local disks do tópico "Discos locais".

Na primeira montagem de um sistema de arquivos como ext4, inicialize a tabela de inodes. Por padrão, o recurso lazyinit vem ativado no kernel Linux v2.6.37 e posteriores, fazendo com que a tabela de inodes só seja inicializada durante a montagem do sistema de arquivos. Além disso, discos locais consomem grande volume de throughput durante a inicialização, chegando a 600 MB/s para 30 discos locais, o que pode impactar a estabilidade do serviço. O número de objetos simultâneos na inicialização lazy aumentou no kernel Linux v4.x para resolver essa questão. Para mais informações, consulte index: kernel/git/stable/linux.git. Adote as seguintes melhores práticas para inicializar a tabela de inodes o quanto antes:

1. Obtenha uma lista de todos os HDDs SATA (Serial Advanced Technology Attachment) locais.

2. Execute o comando abaixo para inicializar cada disco local individualmente.

   Neste exemplo, cria-se um sistema de arquivos ext4 em um disco local cujo nome de dispositivo é /dev/vdb.

   mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &

3. Após inicializar todos os discos locais, execute o comando iostat -x 5 até que as atividades de E/S de todos os discos locais apareçam como 0.

4. Execute o comando mount em lote.

Características:

• Esta família possui HDDs SATA locais de alta capacidade (12 TB) e alto throughput, oferecendo largura de banda de rede máxima de 64 Gbit/s entre instâncias.

• Cenários suportados:

  • Negócios de computação e armazenamento de big data com serviços como Hadoop MapReduce, HDFS, Hive e HBase

  • Cenários de machine learning, como computação em memória Spark e MLlib

  • Processamento de busca e dados de log com soluções como Elasticsearch e Kafka

• Suporta substituição online e hot swapping de discos danificados, evitando o desligamento da instância.

  Em caso de falha em um disco local, você receberá um evento de sistema. Para tratar esse evento, inicie o processo de reparo do disco danificado. Para mais informações, consulte Maintenance and system events for local disk instances.

  Importante

  Após iniciar o reparo do disco danificado, os dados nele armazenados não poderão ser restaurados.

• Computação:

  • Usa processadores Intel^® Xeon^® Scalable (Ice Lake) de 2,7 GHz com frequência turbo all-core de 3,5 GHz, garantindo desempenho computacional consistente.

• Armazenamento:

  • Todas as instâncias desta família são otimizadas para E/S.

  • Suporta apenas ESSDs e discos ESSD AutoPL.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte IPv6 communication.

  • O desempenho de rede corresponde ao tipo de instância. Tipos maiores oferecem maior desempenho de rede.

A família d3s inclui os tipos de instância e dados de métricas listados na tabela a seguir.

Características:

• Equipada com discos locais de alta capacidade e alto throughput, esta família oferece largura de banda máxima de 40 Gbit/s entre instâncias.

• Cenários suportados:

  • Negócios de computação e armazenamento de big data com serviços como Hadoop MapReduce, HDFS, Hive e HBase

  • Cenários que combinam EMR JindoFS e Object Storage Service (OSS) para separar dados quentes e frios, desacoplando armazenamento e computação

  • Cenários de machine learning, como computação em memória Spark e MLlib

  • Processamento de busca e dados de log com soluções como Elasticsearch e Kafka

• Suporta substituição online e hot swapping de discos danificados, evitando o desligamento da instância.

  Em caso de falha em um disco local, você receberá um evento de sistema. Para tratar esse evento, inicie o processo de reparo do disco danificado. Para mais informações, consulte Maintenance and system events for local disk instances.

  Importante

  Após iniciar o reparo do disco danificado, os dados nele armazenados não poderão ser restaurados.

• Computação:

  • Usa processadores Intel^® Xeon^® Scalable (Ice Lake) de terceira geração com 2,9 GHz e frequência turbo all-core de 3,5 GHz, garantindo desempenho computacional consistente.

• Armazenamento:

  • Todas as instâncias desta família são otimizadas para E/S.

  • Suporta apenas ESSDs e discos ESSD AutoPL.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte IPv6 communication.

  • O desempenho de rede corresponde ao tipo de instância. Tipos maiores oferecem maior desempenho de rede.

A família d3c inclui os tipos de instância e dados de métricas listados na tabela a seguir.

Características:

• Esta família conta com HDDs SATA locais de alta capacidade e alto throughput, proporcionando largura de banda máxima de 35 Gbit/s entre instâncias.

• Cenários suportados:

  • Negócios de computação e armazenamento de big data com serviços como Hadoop MapReduce, HDFS, Hive e HBase

  • Cenários que combinam EMR JindoFS e OSS para separar dados quentes e frios, desacoplando armazenamento e computação

  • Cenários de machine learning, como computação em memória Spark e MLlib

  • Processamento de busca e dados de log com soluções como Elasticsearch e Kafka

• Suporta substituição online e hot swapping de discos danificados, evitando o desligamento da instância.

  Em caso de falha em um disco local, você receberá um evento de sistema. Para tratar esse evento, inicie o processo de reparo do disco danificado. Para mais informações, consulte Maintenance and system events for local disk instances.

  Importante

  Após iniciar o reparo do disco danificado, os dados nele armazenados não poderão ser restaurados.

• Computação:

  • Usa processadores Intel^® Xeon^® Platinum 8269CY (Cascade Lake) de 2,5 GHz.

• Armazenamento:

  • Todas as instâncias desta família são otimizadas para E/S.

  • Suporta enhanced SSDs (ESSDs), discos ESSD AutoPL, SSDs padrão e ultra disks.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte IPv6 communication.

  • O desempenho de rede corresponde ao tipo de instância. Tipos maiores oferecem maior desempenho de rede.

A família d2c inclui os tipos de instância e dados de métricas listados na tabela a seguir.

Características:

• Esta família conta com HDDs SATA locais de alta capacidade e alto throughput, proporcionando largura de banda máxima de 35 Gbit/s entre instâncias.

• Cenários suportados:

  • Negócios de computação e armazenamento de big data com serviços como Hadoop MapReduce, HDFS, Hive e HBase

  • Cenários de machine learning, como computação em memória Spark e MLlib

  • Processamento de busca e dados de log com soluções como Elasticsearch e Kafka

• Suporta substituição online e hot swapping de discos danificados, evitando o desligamento da instância.

  Em caso de falha em um disco local, você receberá um evento de sistema. Para tratar esse evento, inicie o processo de reparo do disco danificado. Para mais informações, consulte Maintenance and system events for local disk instances.

  Importante

  Após iniciar o reparo do disco danificado, os dados nele armazenados não poderão ser restaurados.

• Computação:

  • Usa processadores Intel^® Xeon^® Platinum 8163 (Skylake) de 2,5 GHz.

• Armazenamento:

  • Todas as instâncias desta família são otimizadas para E/S.

  • Suporta ESSDs, discos ESSD AutoPL, SSDs padrão e ultra disks.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte IPv6 communication.

  • O desempenho de rede corresponde ao tipo de instância. Tipos maiores oferecem maior desempenho de rede.

A família d2s inclui os tipos de instância e dados de métricas listados na tabela a seguir.

Características:

• Esta família conta com HDDs SATA locais de alta capacidade e alto throughput, proporcionando largura de banda máxima de 35 Gbit/s entre instâncias.

• Cenários suportados:

  • Cenários com serviços como Hadoop MapReduce, HDFS, Hive e HBase

  • Cenários de machine learning, como computação em memória Spark e MLlib

  • Processamento de busca e dados de log com soluções como Elasticsearch

• Computação:

  • Oferece proporção de CPU para memória de 1:4, projetada para cenários de big data.

  • Usa processadores Intel^® Xeon^® E5-2682 v4 (Broadwell) ou Intel^® Xeon^® Platinum 8163 (Skylake) de 2,5 GHz, fornecendo desempenho computacional estável.

• Armazenamento:

  • Todas as instâncias desta família são otimizadas para E/S.

  • Suporta apenas SSDs padrão e ultra disks.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte IPv6 communication.

  • O desempenho de rede corresponde ao tipo de instância. Tipos maiores oferecem maior desempenho de rede.

A família d1ne inclui os tipos de instância e dados de métricas listados na tabela a seguir.