Elastic GPU Service:GPU compute-optimized: gn, ebm, and scc

gn9gc, família de instâncias otimizadas para computação acelerada por GPU

• Visão geral: A gn9gc é a família de instâncias de servidor cloud com GPU de 9ª geração e custo-benefício da Alibaba Cloud. Ela utiliza a mais recente CIPU 2.0 para fornecer capacidades de serviço cloud, possui processadores de alta frequência de clock e é configurada com capacidade de memória adequada. Esta família oferece instâncias com excelente custo-benefício para cenários de geração de modelos de linguagem grandes (LLM) e geração de vídeo/imagem. A GPU também pode fornecer diretamente capacidades de processamento gráfico para suportar diversas cargas de trabalho de renderização.

• Casos de uso:

  • Inferência de LLM: A GPU de nova geração oferece poder de computação superior ao da 8ª geração, com largura de banda de memória significativamente aprimorada. O suporte recém-adicionado à computação FP4 melhora abrangentemente o desempenho e o custo-benefício da inferência. A eficiência da inferência paralela com múltiplas GPUs é bastante elevada.

• Computação:

  • Utiliza o mais recente processador cloud CIPU 2.0.

    • A CIPU de 2ª geração fornece maior poder de processamento cloud com capacidades aprimoradas de componentes eRDMA, VPC e EBS. Suporta containers (incluindo, mas não se limitando a Docker, Clear Container e Pouch).

  • Utiliza a nova placa gráfica profissional com arquitetura Blackwell:

    • Suporta processamento gráfico de nível profissional OpenGL.

    • Suporta RTX, TensorRT e outros recursos comuns de aceleração, com suporte FP4 recém-atualizado e interconexão PCIe Gen5.

  • Principais especificações da GPU:

    Arquitetura da GPU	Memória da GPU	Desempenho de computação	Codificação/decodificação de vídeo	Interconexão entre GPUs	APIs de aceleração
    NVIDIA Blackwell	Capacidade: 72 GB Largura de banda: 1.344 GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 530 TFLOPS FP4: 970 TFLOPS RT Core: 196 TFLOPS	3 x Codificador de Vídeo 3 x Decodificador de Vídeo	Interface PCIe: PCIe Gen5 x16 Largura de banda: 128 GB/s, P2P suportado	DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0, DirectCompute

• Armazenamento:

  • Otimizada para I/O.

  • Suporta o protocolo NVMe. Para obter mais informações, consulte Protocolo NVMe.

  • Tipos de disco cloud suportados: discos efêmeros elásticos, ESSDs, discos ESSD AutoPL e ESSDs regionais. Para obter mais informações, consulte Visão geral do armazenamento em bloco.

• Rede:

  • Suporta IPv4 e IPv6. Para obter mais informações sobre IPv6, consulte IPv6.

  • Desempenho de rede ultra-alto com até 30 milhões de PPS (instâncias com 8 GPUs).

  • Suporta ERI (Elastic RDMA Interface) para aceleração direta RDMA em redes VPC, com largura de banda de até 360 Gbit/s. Adequada para direção autônoma, inteligência incorporada, visão computacional e cargas de trabalho tradicionais de treinamento de modelos.

  • Nota

    Para obter mais informações sobre ERI, consulte Ativar eRDMA em uma instância de nível empresarial.

A tabela a seguir descreve os tipos de instância na família gn9gc.

gn8v e gn8v-tee, família de instâncias otimizadas para computação acelerada por GPU

Essas famílias de instâncias estão disponíveis em regiões selecionadas, incluindo aquelas fora da China continental. Para utilizá-las, entre em contato com seu representante de vendas da Alibaba Cloud.

• Introdução:

  • gn8v: Família de instâncias otimizadas para computação acelerada por GPU de 8ª geração da Alibaba Cloud, destinada ao treinamento e inferência de modelos de IA em modelos de linguagem ultragrandes (LLMs). Esta família oferece tipos de instância com uma, duas, quatro ou oito GPUs para atender a diversos requisitos de aplicação.

  • gn8v-tee: Para aumentar a segurança no treinamento e inferência de grandes modelos, a Alibaba Cloud oferece a gn8v-tee, uma família de instâncias de 8ª geração baseada na gn8v com recurso de computação confidencial. Essas instâncias criptografam dados durante a computação da GPU para proteger suas informações.

• Casos de uso:

  • Custo-benefício para inferência paralela com múltiplas GPUs em LLMs com mais de 70 bilhões de parâmetros.

  • Cada GPU fornece 39,5 TFLOPS de poder de computação FP32 e entrega desempenho excepcional para treinamento tradicional de modelos de IA e cargas de trabalho de treinamento para direção autônoma.

  • As oito GPUs suportam interconectividade NVLink e são adequadas para treinamento de modelos de pequeno e médio porte.

• Recursos:

  • Memória da GPU de alta velocidade e grande capacidade: Cada GPU é equipada com 96 GB de memória HBM3 e fornece até 4 TB/s de largura de banda de memória, acelerando significativamente o treinamento e a inferência de modelos.

  • Alta largura de banda entre GPUs: Múltiplas GPUs são interconectadas via NVLink a 900 GB/s. Isso permite uma eficiência muito superior para treinamento e inferência com múltiplas GPUs em comparação com instâncias de GPU da geração anterior.

  • Quantização de LLM: Suporta poder de computação FP8, otimizando o desempenho para treinamento e inferência de parâmetros em grande escala. Isso melhora significativamente as velocidades de treinamento e inferência e reduz o uso de memória da GPU.

  • (Apenas para instâncias gn8v-tee) Alta segurança: Suporta tanto computação confidencial de CPU com Intel® Trust Domain Extensions (TDX) quanto computação confidencial de GPU com NVIDIA Confidential Computing (CC). Isso proporciona computação confidencial ponta a ponta para todo o pipeline de inferência de modelos, protegendo seus dados de inferência e modelos empresariais durante o treinamento e a inferência.

• Computação:

  • Impulsionada pela mais recente CIPU 1.0.

    • Desacopla computação de armazenamento, permitindo que você selecione flexivelmente os recursos de armazenamento necessários.

    • Fornece capacidades de bare metal, que suportam comunicação peer-to-peer (P2P) entre instâncias de GPU, diferentemente das instâncias virtualizadas tradicionais.

  • Equipada com processadores Intel® Xeon® Scalable de 4ª geração com frequência base de até 2,8 GHz e frequência turbo all-core de até 3,1 GHz.

• Armazenamento:

  • Instância otimizada para I/O.

  • Essas instâncias suportam o protocolo NVMe. Para obter mais informações, consulte Visão geral do protocolo NVMe

    .

  • Tipos de disco cloud suportados: disco efêmero elástico, ESSD, discos ESSD AutoPL e ESSD Regional. Para obter mais informações sobre discos cloud, consulte a visão geral do armazenamento em bloco](t9556.xdita#).

• Rede:

  • Suporta IPv4 e IPv6. Para obter mais informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Essas instâncias suportam jumbo frames. Para obter mais informações, consulte Jumbo frames.

  • Oferece desempenho de rede ultra-alto com taxa de encaminhamento de pacotes de até 30 milhões de pps (em instâncias com 8 GPUs).

  • Suporta elastic RDMA interface (ERI).

    Nota

    • As instâncias de computação confidencial da família gn8v-tee não suportam dispositivos ERI ou funcionalidade eRDMA.

    • Para obter informações sobre como usar ERI, consulte Ativar em instância de nível empresarial.

• Segurança: Suporta o recurso de computação confiável (vTPM). Este recurso está disponível nas instâncias gn8v, mas não nas instâncias gn8v-tee. Para obter mais informações, consulte Visão geral das capacidades de computação confiável.

A tabela a seguir descreve os tipos de instância na família gn8v .

A tabela a seguir descreve os tipos de instância na família gn8v-tee .

gn8is, família de instâncias otimizadas para computação acelerada por GPU

Esta família de instâncias está disponível em regiões selecionadas, incluindo locais fora da China continental. Para utilizar esta família de instâncias, entre em contato com seu representante de vendas da Alibaba Cloud.

• Introdução: A gn8is é a família de instâncias otimizadas para computação acelerada por GPU de oitava geração da Alibaba Cloud, projetada para atender à crescente demanda por conteúdo gerado por IA (AIGC). Equipada com as mais recentes GPUs NVIDIA L20, esta família oferece tipos de instância com uma, duas, quatro ou oito GPUs e diversas proporções entre CPU e GPU para atender a diferentes necessidades de aplicação.

• Recursos:

  • Processamento gráfico: Impulsionadas por processadores Intel® Xeon® Scalable de alta frequência de 4ª geração, estas instâncias fornecem capacidade robusta de computação de CPU para cenários de modelagem 3D, garantindo fluxos de trabalho de design e renderização gráfica mais fluidos.

  • Tarefas de inferência: Equipadas com a nova GPU NVIDIA L20, cada uma com 48 GB de memória de GPU, estas instâncias aceleram tarefas de inferência. Elas suportam o formato de ponto flutuante FP8 e podem ser combinadas com o Container Service for Kubernetes (ACK) para executar inferências de vários modelos AIGC com flexibilidade. São especialmente adequadas para tarefas de inferência em grandes modelos de linguagem (LLMs) com menos de 70 bilhões de parâmetros.

• Casos de uso:

  • Utilize drivers GRID com imagens do Alibaba Cloud Marketplace para habilitar recursos OpenGL e Direct3D. Isso fornece processamento gráfico de nível de estação de trabalho para cargas como animação, efeitos especiais para cinema e televisão e renderização.

  • Aproveite os recursos de gerenciamento de contêineres do Container Service for Kubernetes (ACK) para gerar imagens AIGC e realizar inferências de LLM de forma mais eficiente e econômica.

  • Outras aplicações de IA de uso geral, como reconhecimento de imagem e reconhecimento de fala.

• Computação:

  • Equipada com as novas GPUs NVIDIA L20 de nível empresarial.

    • Suporta recursos comuns de aceleração, como TensorRT e o formato de ponto flutuante FP8, para melhorar o desempenho de inferência de modelos.

    • Até 48 GB de memória de GPU por GPU. Com múltiplas GPUs, as instâncias desta família suportam inferência em instância única para modelos com 70 bilhões ou mais parâmetros.

    • Capacidades aprimoradas de processamento gráfico. Após instalar um driver GRID usando o Cloud Assistant ou uma imagem do Alibaba Cloud Marketplace, o desempenho de processamento gráfico dobra em comparação às plataformas de 7ª geração.

  • Principais parâmetros da GPU NVIDIA L20:

    Arquitetura da GPU	Memória da GPU	Desempenho de computação	Codificação/decodificação de vídeo	Conectividade entre GPUs
    NVIDIA Ada Lovelace	Capacidade: 48 GB Largura de banda: 864 GB/s	FP64: N/A FP32: 59.3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 × Codificadores de Vídeo (+AV1) 3 × Decodificadores de Vídeo 4 × Decodificadores JPEG	Interface PCIe: PCIe Gen4 x16 Largura de banda: 64 GB/s

  • Processador: Equipado com os mais recentes processadores Intel^® Xeon^® de alta frequência, com frequência turbo all-core de até 3,9 GHz para lidar com demandas complexas de modelagem 3D.

• Armazenamento:

  • Todas as instâncias desta família são otimizadas para I/O.

  • Estas instâncias suportam o protocolo NVMe. Para obter mais informações, consulte Visão geral do protocolo NVMe.

  • Tipos de disco em nuvem suportados: discos efêmeros elásticos, ESSDs, discos ESSD AutoPL e ESSDs Regionais. Para obter mais informações sobre discos em nuvem, consulte Visão geral do armazenamento em bloco.

• Rede:

  • Suporta IPv4 e IPv6. Para obter mais informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Suporta Elastic RDMA Interface (ERI).

    Nota

    Para obter detalhes sobre o uso de ERI, consulte Habilitar eRDMA para instâncias de nível empresarial.

• Segurança: Estas instâncias suportam o recurso vTPM. Para obter mais informações, consulte Visão geral da computação confiável.

gn7e, família de instâncias otimizadas para computação acelerada por GPU

gn7i, família de instâncias otimizadas para computação acelerada por GPU

gn7s, família de instâncias otimizadas para computação acelerada por GPU

Para usar a família de instâncias gn7s, envie um ticket.

Família de instâncias gn7, otimizadas para computação com aceleração por GPU

Família de instâncias gn6i, otimizadas para computação com aceleração por GPU

Família de instâncias gn6e, otimizadas para computação com aceleração por GPU

Família de instâncias gn6v, otimizadas para computação com aceleração por GPU

Família de instâncias de servidor bare metal elástico com GPU ebmgn9g

• Introdução à família de instâncias: A família de instâncias ebmgn9g é a nona geração de instâncias bare metal com GPU completas e econômicas da Alibaba Cloud. Alimentadas pelo mais recente CIPU 2.0, essas instâncias combinam CPUs de alta frequência, grande capacidade de memória e GPUs profissionais com a nova arquitetura Blackwell. Elas entregam serviços de cloud com GPU de alto desempenho e custo-benefício para uma ampla gama de cargas de trabalho aceleradas, como treinamento para direção autônoma e inteligência incorporada, inferência de grandes modelos, renderização de filmes e animação, além de serviços para metaverso e cloud gaming.

• Casos de uso e recursos:

  • Direção autônoma/inteligência incorporada: Com 256 vCPUs operando a uma frequência all-core de até 4,2 GHz e 2.304 GiB de memória, essas instâncias atendem aos exigentes requisitos de processamento de dados para treinamento de direção autônoma e inteligência incorporada.

  • Busca e recomendação: A GPU Blackwell fornece 123 TFLOPS de poder de computação TF32. Cada GPU é pareada com 32 vCPUs e 153 GB/s de largura de banda de memória, tornando-a uma configuração ideal para serviços de busca e publicidade.

  • Inferência de grandes modelos: A GPU de nova geração oferece um salto significativo de desempenho em relação à sua antecessora, com a largura de banda da memória de vídeo aumentada para 1.344 GB/s. O suporte ao poder de computação FP4 melhora significativamente o desempenho e o custo-benefício da inferência. As oito GPUs são interconectadas via PCIe Gen5 com uma largura de banda de 128 GB/s. Essa conexão melhora drasticamente a eficiência da inferência paralela com múltiplas placas.

  • Cloud gaming/renderização/metaverso: Com uma frequência de CPU de até 5 GHz, essas instâncias são uma excelente escolha para modelagem 3D. A GPU fornece drivers gráficos certificados de nível workstation com aceleração OpenGL completa, tornando estas instâncias a escolha ideal para desenvolvimento de filmes e animações de alto nível e design CAD.

• Alimentado pelo mais recente CIPU 2.0:

  O CIPU de segunda geração oferece maior poder de processamento, aprimorando o desempenho dos componentes eRDMA, VPC e disco cloud. Instâncias bare metal são ideais para cargas de trabalho que exigem acesso direto a recursos físicos ou possuem requisitos como licenciamento baseado em hardware. Elas também suportam containers, incluindo, mas não se limitando a Docker, Clear Containers e PouchContainer.

• Computação:

  • Alimentado por GPUs profissionais com a nova arquitetura Blackwell:

    • Suporta processamento gráfico OpenGL de nível profissional.

    • Suporta recursos comuns de aceleração como RTX e TensorRT, com suporte recém-adicionado para FP4 e interconexão PCIe Gen5.

    • Utiliza um switch PCIe para interconexão, o que melhora o desempenho do NCCL em 36% em comparação com uma conexão direta à CPU. Isso pode aumentar o desempenho em até 9% para inferência de grandes modelos com fragmentação em múltiplas placas.

  • Principais especificações da GPU:

    Arquitetura da GPU	Memória de vídeo	Desempenho de computação	Motores de codificação/decodificação	Interconexão entre GPUs	APIs de aceleração
    Blackwell	Capacidade: 48 GB Largura de banda: 1.344 GB/s	TF32: 123 TFLOPS FP32: 52 TFLOPS FP16/BF16: 261 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 × Codificador de Vídeo 3 × Decodificador de Vídeo	PCIe Gen5 x16: 128 GB/s Suporta P2P	Suporta DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0 e DirectCompute

  • Processador: Processadores AMD Turin-C com faixa de frequência de 3,3 GHz a 5 GHz e turbo all-core de até 4,2 GHz.

• Armazenamento:

  • Instância otimizada para I/O.

  • Suporta o protocolo NVMe. Para mais informações, consulte Visão geral do protocolo NVMe.

  • Tipos de disco cloud suportados: disco temporário elástico, ESSD, ESSD AutoPL e ESSD com redundância de zona. Para mais informações sobre block storage, consulte Visão geral do Block Storage.

• Rede:

  • Suporta IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Oferece desempenho de rede de até 30 milhões de PPS de rede.

  • Suporta eRDMA, que permite aceleração pass-through RDMA em redes VPC. O eRDMA aumenta a largura de banda para 360 Gbit/s e é ideal para cargas de trabalho de treinamento em direção autônoma, inteligência incorporada, visão computacional (CV) e modelos tradicionais.

    Nota

    Para instruções sobre como usar o eRDMA, consulte Ativar eRDMA para uma instância de nível empresarial.

A tabela a seguir lista as especificações da família de instâncias ebmgn9g.

Família de instâncias de servidor bare metal elástico com GPU ebmgn9ge

• Introdução: A família de instâncias ebmgn9ge é a 9ª geração de instâncias bare metal com GPU completas e econômicas da Alibaba Cloud. Alimentadas pelo mais recente CIPU 2.0, essas instâncias combinam CPUs de alta frequência, grande capacidade de memória e GPUs profissionais com a nova arquitetura Blackwell. Elas entregam serviços de cloud com GPU de alto desempenho e custo-benefício para uma ampla gama de cargas de trabalho aceleradas, incluindo treinamento de direção autônoma e inteligência incorporada, inferência de grandes modelos, renderização de filmes e animação, além de serviços de metaverso e cloud gaming.

• Casos de uso e recursos:

  • Direção autônoma e inteligência incorporada: Com 256 vCPUs operando a uma frequência all-core superior a 4,2 GHz e 2,3 TB de memória, essas instâncias atendem às exigentes necessidades de processamento de dados para treinamento de direção autônoma e inteligência incorporada.

  • Busca e recomendação: A GPU Blackwell fornece 126 TFLOPS de poder de computação TF32. Cada GPU é pareada com 32 vCPUs e 153 GB/s de largura de banda de memória, proporcionando uma configuração ideal para serviços de busca e publicidade.

  • Inferência de grandes modelos:

    A família de instâncias ebmgn9ge foi projetada especificamente para grandes modelos de linguagem, oferecendo 72 GB de memória de GPU por GPU. A largura de banda da memória da GPU atinge 1.344 GB/s, entregando inferência de alto desempenho para cenários de LLM. Combinada com a nova arquitetura de computação FP4 e 128 GB/s de largura de banda PCIe Gen5, uma instância pode suportar inferência paralela para modelos maiores que 671 bilhões de parâmetros em 8 GPUs.

  • Cloud gaming, renderização e metaverso: Com uma frequência de CPU de até 5 GHz, essas instâncias são adequadas para modelagem 3D. A GPU suporta nativamente capacidades gráficas e fornece drivers gráficos certificados de nível workstation com aceleração OpenGL completa, tornando-as ideais para desenvolvimento de filmes e animações de alto nível e design CAD.

• Alimentado pelo mais recente CIPU 2.0:

  O CIPU de 2ª geração oferece maior poder de processamento em cloud, aprimorando o desempenho dos componentes eRDMA, VPC e EBS. Instâncias bare metal permitem que as cargas de trabalho acessem diretamente recursos físicos ou atendam a requisitos como licenciamento baseado em hardware. Elas também suportam containers, como Docker, Clear Containers e Pouch.

• Computação:

  • Alimentado por GPUs profissionais com a nova arquitetura Blackwell:

    • Suporta processamento gráfico OpenGL de nível profissional.

    • Suporta recursos comuns de aceleração como RTX e TensorRT, e adiciona suporte para computação FP4 e interconexão PCIe Gen5.

    • Utiliza um switch PCIe para interconexão, o que melhora o desempenho do NCCL em 36% em comparação com uma conexão direta à CPU. Isso pode aumentar o desempenho em até 9% para inferência de grandes modelos com fragmentação em múltiplas GPUs.

  • Principais especificações da GPU:

    Arquitetura da GPU	Memória da GPU	Desempenho de computação	Motores de codificação/decodificação de vídeo	Interconexão entre GPUs	APIs aceleradas
    Blackwell	Capacidade: 72 GB Largura de banda: 1.344 GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 530 TFLOPS FP4: 971 TFLOPS RT core: 196 TFLOPS	3 × Codificador de Vídeo 3 × Decodificador de Vídeo	PCIe Gen5 x16: 128 GB/s Suporta P2P	Suporta DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0 e DirectCompute

  • Processador: Processadores AMD Turin-C com faixa de frequência de 3,3 GHz a 5 GHz e turbo all-core de até 4,2 GHz.

• Armazenamento:

  • Instância otimizada para I/O.

  • Suporta o protocolo NVMe. Para mais informações, consulte Visão geral do protocolo NVMe.

  • Tipos de disco cloud suportados: disco temporário elástico, ESSD, discos ESSD AutoPL e Disco ESSD com Redundância de Zona. Para mais informações sobre block storage, consulte Visão geral do Block Storage.

• Rede:

  • Suporta IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Oferece desempenho de rede de até 30 milhões de pacotes por segundo (PPS).

  • Suporta ERI (Elastic RDMA Interface), que permite aceleração pass-through RDMA em redes VPC. O ERI aumenta a largura de banda para 360 Gbit/s e é ideal para cargas de trabalho de treinamento em direção autônoma, inteligência incorporada, visão computacional (CV) e modelos tradicionais.

    Nota

    Para instruções sobre como usar o ERI, consulte Ativar eRDMA em instâncias de nível empresarial.

A tabela a seguir lista os tipos de instância e especificações da família de instâncias ebmgn9ge.

Família de instâncias bare metal elásticas aceleradas por GPU ebmgn9gc

• Introdução: A família de instâncias ebmgn9gc representa a 9ª geração de instâncias bare metal com GPU da Alibaba Cloud, oferecendo recursos completos e custo-benefício. Impulsionadas pelo mais recente CIPU 2.0, essas instâncias combinam CPUs de alta frequência, memória de grande capacidade e GPUs profissionais da nova arquitetura Blackwell. Essa configuração fornece services de cloud com GPU econômicos para diversas cargas de trabalho aceleradas, incluindo treinamento de direção autônoma e inteligência incorporada, inferência de modelos grandes, renderização de filmes e animações, além de services de metaverso e cloud gaming.

• Casos de uso e recursos:

  • Direção autônoma e inteligência incorporada: Oferece 256 vCPUs com frequência entre 3,3 GHz e 5,0 GHz, atingindo até 4,2 GHz em turbo para todos os núcleos. Combinadas com 1,5 TB de memória, essas instâncias atendem às demandas de processamento de dados para treinamento de direção autônoma e inteligência incorporada.

  • Busca e recomendação: As GPUs Blackwell integradas fornecem 126 TFLOPS de computação TF32 de alto desempenho. Cada GPU vem acompanhada de 32 vCPUs e 153 GB/s de largura de banda de memória, criando uma configuração ideal para services de busca e publicidade.

  • Inferência de modelos grandes:

    As instâncias ebmgn9gc foram projetadas para modelos de linguagem grandes. Com 72 GB de memória de GPU e 1.344 GB/s de largura de banda de memória por GPU, elas entregam inferência de alto desempenho para cenários de LLM. Aliadas à nova arquitetura de computação FP4 e 128 GB/s de largura de banda PCIe Gen5, uma instância com 8 placas suporta inferência paralela para modelos com mais de 671 bilhões de parâmetros.

  • Cloud gaming, renderização e metaverso: Com frequência de CPU de até 5,0 GHz, estas instâncias são adequadas para modelagem 3D. As GPUs suportam nativamente recursos gráficos e incluem drivers gráficos certificados de nível workstation com aceleração OpenGL completa, sendo uma excelente escolha para desenvolvimento de filmes e animações de alto nível, além de projetos CAD.

• Impulsionado pelo mais recente CIPU 2.0:

  O CIPU de 2ª geração oferece maior poder de processamento em cloud e capacidades de computação aprimoradas para eRDMA, VPC e block storage. Instâncias bare metal permitem que as cargas de trabalho acessem diretamente os resources físicos ou atendam a requisitos como licenciamento baseado em hardware. Elas também suportam containers, como docker, Clear Container e Pouch.

• Computação:

  • Equipado com novas GPUs profissionais da arquitetura Blackwell:

    • Suporta recursos de processamento gráfico OpenGL de nível profissional.

    • Oferece suporte a recursos comuns de aceleração, como RTX e TensorRT, além de adicionar compatibilidade com FP4 e interconexão PCIe Gen5.

    • Utiliza um switch PCIe para interconexão, melhorando o desempenho do NCCL em 36% em comparação com uma conexão direta à CPU. Isso pode aumentar o desempenho em até 9% na inferência de modelos grandes com fragmentação em múltiplas placas.

  • Principais parâmetros da GPU:

    Arquitetura da GPU	Memória da GPU	Desempenho de computação	Codificação/decodificação de vídeo	Interconexão GPU a GPU	APIs de aceleração
    Blackwell	Capacidade: 72 GB Largura de banda: 1.344 GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 530 TFLOPS FP4: 971 TFLOPS RT Core: 196 TFLOPS	3 × Codificador de Vídeo 3 × Decodificador de Vídeo	PCIe Gen5 x16: 128 GB/s Suporta P2P	Suporta DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0 e DirectCompute

  • Processador: Processador AMD Turin-C com faixa de frequência de 3,3 GHz a 5,0 GHz e turbo de até 4,2 GHz para todos os núcleos.

• Armazenamento:

  • Instância otimizada para I/O.

  • Suporta o protocolo NVMe. Para obter mais informações, consulte Visão geral do protocolo NVMe.

  • Tipos de disco em cloud suportados: Disco Temporário Elástico, ESSD, ESSD AutoPL e Disco ESSD com Redundância de Zona. Para mais detalhes sobre block storage, veja Visão Geral do Block Storage.

• Rede:

  • Compatível com IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Entrega desempenho de rede de até 30 milhões de pacotes por segundo (PPS).

  • Suporta RDMA elástico (eRDMA), permitindo aceleração pass-through de RDMA em redes VPC. O eRDMA aumenta a largura de banda para 360 Gbit/s, sendo ideal para cargas de trabalho de treinamento em direção autônoma, inteligência incorporada, visão computacional (CV) e modelos tradicionais.

    Nota

    Para instruções sobre como usar o eRDMA, consulte Ativar eRDMA em instâncias de nível empresarial.

A tabela a seguir lista os tipos e especificações das instâncias da família ebmgn9gc.

Família de instâncias de servidor bare metal elástico otimizadas para computação GPU ebmgn8v

Atualmente, esta família de instâncias está disponível apenas em regiões selecionadas. Para solicitar acesso, entre em contato com seu representante de vendas da Alibaba Cloud.

• Visão geral da família de instâncias: A ebmgn8v é a 8ª geração de famílias de instâncias de computação acelerada da Alibaba Cloud (família de instâncias Elastic Bare Metal Server), projetada para treinamento de modelos de IA e modelos com parâmetros ultra-grandes. Cada instância é um host bare metal equipado com oito placas de GPU.

• Casos de uso:

  • Custo-benefício para inferência paralela multi-GPU em modelos de linguagem grandes (LLMs) com mais de 70 bilhões de parâmetros.

  • Cada GPU entrega 39,5 TFLOPS de computação FP32, tornando-a ideal para treinamento de modelos de IA tradicionais e cargas de trabalho de direção autônoma.

  • A interconexão NVLINK entre as oito GPUs suporta cenários de treinamento de modelos de pequeno e médio porte.

• Principais recursos e posicionamento:

  • Memória de GPU de alta velocidade e grande capacidade: Cada GPU possui 96 GB de memória HBM3, entregando uma largura de banda de memória de 4 TB/s. Isso acelera significativamente o treinamento e a inferência de modelos.

  • Alta largura de banda entre GPUs: As GPUs são interconectadas via NVLINK de 900 GB/s, proporcionando eficiência significativamente superior para treinamento e inferência multi-GPU em comparação com gerações anteriores de GPUs.

  • Tecnologia de quantização de modelos grandes: Suporta computação FP8, otimizando o desempenho para treinamento e inferência com parâmetros em grande escala. Isso aumenta consideravelmente a velocidade computacional e reduz o uso de memória da GPU.

• Computação:

  • Alimentado pelo mais recente CIPU (Cloud Processing Unit) 1.0:

    • Desacopla computação e armazenamento, permitindo a seleção flexível de resources de armazenamento. Comparado às instâncias com GPU de 7ª geração, a largura de banda entre hosts aumenta para 160 Gbit/s, garantindo transferência e processamento de dados mais rápidos.

    • Diferente das instâncias virtualizadas tradicionais, o CIPU fornece capacidades bare metal que suportam comunicação P2P entre instâncias com GPU.

  • Equipado com processadores Intel® Xeon® Scalable de 4ª Geração, fornecendo 192 vCPUs com frequência turbo de até 3,1 GHz para todos os núcleos.

• Armazenamento:

  • Estas são instâncias otimizadas para I/O.

  • Estas instâncias suportam o protocolo NVMe. Para obter mais informações, consulte Visão geral do protocolo NVMe.

  • Tipos de disco em cloud suportados: discos temporários elásticos, discos em cloud ESSD, discos em cloud ESSD AutoPL e discos em cloud ESSD com redundância de zona. Para obter mais informações sobre discos em cloud, consulte Visão Geral do Block Storage.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Oferece desempenho de rede ultra-alto de até 30 milhões de PPS.

  • Suporta Elastic RDMA Interface (ERI), que permite aceleração pass-through de RDMA em redes VPC. O ERI aumenta a largura de banda para 160 Gbit/s, sendo ideal para cargas de trabalho de treinamento de visão computacional (CV) e modelos tradicionais.

    Nota

    Para instruções sobre como usar o ERI, consulte Ativar eRDMA em instâncias de nível empresarial.

A tabela a seguir descreve os tipos e especificações das instâncias da família ebmgn8v.

Família de instâncias aceleradas por GPU ebmgn8ia

Atualmente, esta família de instâncias está disponível apenas em regiões selecionadas. Para solicitar acesso, entre em contato com seu representante de vendas da Alibaba Cloud.

• Introdução: A ebmgn8ia, uma família de instâncias bare metal elásticas, é a oitava geração de famílias de instâncias de computação acelerada da Alibaba Cloud. Ela foi projetada para busca e recomendação, simulação e outras cargas de trabalho intensivas em GPU que exigem uma alta proporção de vCPU para GPU. Alimentada pelas mais recentes GPUs NVIDIA L20, cada instância é um servidor bare metal equipado com dois processadores de alta frequência e quatro GPUs.

• Recursos e casos de uso:

  • Alta frequência: Estas instâncias vêm equipadas com dois processadores AMD EPYC™ Genoa 9T34. Cada processador possui 64 núcleos físicos, totalizando 256 vCPUs por instância, com faixa de frequência de 3,4 GHz a 3,75 GHz. Isso impulsiona significativamente o desempenho de CPU single-core, sendo ideal para modelagem CAD e aceleração de pré-processamento para simulações CAE.

  • Proporção esparsa de resources: Cada GPU é pareada com 64 vCPUs e 384 GiB de memória, entregando uma largura de banda média de memória de 230 GB/s por GPU. Esta configuração é adequada para cenários de computação GPU que exigem alto throughput de I/O, como publicidade, busca, recomendação, simulações CAE tradicionais e certas tarefas de renderização baseadas em CPU na produção cinematográfica.

• Impulsionado pelo mais recente CIPU 1.0:

  • Desacopla computação e armazenamento, permitindo selecionar resources de armazenamento de forma flexível. Comparado à geração anterior, a largura de banda entre máquinas deste tipo de instância aumenta para 160 Gbit/s, garantindo transferência e processamento de dados mais rápidos.

  • O CIPU fornece capacidades bare metal, habilitando comunicação PCIe P2P entre instâncias com GPU, uma melhoria em relação às instâncias virtualizadas tradicionais.

• Computação:

  • Equipado com novas GPUs NVIDIA L20 de classe empresarial:

    • Suporta recursos comuns de aceleração, como vGPU, RTX e TensorRT.

    • Suporta precisão FP8 para melhorar a eficiência computacional.

  • Especificações principais da NVIDIA L20:

    Arquitetura da GPU	Memória da GPU	Desempenho de computação	Mecanismos de codificação/decodificação de vídeo	Interconexão da GPU
    NVIDIA Ada Lovelace	Capacidade: 48 GB Largura de banda: 864 GB/s	FP64: N/A FP32: 59,3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 × Codificador de Vídeo (+AV1) 3 × Decodificador de Vídeo 4 × Decodificador JPEG	Interface PCIe: PCIe Gen4 x16 Largura de banda: 64 GB/s

  • Processador: Processadores AMD EPYC™ Genoa 9T34 com faixa de frequência de 3,4 GHz a 3,75 GHz.

• Armazenamento:

  • Estas são instâncias otimizadas para I/O.

  • Estas instâncias suportam o protocolo NVMe. Para obter mais informações, consulte Visão geral do protocolo NVMe.

  • Discos em cloud suportados: disco temporário elástico, disco em cloud ESSD, disco em cloud ESSD AutoPL e disco em cloud ESSD com redundância de zona. Para obter mais informações, consulte Visão geral do block storage.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Oferece desempenho de rede ultra-alto de até 30.000.000 PPS.

  • Suporta Elastic RDMA Interface (ERI), que permite pass-through de RDMA em redes VPC. O ERI aumenta a largura de banda para 160 Gbit/s, sendo ideal para treinamento de visão computacional (CV) e modelos tradicionais.

    Nota

    Para instruções sobre como usar o ERI, consulte Ativar eRDMA em uma instância de nível empresarial.

Família bare metal elástica otimizada para computação GPU ebmgn8is

Atualmente, esta família de instâncias está disponível apenas em regiões selecionadas fora da China continental. Para consultas, entre em contato com seu representante de vendas da Alibaba Cloud.

• Visão geral da família de instâncias: A ebmgn8is é a 8ª geração de famílias de instâncias de computação acelerada da Alibaba Cloud. Como uma família de instâncias bare metal elásticas, ela foi construída para atender à crescente demanda por cargas de trabalho geradas por IA. Alimentada pelas mais recentes GPUs NVIDIA L20, cada instância é um host bare metal com oito placas de GPU.

• Recursos e posicionamento:

  • Processamento gráfico: Estas instâncias são alimentadas por processadores Intel® Xeon® Scalable de 4ª Geração de alta frequência. Elas fornecem amplo poder de computação de CPU para modelagem 3D, garantindo renderização gráfica e design mais fluidos.

  • Tarefas de inferência: Equipadas com as novas GPUs NVIDIA L20, onde cada placa fornece 48 GB de memória para acelerar tarefas de inferência. Estas instâncias suportam o formato de ponto flutuante FP8. Combinadas com o Alibaba Cloud Container Service for Kubernetes (ACK), elas suportam flexivelmente a inferência em vários modelos AIGC e são especialmente adequadas para tarefas de inferência em modelos de linguagem grandes (LLMs) com até 70 bilhões de parâmetros.

  • Tarefas de treinamento: Estas instâncias oferecem poder de computação econômico, entregando o dobro do desempenho de computação FP32 em comparação com as instâncias de inferência de 7ª geração. São particularmente adequadas para treinar modelos de visão computacional (CV) que usam FP32 e para treinar outros modelos de pequeno a médio porte.

• Casos de uso:

  • Utilize imagens GRID com drivers gráficos GRID do Cloud Marketplace para habilitar recursos gráficos OpenGL e Direct3D. Isso fornece processamento gráfico de nível workstation para cargas de trabalho como animação, efeitos especiais de cinema e televisão e renderização.

  • Combinadas com as capacidades de gerenciamento containerizado do ACK, você pode suportar de forma mais eficiente e econômica a geração de gráficos AIGC e a inferência de modelos de linguagem grandes (LLM) (até 130 bilhões de parâmetros).

  • Outros cenários gerais de IA, como reconhecimento de imagem e reconhecimento de fala.

• Impulsionado pelo mais recente CIPU 1.0:

  • Apresenta computação e armazenamento desacoplados, o que permite selecionar flexivelmente os resources de armazenamento necessários. Comparado à geração anterior, a largura de banda entre instâncias desta família aumenta para 160 Gbit/s, permitindo transferência e processamento de dados mais rápidos.

  • O CIPU fornece capacidades bare metal que habilitam comunicação PCIe P2P entre GPUs, recurso não suportado por instâncias virtualizadas tradicionais.

• Computação:

  • Equipado com novas GPUs NVIDIA L20 de classe empresarial:

    • Suporta recursos comuns de aceleração, como vGPU, RTX e TensorRT.

    • Utiliza um switch PCIe para interconexão. Comparado a uma conexão direta à CPU, este design melhora o desempenho do NCCL em 36% e pode aumentar o desempenho de inferência em até 9% ao executar inferência fragmentada para modelos grandes em múltiplas placas.

  • Principais parâmetros da NVIDIA L20:

    Arquitetura da GPU	Memória da GPU	Desempenho de computação	Codificação/decodificação de vídeo	Interconexão entre GPUs
    NVIDIA Ada Lovelace	Capacidade: 48 GB Largura de banda: 864 GB/s	FP64: N/A FP32: 59,3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 × Codificador de Vídeo (+AV1) 3 × Decodificador de Vídeo 4 × Decodificador JPEG	Interface PCIe: PCIe Gen4 x16 Largura de banda: 64 GB/s

  • Processador: Processadores Intel^® Xeon^® Scalable (SPR) com frequência base de 3,4 GHz e frequência turbo de até 3,9 GHz para todos os núcleos.

• Armazenamento:

  • Estas são instâncias otimizadas para I/O.

  • Estas instâncias suportam o protocolo NVMe. Para obter mais informações, consulte Visão geral do protocolo NVMe.

  • Tipos de disco em cloud suportados: discos efêmeros elásticos, ESSDs, ESSD AutoPLs e ESSDs com redundância de zona. Para obter mais informações sobre discos em cloud, consulte Visão geral do block storage.

• Rede:

  • Estas instâncias suportam IPv4 e IPv6. Para informações sobre comunicação IPv6, consulte Comunicação IPv6.

  • Entrega desempenho de rede ultra-alto com taxa de encaminhamento de pacotes de 30 milhões de PPS.

  • Suporta ERI (Elastic RDMA Interface), que permite aceleração pass-through de RDMA em uma rede VPC. O ERI aumenta a largura de banda para 160 Gbit/s, sendo ideal para cargas de trabalho de treinamento de CV e modelos tradicionais.

    Nota

    Para usar o ERI, consulte Ativar eRDMA em instâncias de nível empresarial.

Família de instâncias Ebmgn7e

Após iniciar uma instância ebmgn7e, você deve verificar se o recurso Multi-Instance GPU (MIG) está ativado ou desativado, pois seu estado padrão não é garantido. Para obter mais informações sobre o MIG, consulte Guia do Usuário de Multi-Instance GPU da NVIDIA.

A tabela a seguir descreve se as instâncias ebmgn7e suportam o recurso MIG.

Família de instâncias ebmgn7i aceleradas por GPU

Família de instâncias ebmgn7 aceleradas por GPU

O recurso Multi-Instance GPU (MIG) pode estar ativado ou desativado por padrão quando uma instância ebmgn7 é iniciada. Verifique o status e ative ou desative o recurso conforme necessário. Para mais informações sobre o MIG, consulte o Guia do Usuário da NVIDIA Multi-Instance GPU.

A tabela a seguir descreve o suporte ao MIG nas instâncias ebmgn7.

Família de instâncias Ebmgn6e aceleradas por GPU

Família de instâncias Ebmgn6v

Família de instâncias de computação GPU ebmgn6i