O Dataset Accelerator (DatasetAcc) é uma oferta PaaS que acelera o acesso a conjuntos de dados para cargas de trabalho de treinamento de IA no Alibaba Cloud. O serviço pré-analisa e processa seus conjuntos de dados de treinamento para oferecer uma solução unificada de aceleração de acesso a diversos mecanismos de treinamento nativos da nuvem, melhorando a eficiência geral do treinamento.
Arquitetura
A figura a seguir mostra a arquitetura do Dataset Accelerator.
Limites
Antes de usar o Dataset Accelerator, observe os seguintes limites:
A aceleração aplica-se somente a conjuntos de dados armazenados no Alibaba Cloud, como no Object Storage Service (OSS) ou no Cloud Parallel File System (CPFS).
Os conjuntos de dados devem estar descriptografados e armazenados no Alibaba Cloud.
Os dados em uma instância do acelerador de conjunto de dados são somente leitura. Não há suporte para gravações dinâmicas.
Uma única instância do acelerador de conjunto de dados pode acelerar conjuntos de dados de até 100 TB.
Faturamento
O faturamento do Dataset Accelerator baseia-se na capacidade e na duração adquiridas. Para obter mais informações, consulte Faturamento do Dataset Accelerator (DatasetAccelerator).
Recursos
-
Treinamento otimizado para grandes quantidades de arquivos pequenos.
O Dataset Accelerator melhora o desempenho quando o treinamento envolve muitos arquivos pequenos, como imagens, textos e vídeos. Ele pré-empacota e processa os dados com base no tipo de modelo e na estrutura de rede usados no treinamento de deep learning.
-
Totalmente gerenciado e pronto para uso.
Serviço de nuvem totalmente gerenciado, simples de operar e pronto para uso após a ativação.
-
Elástico e escalável.
Aproveita a camada de Infrastructure as a Service (IaaS) para oferecer dimensionamento rápido de recursos e elasticidade.
-
Acesso compartilhado.
Vários clusters de treinamento podem compartilhar conjuntos de dados por meio do Dataset Accelerator.
-
Multilocação segura.
Oferece isolamento de dados multilocatário para garantir a segurança dos dados entre usuários.
Termos
Antes de usar o Dataset Accelerator, familiarize-se com os conceitos a seguir.
-
Instância do acelerador de conjunto de dados (Instance)
A instância é a unidade de faturamento e gerenciamento do Dataset Accelerator. Ao criar uma instância por assinatura, o sistema reserva os recursos de nuvem correspondentes e o faturamento começa imediatamente. Para instâncias de pagamento conforme o uso, a cobrança ocorre com base no uso dos slots de aceleração.
-
Slot de aceleração (Slot)
O slot é uma unidade de serviço para um único conjunto de dados. É possível criar vários slots de aceleração em uma instância do acelerador de conjunto de dados. Cada slot acelera um conjunto de dados, permitindo que várias tarefas de treinamento de deep learning usem conjuntos de dados diferentes para treinamento simultâneo.
-
Relação entre instância e slot
É possível criar várias instâncias do acelerador de conjunto de dados. Para cada instância, crie múltiplos slots de aceleração com capacidades diferentes. A proporção entre uma instância e seus slots é de 1:N. Cada slot de aceleração está vinculado a um armazenamento de conjunto de dados.
Procedimento
Para usar o Dataset Accelerator, execute as etapas a seguir.
-
Crie e gerencie instâncias do acelerador de conjunto de dados
Crie instâncias do acelerador de conjunto de dados conforme suas necessidades de negócios, tamanho da equipe, frequência de treinamento e tamanhos dos conjuntos de dados. Uma única instância suporta a aceleração de múltiplos conjuntos de dados para diferentes tarefas de treinamento por meio de vários slots de aceleração.
O Dataset Accelerator consome recursos adicionais de nuvem. Para garantir a disponibilidade de recursos na aceleração de tarefas importantes de treinamento, recomendamos o uso do método de faturamento por assinatura para reservar recursos antecipadamente.
-
Crie e gerencie slots de aceleração
Em uma instância selecionada do acelerador de conjunto de dados, crie um slot de aceleração com base no tamanho do conjunto de dados usado para treinamento. Uma instância pode conter vários slots. O armazenamento total de todos os slots não pode exceder a capacidade da instância.
Ao criar um slot, o sistema pré-processa o conjunto de dados associado considerando fatores como tipo de dado, tamanho do dado, framework de treinamento e modelo. Após a conclusão da inicialização, o Dataset Accelerator fornece interfaces que suas tarefas de treinamento podem usar diretamente.
-
Usar o Dataset Accelerator na plataforma PAI
Ao criar um conjunto de dados na plataforma PAI, ative a aceleração de conjunto de dados. Em seguida, utilize o conjunto de dados acelerado ao criar uma instância do Data Science Workshop (DSW) ou envie um job do DLC para melhorar a eficiência de leitura de dados.