Access and store OSS data in PyTorch training jobs - Object Storage Service: Central de Documentação do Alibaba Cloud

O Object Storage Service (OSS) Connector for AI/ML permite ler dados de treinamento em grande escala do OSS com eficiência. Esse recurso acelera significativamente o treinamento de modelos PyTorch e otimiza o desempenho e a eficiência das tarefas de AI/ML.

Benefícios

Item	Sem o OSS Connector for AI/ML	Com o OSS Connector for AI/ML
Desempenho	É necessário otimizar manualmente, o que pode gerar ineficiência.	Otimiza automaticamente o download de dados do OSS e o armazenamento de checkpoints.
Método de carregamento de dados	Exige download prévio dos dados, o que aumenta custos e carga de gerenciamento.	Oferece suporte a carregamento por streaming para reduzir custos e complexidade de gerenciamento.
Acesso aos dados	Leitura e gravação dependem de adaptadores, aumentando a complexidade de acesso.	Lê e grava dados diretamente no OSS, simplificando o acesso.
Dificuldade de configuração	Requer compilação de código, dificultando a configuração.	Fornece opções de configuração simples para melhorar a eficiência do desenvolvimento.

Como funciona

A figura a seguir ilustra como o OSS Connector for AI/ML interage com jobs de treinamento PyTorch e dados no OSS.

Descrição dos recursos

A tabela a seguir descreve os recursos do OSS Connector for AI/ML.

Item	Recurso	Classe	Método
Conjunto de dados estilo mapa	Permite acesso aleatório para recuperar dados específicos rapidamente durante o treinamento.	OssMapDataset	As classes OssMapDataset e OssIterableDataset oferecem os mesmos métodos para criar um conjunto de dados. from_prefix() Cria um conjunto de dados a partir de um prefixo OSS_URI. Ideal quando os caminhos de armazenamento de dados no OSS seguem regras uniformes. from_objects() Gera um conjunto de dados com base em uma lista de OSS_URIs. Recomendado quando os caminhos de armazenamento no OSS são conhecidos, mas estão dispersos. from_manifest_file() Crie um arquivo de manifesto e use-o para montar o conjunto de dados. Mais indicado para conjuntos com milhões de arquivos, carregamentos frequentes e buckets com indexação de dados ativada.
Conjunto de dados iterável	Oferece suporte a leituras sequenciais em streaming para processar grandes volumes de dados contínuos com eficiência.	OssIterableDataset
Operações da API de checkpoint	Carrega checkpoints do OSS durante o treinamento do modelo e salva checkpoints no OSS em intervalos regulares, simplificando o fluxo de trabalho de treinamento.	OssCheckpoint	OssCheckpoint() Inicializa um objeto OssCheckpoint para ler e gravar checkpoints durante o treinamento do modelo. reader() Lê checkpoints do OSS. writer() Grava checkpoints no OSS.

Procedimento

Antes de acessar e armazenar dados no OSS em um job de treinamento PyTorch, instale e configure o OSS Connector for AI/ML. Para obter mais informações, consulte Instalar o OSS Connector for AI/ML e Configurar o OSS Connector for AI/ML.
Após instalar e configurar o OSS Connector for AI/ML, execute as seguintes operações nos jobs de treinamento PyTorch:
- Use o OssMapDataset para criar um conjunto de dados estilo mapa, adequado para leitura aleatória. Para obter mais informações, consulte Usar dados no OSS para criar um conjunto de dados mapa adequado para leitura aleatória.
- Use o OssIterableDataset para criar um conjunto de dados iterável, ideal para leitura sequencial em streaming. Para obter mais informações, consulte Criar um conjunto de dados iterável para leitura sequencial em streaming a partir de dados do OSS.
- Use o OssCheckpoint para armazenar e acessar checkpoints. Para obter mais informações, consulte Armazenar e acessar checkpoints no OSS.
- Nota
  Os dados em conjuntos de dados estilo mapa e iteráveis, bem como nos checkpoints, são do mesmo tipo. Para obter mais informações sobre os métodos compatíveis com esse tipo de dados, consulte Tipo de dados no OSS Connector for AI/ML.

Casos de uso

Para começar rapidamente, o OSS Connector for AI/ML oferece uma demonstração que treina um modelo de reconhecimento de dígitos manuscritos usando dados do OSS e salva os resultados do treinamento no OSS. Para obter mais informações, consulte Introdução ao OSS Connector for AI/ML.
Para melhorar ainda mais o desempenho, use o endpoint acelerado de um acelerador OSS em vez do endpoint interno do OSS. Para ver uma comparação de desempenho, consulte Testes de desempenho.
Para usar o OSS Connector for AI/ML em um ambiente containerizado, utilize uma imagem docker que contenha o ambiente do OSS Connector for AI/ML. Para obter mais informações sobre como criar uma imagem docker, consulte Criar uma imagem docker com o ambiente do OSS Connector for AI/ML.