Ao enviar um job de treinamento do Deep Learning Containers (DLC), configure o Object Storage Service (OSS), o File Storage NAS (NAS), o Cloud Parallel File Storage (CPFS) ou o armazenamento do MaxCompute por meio de configuração de código ou montagens. Isso permite ler e gravar dados diretamente no armazenamento especificado durante o processo de treinamento.
Pré-requisitos
Ative o PAI (DLC) e crie um workspace. Para mais informações, consulte Activate PAI and create a default workspace.
-
(Opcional) Para utilizar o armazenamento do Object Storage Service (OSS), conclua as etapas a seguir:
Ative o OSS e conceda as permissões necessárias ao PAI. Para mais informações, consulte Activate OSS e Authorize PAI service accounts.
Crie um bucket do OSS. Para mais informações, consulte Console quick start.
(Opcional) Para usar o File Storage NAS (NAS), crie um sistema de arquivos NAS de uso geral. Para mais informações, consulte Create a file system.
(Opcional) Caso pretenda utilizar o armazenamento do MaxCompute, ative o serviço e crie um projeto do MaxCompute. Para mais informações, consulte Activate MaxCompute e Create a MaxCompute project.
Uso do armazenamento OSS
Configuração do armazenamento OSS com montagens
Durante a criação de um job de treinamento do Deep Learning Containers (DLC), é possível montar o Object Storage Service (OSS). Os tipos de montagem suportados estão listados abaixo. Para detalhes de configuração, consulte Create a training job.
|
Tipo de montagem |
Descrição |
|
Mount dataset |
Monte um conjunto de dados, que pode ser personalizado ou público.
Selecione um conjunto de dados do tipo OSS e configure o Mount Path. Durante a execução do job DLC, o sistema acessará os dados do OSS nesse caminho. |
|
Mount storage |
Monte um caminho de bucket do OSS e use o botão Read-only para definir as permissões de leitura e escrita. |
O DLC suporta JindoFuse e ossfs para a montagem do OSS:
JindoFuse: Este é o método de montagem padrão. A configuração predefinida possui limitações funcionais e pode não atender a todos os cenários. Para detalhes, consulte JindoFuse. É possível ajustar os parâmetros para cenários específicos. Para mais informações, consulte JindoFuse.
ossfs: Ao montar um caminho de bucket do OSS com o método de montagem de armazenamento, especifique
{"mountType":"ossfs"}em Advanced Settings para utilizar o ossfs.
Configuração do armazenamento OSS sem montagens
Jobs do DLC conseguem ler e gravar no Object Storage Service (OSS) utilizando o OSS PyTorch Connector ou um SDK do OSS. Quando você crie um job de treinamento, configure os arquivos de código relevantes. Para exemplos de código, consulte OSS Connector for AI/ML ou OSS SDK.
Na seção Code Configuration, na aba Online Configuration, selecione a source de código na lista suspensa e insira o Mount Path para o seu código.
Uso do armazenamento NAS/CPFS
Ao criar um job do Deep Learning Containers (DLC), utilize o armazenamento File Storage NAS (NAS) ou Cloud Parallel File Storage (CPFS) vinculando um conjunto de dados personalizado do tipo NAS/CPFS ou usando uma montagem de armazenamento. Para detalhes de configuração, consulte Use NAS/CPFS.
Na seção Dataset Mount, defina o Mount Path, por exemplo, /mnt/data/. Na seção Storage Mount, configure Select File System, File System Mount Point, File System Path e Mount Path nessa ordem, por exemplo, /mnt/data2/. Caso o tipo de armazenamento selecionado apresente risco de zona de disponibilidade única, um aviso laranja será exibido.
|
Tipo de montagem |
Descrição |
|
Mount dataset |
Monte um conjunto de dados personalizado. Utilize o botão Read-only para definir as permissões de leitura e escrita. |
|
Mount storage |
Monte um sistema de arquivos File Storage NAS (NAS) ou Cloud Parallel File Storage (CPFS) e use o botão Read-only para definir as permissões de leitura e escrita. Adicionalmente, em Advanced Settings, defina o parâmetro nconnect para melhorar o throughput quando os contêineres DLC acessarem o NAS. O nconnect é uma opção de montagem Linux para clientes NFS que aumenta o throughput estabelecendo mais conexões de transporte TCP entre o cliente e o servidor. Para mais informações, consulte How do I resolve poor performance when accessing NAS from a Linux operating system?. Exemplo: |
Uso do armazenamento MaxCompute
O armazenamento do MaxCompute pode ser utilizado sem montagens. Quando você crie um job de treinamento, configure os arquivos de código relevantes. Para exemplos de código, consulte Use MaxCompute.
Perguntas frequentes
P: Job PAIIO 'killed' sem erro
Esse problema ocorre devido à insuficiência de recursos. O PAIIO não limita o uso de memória, o que pode levar a um consumo elevado ao ler dados do MaxCompute. É provável que o sistema operacional encerre o processo quando o contêiner ficar sem memória, pois o SO e outros componentes do sistema também consomem recursos.