O Deep Learning Containers (DLC), o Data Science Workshop (DSW) e o Elastic Algorithm Service (EAS) no Platform for AI (PAI) permitem montar um sistema de arquivos Storage NAS (NAS) ou Cloud Parallel File Storage (CPFS) em um caminho de contêiner para armazenar arquivos de treinamento, implantação e resultados.
Este tópico usa um sistema de arquivos NAS de uso geral como exemplo.
Pré-requisitos
Antes de começar, verifique se você tem:
Um sistema de arquivos NAS de uso geral. Consulte Crie um sistema de arquivos.
Etapa 1: Criar um conjunto de dados NAS
Ignore esta etapa se estiver usando o EAS. O EAS monta o NAS diretamente sem um objeto de conjunto de dados. Para DLC e DSW, ignore esta etapa apenas se planejar usar a opção Directly mount em vez de um conjunto de dados.
Crie um conjunto de dados NAS no PAI para que o DLC e o DSW referenciem o sistema de arquivos pelo nome. Para obter detalhes, consulte Crie e gerencie conjuntos de dados.
Crie o conjunto de dados na mesma região dos seus jobs do DLC, instâncias do DSW e serviços do EAS, bem como onde os dados e o código estão armazenados.
Defina os seguintes parâmetros ao criar o conjunto de dados:
|
Parâmetro |
Valor |
|
Storage type |
General-purpose NAS |
|
File system |
ID do seu sistema de arquivos NAS. Acesse o console do NAS para localizar o ID ou selecione-o na lista suspensa. |
|
File system path |
|
|
Default mount path |
|
Etapa 2: Montar o NAS no DLC, DSW ou EAS
Após criar o conjunto de dados, anexe-o durante a criação de um job de treinamento do DLC, uma instância do DSW ou um service do EAS.
Montar o NAS no DLC
Ao criar um job de treinamento, configure o armazenamento na seção Environment Information. Há duas opções disponíveis:
Opção 1: Conjunto de dados personalizado (recomendado)
Clique em Custom Dataset e selecione seu conjunto de dados NAS de uso geral.
O sistema aplica automaticamente o caminho de montagem configurado no conjunto de dados. O job de treinamento lê esse caminho durante a execução.
Ative ou desative Read-only para controlar o acesso de leitura e gravação.
Opção 2: Montagem direta
Clique em General-purpose NAS e configure os parâmetros do sistema de arquivos.
Defina Mount Path como o caminho dentro do contêiner do DLC onde deseja acessar os dados.
Ative ou desative Read-only para controlar o acesso de leitura e gravação.
Melhorar o throughput com nconnect (opcional)
Para jobs de treinamento com uso intensivo de dados, aumente o throughput de leitura do NAS definindo o parâmetro nconnect nas Advanced Settings. Esse parâmetro abre múltiplas conexões TCP entre o cliente NFS e o servidor, elevando o throughput quando uma única conexão está saturada.
Recomendamos definir nconnect como 4:
{"nconnect":"4"}Montar o NAS no DSW
Ao criar uma instância do DSW, configure o armazenamento na seção Dataset mounting:
Custom dataset: Clique em
, acesse a aba General-purpose NAS e selecione o conjunto de dados NAS. O sistema aplica automaticamente o caminho de montagem configurado no conjunto de dados. Acesse o sistema de arquivos por esse caminho no ambiente de desenvolvimento do DSW.Working directory: Selecione o conjunto de dados na lista suspensa. O conjunto de dados é sincronizado com o diretório
/mnt/workspacedo DSW.
Montar o NAS no EAS
Ao implantar um service do EAS, configure o armazenamento na seção Environment Information:
Em Model Settings, clique em Standard NAS e configure os seguintes parâmetros:
|
Parâmetro |
Descrição |
|
Select a file system |
Sistema de arquivos NAS a ser montado. |
|
Mount Target |
Destino de montagem pelo qual o EAS acessa o sistema de arquivos. |
|
File system path |
Caminho dentro do sistema de arquivos NAS a ser exposto ao service. |
|
Mount path |
Caminho dentro do contêiner de service onde os dados do NAS ficam acessíveis. |