O Deep Learning Containers (DLC), o Data Science Workshop (DSW) e o Elastic Algorithm Service (EAS) no Platform for AI (PAI) permitem montar um sistema de arquivos Storage NAS (NAS) ou Cloud Parallel File Storage (CPFS) em um caminho de contêiner para armazenar arquivos de treinamento, implantação e resultados.
Este tópico usa um sistema de arquivos NAS de uso geral como exemplo.
Pré-requisitos
Antes de começar, verifique se você tem:
Um sistema de arquivos NAS de uso geral. Consulte Crie um sistema de arquivos.
Etapa 1: Crie um conjunto de dados do NAS
Ignore esta etapa se estiver usando o EAS. O EAS monta o NAS diretamente sem um objeto de conjunto de dados. Para DLC e DSW, ignore esta etapa apenas se planejar usar a opção Directly mount em vez de um conjunto de dados.
Crie um conjunto de dados do NAS no PAI para que o DLC e o DSW referenciem o sistema de arquivos pelo nome. Para obter detalhes, consulte Crie e gerencie conjuntos de dados.
Crie o conjunto de dados na mesma região dos seus jobs do DLC, instâncias do DSW e serviços do EAS, bem como onde os dados e códigos estão armazenados.
Defina os seguintes parâmetros ao criar o conjunto de dados:
|
Parâmetro |
Valor |
|
Storage type |
General-purpose NAS |
|
File system |
ID do seu sistema de arquivos NAS. Faça login no console do NAS para localizar o ID ou selecione-o na lista suspensa. |
|
File system path |
|
|
Default mount path |
|
Etapa 2: Montar o NAS no DLC, DSW ou EAS
Após criar o conjunto de dados, anexe-o ao criar um job de treinamento do DLC, uma instância do DSW ou um serviço do EAS.
Montar o NAS no DLC
Ao criar um job de treinamento, configure o armazenamento na seção Environment Information. Há duas opções disponíveis:
Opção 1: Conjunto de dados personalizado (recomendado)
Clique em Custom Dataset e selecione seu conjunto de dados NAS de uso geral.
O sistema aplica automaticamente o caminho de montagem configurado no conjunto de dados. O job de treinamento lê os dados desse caminho durante a execução.
Ative ou desative Read-only para controlar o acesso de leitura e gravação.
Opção 2: Montagem direta
Clique em General-purpose NAS e configure os parâmetros do sistema de arquivos.
Defina Mount Path como o caminho dentro do contêiner do DLC onde deseja acessar os dados.
Ative ou desative Read-only para controlar o acesso de leitura e gravação.
Melhorar o throughput com nconnect (opcional)
Para jobs de treinamento intensivos em dados, aumente o throughput de leitura do NAS definindo o parâmetro nconnect nas Advanced Settings. Esse parâmetro abre múltiplas conexões TCP entre o cliente NFS e o servidor, elevando o throughput quando uma única conexão está saturada.
Recomendamos definir nconnect como 4:
{"nconnect":"4"}Montar o NAS no DSW
Ao criar uma instância do DSW, configure o armazenamento na seção Dataset mounting:
Custom dataset: Clique em
, acesse a aba General-purpose NAS e selecione o conjunto de dados do NAS. O sistema aplica automaticamente o caminho de montagem definido no conjunto de dados. Acesse o sistema de arquivos por esse caminho no ambiente de desenvolvimento do DSW.Working directory: Selecione o conjunto de dados na lista suspensa. O conjunto de dados é sincronizado com o diretório
/mnt/workspacedo DSW.
Montar o NAS no EAS
Ao implantar um serviço do EAS, configure o armazenamento na seção Environment Information:
Em Model Settings, clique em Standard NAS e configure os seguintes parâmetros:
|
Parâmetro |
Descrição |
|
Selecione um sistema de arquivos |
Sistema de arquivos NAS a ser montado. |
|
Mount Target |
Destino de montagem pelo qual o EAS acessa o sistema de arquivos. |
|
File system path |
Caminho dentro do sistema de arquivos NAS a ser exposto ao serviço. |
|
Mount path |
Caminho dentro do contêiner de serviço onde os dados do NAS ficam acessíveis. |