Montar sistemas de arquivos CPFS AI Edition no PAI - Cloud Parallel File Storage: Central de Documentação do Alibaba Cloud

Pré-requisitos

Você criou crie a CPFS AI Edition file system.
O CPFS AI Edition fornece dois canais de acesso: VSC e VPC. O canal VSC usa o protocolo RDMA e pode aproveitar totalmente o desempenho de pico do sistema de arquivos. O canal VPC usa o protocolo TCP, com largura de banda de leitura padrão de 10 GB/s e largura de banda de gravação de 5 GB/s por sistema de arquivos. Para as especificações completas de desempenho de ambos os canais, consulte Product specifications. Conclua a configuração de rede correspondente com base no tipo de recurso usado. Para obter detalhes sobre os tipos de recursos, consulte PAI resource overview.
- Recursos de computação de IA Lingjun: primeiro, determine se os recursos Lingjun e o CPFS estão no mesmo domínio de afinidade de computação e armazenamento (consulte as instruções abaixo). Se estiverem no mesmo domínio de afinidade, o canal VSC é usado, sem necessidade de configuração adicional. Se não estiverem no mesmo domínio de afinidade, o canal VPC é usado e você precisa crie a VPC mount point para o sistema de arquivos CPFS.
- Recursos de computação de uso geral: o canal VPC é usado. Você precisa crie a VPC mount point para o sistema de arquivos CPFS, e a VPC usada pela tarefa do DLC/DSW/EAS deve ser a mesma VPC do ponto de montagem VPC, ou as VPCs devem estar conectadas por meio da Cloud Enterprise Network (CEN).

Nota

Como determinar se o Lingjun e o CPFS estão no mesmo domínio de afinidade de computação e armazenamento

Chame a API DescribeFilesystemsAssociatedHpnZones, passando o ID do sistema de arquivos CPFS de destino, para obter a lista de HPNZones do Lingjun que compartilham o mesmo domínio de afinidade de computação e armazenamento com o sistema de arquivos.
Consulte a HPNZone dos recursos Lingjun que você planeja usar por meio da Lingjun OpenAPI ou do PAI console.
Se a HPNZone do Lingjun corresponder a uma entrada na lista, os recursos estarão no mesmo domínio de afinidade de computação e armazenamento. Caso contrário, estarão em domínios de afinidade diferentes.

Confie sempre na resposta da API como o resultado oficial. Não avalie apenas com base na igualdade dos valores de zona de disponibilidade ou HPNZone. Recursos de computação e armazenamento com o mesmo número de cluster pertencem ao mesmo domínio de afinidade de computação e armazenamento. Recursos com números de cluster diferentes ainda podem pertencer ao mesmo domínio de afinidade. No entanto, recursos Lingjun e CPFS em zonas de disponibilidade diferentes nunca estão no mesmo domínio de afinidade de computação e armazenamento.

Montar o CPFS no DLC

Ao criar uma tarefa de treinamento do DLC, você pode configurar o armazenamento CPFS por meio de montagem direta ou montagem de conjunto de dados. Para a configuração completa da tarefa de treinamento do DLC, consulte crie a training job.

Nota

Se a cota de recursos for de computação de uso geral, você deve configurar uma VPC, e a VPC selecionada deve ser a mesma VPC do ponto de montagem do CPFS. Se uma VPC não estiver configurada para o sistema de arquivos CPFS AI Edition, configure-a por meio de gerencie VPC mount points.
Se você usar recursos Lingjun e ocorrer acesso entre domínios de afinidade diferentes, o sistema muda automaticamente para o canal de acesso VPC. Você também precisa crie a VPC mount point para o sistema de arquivos CPFS.

Use Direct Mount para ajuste pontual de parâmetros. Use Dataset Mount para colaboração em equipe ou criação frequente de tarefas.

Direct Mount

Faça login no PAI console e acesse o workspace de destino.
No painel de navegação à esquerda, escolha Distributed Training (DLC) e clique em crie Task.
Na seção Environment Information, em Storage Mount, clique em CPFS for AI.

Configure os seguintes parâmetros de montagem:

Parâmetro	Descrição
File System	selecione a instância do sistema de arquivos CPFS AI Edition criada.
File System Mount Point	(Opcional) Selecione o nome de domínio do ponto de montagem VPC do sistema de arquivos CPFS. Isso é necessário apenas quando os recursos de computação e o sistema de arquivos CPFS não estiverem no mesmo domínio de afinidade de computação e armazenamento. Se estiverem no mesmo domínio de afinidade, o acesso ocorre diretamente pelo canal VSC, e não é necessário preencher este campo. Para saber como determinar o domínio de afinidade de computação e armazenamento, consulte Prerequisites.
File System Path	especifique o diretório do CPFS a ser montado. `/` monta todo o sistema de arquivos. Você também pode especificar um subdiretório.
Mount Path	O caminho dentro da instância do service para acessar o CPFS, como `/mnt/data/`.
Read-only	defina as permissões de leitura/gravação para o diretório montado.

Após concluir as demais configurações, envie a tarefa.

Dataset Mount

Para reutilizar configurações de armazenamento, use a montagem de conjunto de dados. Primeiro, crie a CPFS AI Edition dataset.

Faça login no PAI console e acesse o workspace de destino.
No painel de navegação à esquerda, escolha Distributed Training (DLC) e clique em crie Task.
Na seção Dataset Mount, clique em Custom Dataset.
Acesse a aba File Storage - CPFS for AI, selecione o conjunto de dados criado e clique em OK.
confirme o caminho de montagem e defina Read-only conforme necessário.
Após concluir as demais configurações, envie a tarefa.

Montar o CPFS no DSW

Ao criar uma instância do DSW, você pode configurar o armazenamento CPFS por meio de montagem direta ou montagem de conjunto de dados. Para a configuração completa da instância do DSW, consulte crie a DSW instance.

Nota

Se a cota de recursos for de computação de uso geral, você deve configurar uma VPC, e a VPC selecionada deve ser a mesma VPC do ponto de montagem do CPFS. Se uma VPC não estiver configurada para o sistema de arquivos CPFS AI Edition, configure-a por meio de gerencie VPC mount points.
Se você usar recursos Lingjun e ocorrer acesso entre domínios de afinidade diferentes, o sistema muda automaticamente para o canal de acesso VPC. Você também precisa crie a VPC mount point para o sistema de arquivos CPFS.

Use Direct Mount para ajuste pontual de parâmetros. Use Dataset Mount para colaboração em equipe ou criação frequente de instâncias.

Direct Mount

Faça login no PAI console e acesse o workspace de destino.
No painel de navegação à esquerda, escolha Interactive Modeling (DSW) e clique em crie Instance.
Na seção Environment Information, em Storage Mount, clique em CPFS for AI.

Configure os parâmetros de montagem:

Parâmetro	Descrição
File System	selecione a instância do sistema de arquivos CPFS AI Edition criada.
File System Mount Point	(Opcional) Selecione o nome de domínio do ponto de montagem VPC do sistema de arquivos CPFS. Isso é necessário apenas quando os recursos de computação e o sistema de arquivos CPFS não estiverem no mesmo domínio de afinidade de computação e armazenamento. Se estiverem no mesmo domínio de afinidade, o acesso ocorre diretamente pelo canal VSC, e não é necessário preencher este campo. Para saber como determinar o domínio de afinidade de computação e armazenamento, consulte Prerequisites.
File System Path	especifique o diretório do CPFS a ser montado. `/` monta todo o sistema de arquivos. Você também pode especificar um subdiretório.
Mount Path	O caminho dentro da instância do service para acessar o CPFS, como `/mnt/data/`
Read-only	defina as permissões de leitura/gravação para o diretório montado.

Após concluir as demais configurações, crie a instância.

Dataset Mount

Conjuntos de dados salve configurações de armazenamento para reutilização em múltiplas tarefas. Primeiro, crie a CPFS AI Edition dataset.

Faça login no PAI console e acesse o workspace de destino.
No painel de navegação à esquerda, escolha Interactive Modeling (DSW) e clique em crie Instance.
Na seção Dataset Mount, clique em Custom Dataset.
Acesse a aba File Storage - CPFS for AI, selecione o conjunto de dados criado e clique em OK.
Após concluir as demais configurações, crie a instância.

Montar o CPFS no EAS

Ao implantar um service do EAS, você pode configurar o armazenamento CPFS por meio de montagem direta. Para a configuração completa do service do EAS, consulte Custom deployment.

Nota

O EAS suporta apenas a montagem direta e não suporta a montagem de conjunto de dados. Se a cota de recursos for de computação de uso geral, você deve configurar uma VPC, e a VPC selecionada deve ser a mesma VPC do ponto de montagem do CPFS. Se uma VPC não estiver configurada para o sistema de arquivos CPFS AI Edition, primeiro, gerencie VPC mount points.
Se você usar recursos Lingjun e ocorrer acesso entre domínios de afinidade diferentes, o sistema muda automaticamente para o canal de acesso VPC. Você também precisa crie a VPC mount point para o sistema de arquivos CPFS.

Faça login no PAI console e acesse o workspace de destino.
No painel de navegação à esquerda, escolha Elastic Algorithm Service (EAS) e selecione a aba Inference Service.
Clique em Deploy Service > Custom Deployment.
Na seção Environment Information, em Storage Mount, clique em CPFS for AI.

Configure os seguintes parâmetros de montagem:

Parâmetro	Descrição
Storage Permission Resource Group	selecione o grupo de recursos de permissão de armazenamento.
File System	selecione a instância do sistema de arquivos CPFS AI Edition criada.
File System Path	especifique o diretório do CPFS a ser montado. `/` monta todo o sistema de arquivos. Você também pode especificar um subdiretório.
Mount Path	O caminho dentro da instância do service para acessar o CPFS, como `/mnt/data/`.
Read-only	defina as permissões de leitura/gravação para o diretório montado.

Após concluir as demais configurações, implante o service.

Criar um conjunto de dados do CPFS AI Edition

Um conjunto de dados é um modelo de configurações de armazenamento que registra o sistema de arquivos, o caminho do diretório, o caminho de montagem e outras informações. Após a criação, pode ser reutilizado por múltiplas tarefas DLC/DSW, eliminando a necessidade de configurações repetitivas.

O EAS não suporta montagem de conjunto de dados.

Faça login no PAI console, acesse o workspace de destino e escolha AI Asset Management > Datasets.

Na aba Custom Datasets, clique em crie Dataset e configure os seguintes parâmetros:

Seção	Parâmetro	Descrição
Dataset Configuration	Name	Nome do conjunto de dados.
	Dataset Type	selecione Basic.
	Storage Type	selecione File Storage (CPFS for AI).
	Content Type	selecione o tipo de dados: Image, Text, Audio, Video, Table ou General.
Version Configuration	Storage Permission Resource Group	selecione o grupo de recursos com permissões de acesso ao sistema de arquivos CPFS de destino.
	File System	selecione a instância do sistema de arquivos CPFS AI Edition criada.
	File System Path	especifique o diretório do CPFS. `/` monta todo o sistema de arquivos. Você também pode especificar um subdiretório, como `/datasets/train`
	Default Mount Path	O caminho dentro da instância do service para acessar o CPFS, como `/mnt/data/`.

Clique em Confirm.