Montar sistemas de arquivos CPFS AI Edition no PAI - Cloud Parallel File Storage: Central de Documentação do Alibaba Cloud

Pré-requisitos

Você possui crie a CPFS AI Edition file system.
O CPFS AI Edition oferece dois canais de acesso: VSC e VPC. O canal VSC utiliza o protocolo RDMA e aproveita integralmente o desempenho máximo do sistema de arquivos. Já o canal VPC usa o protocolo TCP, com largura de banda de leitura padrão de 10 GB/s e de escrita de 5 GB/s por sistema de arquivos. Para consultar as especificações completas de desempenho de ambos os canais, veja Product specifications. Realize a configuração de rede correspondente ao tipo de resource utilizado. Para mais detalhes sobre os tipos de resource, consulte PAI resource overview.
- Resources de computação Lingjun: Primeiro, verifique se os resources Lingjun e o CPFS estão no mesmo domínio de afinidade computação-armazenamento (consulte as instruções abaixo). Caso estejam no mesmo domínio de afinidade, o canal VSC será utilizado sem necessidade de configuração adicional. Se estiverem em domínios diferentes, o canal VPC será usado e você precisará crie a VPC mount point para o sistema de arquivos CPFS.
- Resources de computação de uso geral: O canal VPC é utilizado. Você precisa crie a VPC mount point para o sistema de arquivos CPFS, e a VPC usada pela tarefa DLC/DSW/EAS deve ser a mesma do ponto de montagem VPC, ou as VPCs devem estar conectadas por meio da Cloud Enterprise Network (CEN).

Nota

Como verificar se o Lingjun e o CPFS estão no mesmo domínio de afinidade computação-armazenamento

Chame DescribeFilesystemsAssociatedHpnZones, informando o ID do sistema de arquivos CPFS desejado, para obter a lista de HPNZones Lingjun que compartilham o mesmo domínio de afinidade computação-armazenamento com o sistema de arquivos.
Consulte a HPNZone dos resources Lingjun que você pretende usar por meio da Lingjun OpenAPI ou do PAI console.
Se a HPNZone do Lingjun corresponder a um item da lista, os resources estão no mesmo domínio de afinidade computação-armazenamento. Caso contrário, eles pertencem a domínios de afinidade diferentes.

Sempre considere a resposta da API como o resultado oficial. Não faça a avaliação baseando-se apenas na igualdade dos valores de zona de disponibilidade ou HPNZone. Resources de computação e armazenamento com o mesmo número de cluster pertencem ao mesmo domínio de afinidade computação-armazenamento. Resources com números de cluster diferentes ainda podem pertencer ao mesmo domínio de afinidade. No entanto, resources Lingjun e CPFS em zonas de disponibilidade distintas nunca estarão no mesmo domínio de afinidade computação-armazenamento.

Montar o CPFS no DLC

Ao criar uma tarefa de treinamento do DLC, configure o armazenamento CPFS por montagem direta ou montagem de dataset. Para ver a configuração completa da tarefa de treinamento do DLC, consulte Create a training job.

Nota

Se a cota de resource for de computação de uso geral, configure uma VPC obrigatoriamente, e a VPC selecionada deve ser a mesma do ponto de montagem do CPFS. Caso ainda não tenha configurado uma VPC para o sistema de arquivos CPFS AI Edition, faça isso por meio de gerencie VPC mount points.
Ao utilizar resources Lingjun com acesso entre domínios de afinidade distintos, o sistema muda automaticamente para o canal de acesso VPC. Nesse caso, você também precisa crie a VPC mount point para o sistema de arquivos CPFS.

Utilize Direct Mount para ajustes pontuais de parâmetros. Prefira Dataset Mount quando houver colaboração em equipe ou criação frequente de tarefas.

Direct Mount

Faça login no PAI console e acesse o workspace desejado.
No painel de navegação à esquerda, selecione Distributed Training (DLC) e clique em Create Task.
Na seção Environment Information, em Storage Mount, clique em CPFS for AI.

Configure os seguintes parâmetros de montagem:

Parameter	Description
File System	Selecione a instância do sistema de arquivos CPFS AI Edition que você criou.
File System Mount Point	(Opcional) Selecione o nome de domínio do ponto de montagem VPC do sistema de arquivos CPFS. Esse campo é necessário apenas quando os resources de computação e o sistema de arquivos CPFS não estiverem no mesmo domínio de afinidade computação-armazenamento. Se estiverem no mesmo domínio, o acesso ocorre diretamente pelo canal VSC, sem necessidade de preencher este campo. Para saber como determinar o domínio de afinidade computação-armazenamento, consulte Prerequisites.
File System Path	Especifique o diretório do CPFS a ser montado. `/` monta todo o sistema de arquivos. Também é possível especificar um subdiretório.
Mount Path	Caminho dentro da instância de service para acessar o CPFS, como `/mnt/data/`.
Read-only	Defina as permissões de leitura e escrita para o diretório montado.

Após concluir as demais configurações, envie a tarefa.

Dataset Mount

Para reutilizar configurações de armazenamento, utilize o método de montagem de dataset. Primeiro, crie a CPFS AI Edition dataset.

Faça login no PAI console e acesse o workspace desejado.
No painel de navegação à esquerda, selecione Distributed Training (DLC) e clique em Create Task.
Na seção Dataset Mount, clique em Custom Dataset.
Mude para a aba File Storage - CPFS for AI, selecione o dataset criado e clique em OK.
Confirme o caminho de montagem e defina Read-only conforme necessário.
Após concluir as demais configurações, envie a tarefa.

Montar o CPFS no DSW

Ao criar uma instância do DSW, configure o armazenamento CPFS por montagem direta ou montagem de dataset. Para ver a configuração completa da instância do DSW, consulte Create a DSW instance.

Nota

Se a cota de resource for de computação de uso geral, configure uma VPC obrigatoriamente, e a VPC selecionada deve ser a mesma do ponto de montagem do CPFS. Caso ainda não tenha configurado uma VPC para o sistema de arquivos CPFS AI Edition, faça isso por meio de gerencie VPC mount points.
Ao utilizar resources Lingjun com acesso entre domínios de afinidade distintos, o sistema muda automaticamente para o canal de acesso VPC. Nesse caso, você também precisa crie a VPC mount point para o sistema de arquivos CPFS.

Utilize Direct Mount para ajustes pontuais de parâmetros. Prefira Dataset Mount quando houver colaboração em equipe ou criação frequente de instâncias.

Direct Mount

Faça login no PAI console e acesse o workspace desejado.
No painel de navegação à esquerda, selecione Interactive Modeling (DSW) e clique em Create Instance.
Na seção Environment Information, em Storage Mount, clique em CPFS for AI.

Configure os parâmetros de montagem:

Parameter	Description
File System	Selecione a instância do sistema de arquivos CPFS AI Edition que você criou.
File System Mount Point	(Opcional) Selecione o nome de domínio do ponto de montagem VPC do sistema de arquivos CPFS. Esse campo é necessário apenas quando os resources de computação e o sistema de arquivos CPFS não estiverem no mesmo domínio de afinidade computação-armazenamento. Se estiverem no mesmo domínio, o acesso ocorre diretamente pelo canal VSC, sem necessidade de preencher este campo. Para saber como determinar o domínio de afinidade computação-armazenamento, consulte Prerequisites.
File System Path	Especifique o diretório do CPFS a ser montado. `/` monta todo o sistema de arquivos. Também é possível especificar um subdiretório.
Mount Path	Caminho dentro da instância de service para acessar o CPFS, como `/mnt/data/`
Read-only	Defina as permissões de leitura e escrita para o diretório montado.

Após concluir as demais configurações, crie a instância.

Dataset Mount

Os datasets salvam configurações de armazenamento para reutilização em múltiplas tarefas. Primeiro, crie a CPFS AI Edition dataset.

Faça login no PAI console e acesse o workspace desejado.
No painel de navegação à esquerda, selecione Interactive Modeling (DSW) e clique em Create Instance.
Na seção Dataset Mount, clique em Custom Dataset.
Mude para a aba File Storage - CPFS for AI, selecione o dataset criado e clique em OK.
Após concluir as demais configurações, crie a instância.

Montar o CPFS no EAS

Ao implantar um service do EAS, configure o armazenamento CPFS por montagem direta. Para ver a configuração completa do service do EAS, consulte Custom deployment.

Nota

O EAS suporta apenas montagem direta e não oferece suporte a montagem de dataset. Se a cota de resource estiver definida como computação de uso geral, configure uma VPC obrigatoriamente, e a VPC selecionada deve ser a mesma do ponto de montagem do CPFS. Caso ainda não tenha configurado uma VPC para o sistema de arquivos CPFS AI Edition, primeiro gerencie VPC mount points.
Ao utilizar resources Lingjun com acesso entre domínios de afinidade distintos, o sistema muda automaticamente para o canal de acesso VPC. Nesse caso, você também precisa crie a VPC mount point para o sistema de arquivos CPFS.

Faça login no PAI console e acesse o workspace desejado.
No painel de navegação à esquerda, selecione Elastic Algorithm Service (EAS) e escolha a aba Inference Service.
Clique em Deploy Service > Custom Deployment.
Na seção Environment Information, em Storage Mount, clique em CPFS for AI.

Configure os seguintes parâmetros de montagem:

Parameter	Description
Storage Permission Resource Group	Selecione o grupo de resources de permissão de armazenamento.
File System	Selecione a instância do sistema de arquivos CPFS AI Edition que você criou.
File System Path	Especifique o diretório do CPFS a ser montado. `/` monta todo o sistema de arquivos. Também é possível especificar um subdiretório.
Mount Path	Caminho dentro da instância de service para acessar o CPFS, como `/mnt/data/`.
Read-only	Defina as permissões de leitura e escrita para o diretório montado.

Após concluir as demais configurações, implante o service.

Criar um dataset do CPFS AI Edition

Um dataset funciona como um modelo de configurações de armazenamento que registra o sistema de arquivos, o caminho do diretório, o caminho de montagem e outras informações. Após a criação, ele pode ser reutilizado por várias tarefas DLC/DSW, eliminando a necessidade de configurações repetitivas.

O EAS não suporta montagem de dataset.

Faça login no PAI console, acesse o workspace desejado e selecione AI Asset Management > Datasets.

Na aba Custom Datasets, clique em Create Dataset e configure os seguintes parâmetros:

Section	Parameter	Description
Dataset Configuration	Name	Nome do dataset.
	Dataset Type	Selecione Basic.
	Storage Type	Selecione File Storage (CPFS for AI).
	Content Type	Escolha o tipo de dado: Image, Text, Audio, Video, Table ou General.
Version Configuration	Storage Permission Resource Group	Selecione o grupo de resources com permissão de acesso ao sistema de arquivos CPFS desejado.
	File System	Selecione a instância do sistema de arquivos CPFS AI Edition que você criou.
	File System Path	Especifique o diretório no CPFS. `/` monta todo o sistema de arquivos. Também é possível especificar um subdiretório, como `/datasets/train`
	Default Mount Path	Caminho dentro da instância de service para acessar o CPFS, como `/mnt/data/`.

Clique em Confirm.