Para usar o Dataset Accelerator, crie um slot de aceleração e associe-o a uma fonte de dados. O sistema pré-processa o conjunto de dados com base no tipo, no tamanho e no modelo de treinamento para melhorar a velocidade de acesso. Este tópico descreve como criar e gerenciar slots de aceleração.
Pré-requisitos
Crie uma instância de aceleração de conjunto de dados. Para mais informações, consulte Criar e gerenciar instâncias de aceleração de conjuntos de dados.
Criar um slot de aceleração
Faça login no PAI console. No painel de navegação à esquerda, escolha .
-
Abra o painel Create Acceleration Slot:
Método 1: Na aba Acceleration Slots, clique em Create Acceleration Slot.
-
Método 2: Pela página de detalhes da instância.
NotaAo usar este método, o parâmetro Instance assume automaticamente a instância de aceleração atual e não pode ser alterado.
Na aba Acceleration Instances, clique em nome da instância desejada para abrir a página de detalhes.
Na aba Dataset Acceleration Slots, clique em Create Acceleration Slot.
-
No painel Create Acceleration Slot, configure os seguintes parâmetros principais.
Parâmetro
Descrição
Instance
Selecione uma instância de aceleração existente.
Bind cloud product
Object Storage (OSS)
-
Read/Write Attributes: Selecione Read-only ou Read/Write.
-
Select OSS path: Selecione o diretório do OSS que contém o conjunto de dados.
General-purpose NAS, Extreme NAS,
-
Select File System: Selecione o ID de um sistema de arquivos existente.
-
Mount Target: Selecione um ponto de montagem para acessar o sistema de arquivos.
-
File System Path: Selecione um caminho de armazenamento existente no NAS. Padrão:
/.
Maximum Capacity
Defina a capacidade do slot de aceleração. A capacidade deve ser maior ou igual ao tamanho do conjunto de dados. Configure este parâmetro conforme o tamanho do conjunto de dados a ser acelerado.
Acceleration instance: Free space
Este parâmetro está disponível apenas quando Bind cloud product estiver definido como MaxCompute.
Selecione ou crie um ponto de montagem para montar o Dataset Accelerator no cluster de treinamento. Durante o treinamento do modelo, os jobs de treinamento acessam o slot de aceleração pelo ponto de montagem para ler o conjunto de dados associado, o que melhora a eficiência de acesso aos dados.
Use um dos seguintes métodos:
-
Bind cloud product: Selecione um ponto de montagem existente.
-
Object Storage Service (OSS): Configure os seguintes parâmetros para criar um novo ponto de montagem.
-
MaxCompute: Apenas VPC é compatível.
-
Select Mount Point: Selecione uma Virtual Private Cloud (VPC) existente. Se nenhuma VPC estiver disponível, clique em Create Mount Target para criar uma.
-
Mount Target Type: Selecione um vSwitch existente. Se nenhum vSwitch estiver disponível, clique em VPC Network para criar um.
-
Nota-
O Dataset Accelerator é compatível apenas com pontos de montagem VPC.
-
Clusters de treinamento na mesma VPC podem usar um ponto de montagem VPC, mesmo que estejam em vSwitches diferentes.
-
Ao adicionar um ponto de montagem, o sistema de arquivos utiliza um endereço IP. Recomendamos selecionar um vSwitch com endereços IP privados disponíveis suficientes.
-
Apenas clusters de treinamento na mesma VPC podem montar o destino.
vSwitch
Ative a chave create vSwitch para configurar uma duração de execução ou um horário de parada agendado para o slot de aceleração.
-
-
Clique em Mount Target Type.
O sistema inicializa o slot de aceleração. Use o slot quando o Enable automatic recycling mudar para Enable automatic recycling.
Gerenciar slots de aceleração de conjuntos de dados
Gerencie os slots de aceleração de conjuntos de dados na página Dataset Accelerator, pela aba Acceleration Slots ou pela página de detalhes de uma instância de aceleração. As operações disponíveis são as mesmas em ambas as páginas. Na aba Acceleration Slots, visualize a lista de slots, incluindo nome/ID do slot, ponto de montagem, status de sincronização, instância, armazenamento acelerado, caminho de armazenamento, status e duração do carregamento. Na coluna Actions, o menu More contém as opções Stop e Delete.
Clique em nome de um slot para abrir a página de detalhes e visualizar as Submit.
Passe o mouse sobre a coluna Accelerated Storage para ver o tipo de armazenamento do conjunto de dados.
Pare ou exclua slots não utilizados, ou clone um existente. Clique também em Status para configurar uma duração de execução ou um horário de parada agendado.
Gerenciar pontos de montagem
Para gerenciar pontos de montagem, clique em nome de um slot de aceleração para abrir a página de detalhes. A configuração do ponto de montagem inclui Mount target name, Mount target type (como VPC), VPC ID, vSwitch ID, availability zone, IP e port.
Visualize configuração: Passe o mouse sobre o nome de um ponto de montagem para ver os detalhes de configuração.
Visualize configuração de implantação: Clique em nome de um ponto de montagem para exibir a configuração de implantação do cliente Dataset Accelerator.
-
Baixe configuração de implantação: No painel Running, clique em Basic Information para baixar o arquivo YAML. Use esse arquivo para configurar o Dataset Accelerator no cluster de treinamento.
Alternativamente, clique em botão Copy para copiar o conteúdo YAML para a área de transferência. O arquivo YAML inclui campos como
apiVersion: data.datasetacc.io/v1,kind: DataSetAccelerator,metadata(que contém o nome do slot de aceleração) espec(que contémfrontEndAddrefrontEndPort).
Próximos passos
Ative a aceleração de conjuntos de dados ao criar uma instância do Data Science Workshop (DSW) ou enviar um job do Deep Learning Containers (DLC) para acelerar o acesso aos dados. Para mais informações, consulte Usar o Dataset Accelerator no PAI.