Create and manage datasets - PAI - Platform For AI: Central de Documentação do Alibaba Cloud

Visão geral dos datasets

O PAI oferece suporte a dois tipos de datasets: básicos e rotulados. Os datasets básicos contêm dados brutos e não rotulados para pré-treinamento de modelos. Já os datasets rotulados possuem dados anotados manualmente para ajuste fino e avaliação.

Item	Dataset básico	Dataset rotulado
Definição	Dados brutos e não rotulados.	Dados com rótulos adicionados manualmente.
Processamento de dados	Limpeza de dados, deduplicação, entre outros.	Rotulagem de dados, validação, entre outros.
Casos de uso	Aprendizado não supervisionado Pré-treinamento de modelos para capturar características amplas.	Aprendizado supervisionado e avaliação de modelos Ajuste fino de modelos para melhorar o desempenho em tarefas específicas.

Acessar a página Datasets

Faça login no PAI console.
No canto superior esquerdo, selecione uma região.
No painel de navegação à esquerda, clique em Workspaces e, em seguida, clique no nome do workspace desejado.
No painel de navegação à esquerda, escolha AI Computing Asset Management > Dataset.

Criar um dataset básico

Na aba Custom Dataset, clique em Create Dataset e selecione Basic para Data Type. As opções de Storage suportadas incluem Object Storage Service (OSS) e sistemas de arquivos (NAS de uso geral, NAS extremo, CPFS e AI-CPFS).

Tipo de armazenamento: OSS

Parâmetro	Descrição
Content Type	Selecione o tipo de dado: Image, Text, Audio, Video, Tabular ou General. Escolher um tipo específico facilita a filtragem de datasets em cenários de rotulagem.
Owner	Proprietário do dataset. Apenas administradores do workspace podem configurar este parâmetro.
Import Format/OSS Path	Quando o formato de importação for arquivo, selecione um arquivo para o caminho do OSS. O dataset será mapeado para esse arquivo. Uso comum para datasets iTAG. Quando o formato de importação for pasta, o caminho do OSS deve ser um caminho de pasta montável. Uso comum para DSW, DLC ou EAS.
Default Mount Path	Caminho de montagem padrão para dados, frequentemente utilizado no DSW e DLC: No DSW, o sistema de arquivos é montado neste caminho ao criar uma instância. No DLC, o sistema lê arquivos deste diretório. Por exemplo, `python /root/data/file.py`.
Enable Version Acceleration	Quando o Import Format estiver definido como Folder, é possível ativar a dataset version acceleration. Principais parâmetros: Maximum Capacity: Capacidade do slot de aceleração, que deve ser maior ou igual ao tamanho do dataset. Accelerated Mount Target: Utiliza um destino de montagem interno por padrão. Também é possível selecionar um destino existente ou criar um novo. Nota Ao utilizar Recursos de Computação Inteligente Lingjun, se você selecionar Accelerated Mount Target para Create Mount Target, selecione VPC para VPC. A VPC e o vSwitch devem corresponder aos dos seus Recursos de Computação Inteligente Lingjun. Accelerated Version Default Mount Path: Caminho de montagem padrão para a versão acelerada.

Tipo de armazenamento: sistema de arquivos

Parâmetro	Descrição
Import Format	Selecione o tipo de dado: Image, Text, Audio, Video, Tabular ou General. Escolher um tipo específico facilita a filtragem de datasets em cenários de rotulagem.
Accelerated Mount Target	Proprietário do dataset. Apenas administradores do workspace podem configurar este parâmetro.
Create Mount Target	Selecione um sistema de arquivos correspondente ao Storage escolhido.
Mount Target Type	Especifique um destino de montagem para acessar o sistema de arquivos NAS.
Content Type	Especifique um caminho de armazenamento existente no sistema de arquivos NAS. Por exemplo, `/`.
Owner	Caminho de montagem padrão para dados, frequentemente utilizado no DSW e DLC: No DSW, o sistema de arquivos é montado neste caminho ao criar uma instância. No DLC, o sistema lê arquivos deste diretório. Por exemplo, `python /root/data/file.py`.
File System	Quando o Storage for NAS de uso geral, NAS extremo ou CPFS, é possível ativar a dataset version acceleration. Principais parâmetros: Maximum Capacity: Capacidade do slot de aceleração, que deve ser maior ou igual ao tamanho do dataset. Accelerated Version Default Mount Path: Caminho de montagem padrão para a versão acelerada.

Criar uma versão de dataset básico

Na aba Storage, clique em Mount Target na coluna File System Path do dataset desejado.

Observações importantes:

O nome do dataset, o tipo de armazenamento e o tipo de dado são herdados da V1 e não podem ser alterados.
O número da versão é gerado automaticamente e não pode ser modificado.
Os demais parâmetros correspondem aos descritos em Create a basic dataset.

Visualizar datasets públicos

O PAI fornece datasets públicos integrados, como MMLU, CMMLU e GSM8K. Na aba Default Mount Path, clique no nome de um dataset para visualizar os detalhes.

Cada dataset exibe o Dataset Name/ID, Type, Task, Language, Size, Data Volume e Publisher.

Gerenciar datasets

Para datasets personalizados, é possível visualizar o histórico de versões, create a new version, tornar o dataset público ou excluí-lo. Para datasets rotulados, você pode visualizar os dados, torná-los públicos ou excluí-los.

Observações importantes:

Se um dataset tiver sua Enable Version Acceleration definida como Storage, clique em Custom Dataset para compartilhá-lo com todos os membros do workspace. Depois que um dataset se torna público, essa ação não pode ser revertida. Proceda com cautela.
Caso um usuário RAM encontre um erro de acesso negado ao visualizar dados do dataset, consulte grant the required permissions to the RAM user.
A exclusão de um dataset pode afetar tarefas em execução que dependam dele. Esta ação é irreversível. Proceda com cautela.