Platform For AI:Perguntas frequentes sobre o Model Gallery

Consulte primeiro o PAI Agent

Clique no ícone no canto superior direito do PAI console para iniciar o PAI AI Assistant (Agentic PAI). O Agentic PAI fornece manuais do usuário e diretrizes operacionais para os produtos de ponta a ponta do PAI. Ele oferece suporte a diagnósticos de operação e manutenção para instâncias DSW, tarefas DLC e serviços EAS. Além disso, identifica automaticamente as causas raiz das falhas e fornece recomendações de solução de problemas.

O raciocínio profundo está ativado para a avaliação de modelos no Model Gallery?

A avaliação de modelos usa a configuração de implantação padrão do Model Gallery, tanto para modelos fornecidos pelo próprio Model Gallery quanto para modelos com ajuste fino. Verifique a página do modelo e a configuração de implantação padrão para confirmar se o raciocínio profundo está ativado.

Como implantar um modelo treinado no Model Gallery?

Em seguida, acesse Task Management no Model Gallery, localize a tarefa de treinamento e abra a página de detalhes. Clique em Deploy no canto superior direito. Após a implantação, o modelo é executado como um serviço online.

Como descobrir por que minha tarefa de treinamento falhou?

As tarefas de treinamento podem falhar por vários motivos. Por exemplo, um conjunto de dados pode não estar no formato exigido. Execute os métodos a seguir para solucionar problemas:

• Para isso, verifique os diagnósticos da tarefa: No PAI-Model Gallery > Task Management > Training Tasks, clique na tarefa. Na guia Task Details, passe o mouse sobre Failed. A causa do erro e a solução são exibidas.

  

• Em seguida, verifique os logs da tarefa: No Task Management > Training Tasks, clique na tarefa e verifique a mensagem de erro na guia Task log:

  

  A tabela a seguir lista as soluções para as mensagens de erro:

  Tipo de erro	Mensagem de erro	Solução
  Erros de entrada e saída	ValueError: output channel ${your OSS uri} must be directory	O caminho de saída deve ser um diretório. Verifique se o caminho especificado é um diretório.
  	ValueError: train must be a file	O caminho de entrada deve ser um arquivo. Verifique se o caminho especificado é um arquivo.
  	FileNotFoundError	Verifique se o caminho de entrada contém arquivos que atendem aos requisitos.
  	JSONDecodeError	Verifique se o arquivo JSON está no formato correto.
  	ValueError: Input data must be a json file or a jsonl file!	O arquivo de entrada deve ser um arquivo JSON ou JSONL. Verifique o formato do arquivo.
  	KeyError: ${some key name}	Esse erro geralmente ocorre com conjuntos de dados de treinamento JSON. Verifique se os pares chave-valor nos arquivos de dados de treinamento atendem aos requisitos descritos na documentação do modelo.
  	ValueError: Unrecognized model in /ml/input/data/model/.	O PyTorch não consegue reconhecer o arquivo de modelo fornecido.
  	UnicodeDecoderError	Verifique o formato de codificação dos arquivos de entrada.
  	Erro de entrada/saída	Certifique-se de que o caminho de entrada tenha permissão de leitura e o caminho de saída tenha permissões de leitura e gravação.
  	NotADirectoryError: [Errno 20] Not a directory:	Verifique se os caminhos de entrada e saída são diretórios.
  Configuração de hiperparâmetros	ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0 (pid: 51) of binary: /usr/bin/python (and no related subprocess logs)	A instância esgota a memória (OOM) ao carregar o modelo. Selecione um tipo de instância com mais memória.
  	torch.cuda.OutOfMemoryError: CUDA out of memory	A memória GPU do tipo de instância atual é insuficiente. Selecione um tipo de instância GPU com mais memória ou reduza hiperparâmetros como LoRA dim e batch size.
  	ValueError: No closing quotation	Uma aspa dupla " no prompt do sistema ou em outro parâmetro impede que o algoritmo gere o comando de treinamento. Remova a aspa dupla " ou adicione a aspa correspondente para completar o par.
  Tipo de instância e configuração de recursos	Exception: Current loss scale already at minimum - cannot decrease scale anymore. Exiting run	Os parâmetros do modelo estão no formato BF16. Use GPUs Ampere ou posteriores (como A10 ou A100) para o treinamento. GPUs pré-Ampere convertem os parâmetros para FP16.
  	RuntimeError: CUDA error: uncorrectable ECC error encountered	O tipo de instância atual apresenta um problema de hardware. Altere para um tipo de instância diferente ou tente novamente em outra região.
  	MemoryError: WARNING Insufficient free disk space	A memória do tipo de instância atual é insuficiente. Altere para um tipo de instância com mais memória.
  Limites de cota do usuário	failed to compose dlc job specs, resource limiting triggered, you are trying to use more GPU resources than the threshold	As tarefas de treinamento podem ser executadas em, no máximo, duas GPUs simultaneamente. Exceder esse limite aciona a restrição de recursos. Aguarde a conclusão das tarefas em execução antes de iniciar novas tarefas ou envie um ticket para solicitar um aumento de cota.

Como depurar um modelo implantado online?

1. Após a implantação do modelo, visualize o serviço implantado no Model Gallery > Task Management > Deployment Tasks. Certifique-se de que o serviço esteja em execução antes de iniciar a depuração.

   

2. Na página do PAI-EAS, clique em Online Debugging na coluna Operation do serviço implantado. A depuração online permite verificar a API do modelo sem escrever código do cliente.

   

3. Configure os parâmetros da solicitação para a depuração online:

   1. Na página do modelo, consulte como chamar o modelo para o seu modo de implantação. Para abrir a página do modelo, clique em um card do modelo na página do Model Gallery. Por exemplo, após implantar o DeepSeek-R1-Distill-Qwen-7B usando o BladeLLM, envie uma solicitação HTTP POST para /v1/chat/completions. O exemplo a seguir mostra a solicitação:

      

      

   2. Configure e envie a solicitação.

      Acrescente /v1/chat/completions à URL da solicitação e insira o corpo da solicitação com base no exemplo da etapa anterior.

      

A depuração online falha com o erro "no healthy upstream"

A depuração online retorna o código de erro 503 com a mensagem de erro "no healthy upstream":

• Causa: O uso de CPU, memória ou memória GPU da instância está muito alto, resultando em margem insuficiente.

• Solução:

  • Para recursos públicos, chame o serviço fora dos horários de pico ou altere para uma especificação de recurso e região diferentes.

  • Para recursos dedicados (EAS Resource Group), reserve CPU, memória e memória GPU suficientes para as instâncias. Mantenha pelo menos 20% dos recursos livres como buffer.

O treinamento do modelo falha com o erro "SupportsDistributedTraining false, please set InstanceCount=1"

• Causa: A tarefa de treinamento usa várias instâncias (mais de um nó), mas o modelo não oferece suporte a treinamento distribuído.

• Solução: Para isso, defina o número de nós como 1. O modelo oferece suporte apenas ao treinamento em um único nó.

  

As chamadas de API para um modelo falham com o erro 404 - {'detail': 'Not Found'}

Possíveis causas:

1. O serviço do modelo não oferece suporte a chamadas de API. Alguns serviços de modelo implantados a partir do Model Gallery, como PAI-DistilQwen2.5-7B-Instruct, suportam apenas interação baseada na web por meio do botão Web App na página de detalhes do serviço. Esses serviços não fornecem endpoints de API compatíveis com OpenAI e não podem ser chamados com o SDK da OpenAI.

2. O caminho da solicitação está incompleto ou incorreto. Para a API de chat, o caminho geralmente segue este formato: {domain}/api/predict/{service_name}/v1/chat/completions.

Como baixar um modelo treinado no Model Gallery para minha máquina local?

Para baixar os arquivos do modelo:

1. No painel de navegação à esquerda do PAI console, escolha Model Gallery > Task Management > Training Tasks e clique no nome da tarefa para abrir a página de detalhes da tarefa.

2. Na página de detalhes da tarefa, clique em Output Model para acessar a página AI Asset Management > Models e visualize a URL do modelo na lista de versões.

3. Clique na URL do modelo para acessar o console do OSS e baixe os arquivos do modelo conforme necessário. Para obter mais informações sobre como baixar objetos do OSS, consulte Simple download.

Perguntas frequentes sobre a seleção de modelos