Debug a service online - Platform For AI: Central de Documentação do Alibaba Cloud

Após implantar um service, use o recurso de depuração online no console para testar se ele funciona corretamente. Essa interface gráfica do usuário (GUI) permite enviar solicitações de teste e visualize as respostas diretamente, sem escrever código.

Nota

Alguns services não oferecem suporte à depuração online. Por exemplo, para ComfyUI e SDWebUI, a depuração online está disponível apenas na Standard Edition.

Como usar a depuração online

acesse a página de depuração online.
1. Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
2. Na aba Inference Service, localize o service que deseja testar. Na coluna Actions do service, clique em > Online Debugging.
Monte e envie a solicitação. As definições da API, especialmente o caminho da URL e o formato do corpo da solicitação, variam significativamente de acordo com o modelo. Certifique-se de fornecer os parâmetros de solicitação corretos. Uma solicitação padrão inclui os seguintes elementos:
- Método: Geralmente POST ou GET.
- Caminho da solicitação: A ferramenta de depuração online preenche automaticamente o endereço base. Talvez você precise adicionar um caminho de API específico. Um caminho incorreto é a causa mais comum de erros 404 Not Found.
- Cabeçalhos da solicitação: O token Authorization geralmente é preenchido automaticamente e não requer modificação.
- Corpo da solicitação: Formate o corpo da solicitação de acordo com os requisitos da API. Um corpo mal formatado é a principal causa de erros 400 Bad Request ou 500 Internal Server Error.

Exemplo

Este exemplo mostra como testar a API de chat completions de um service do modelo Qwen2.5-7B-Instruct implantado com vLLM. Os parâmetros são os seguintes:

Método: POST
Caminho da solicitação: http://***********/v1/chat/completions (Acrescente /v1/chat/completions à URL preenchida automaticamente.)

Corpo da solicitação:

{
    "model": "Qwen2.5-7B-Instruct",
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of Canada?"
        }
    ]
}

Uma solicitação bem-sucedida retorna um código de status 200. O corpo da resposta contém um objeto chat.completion, em que o campo content retorna The capital of Canada is Ottawa. Os detalhes de usage mostram 36 prompt_tokens, 8 completion_tokens e 44 total_tokens.

FAQ

Como determinar a URL e o corpo da solicitação corretos?

Depende do modelo implantado. Para obter mais informações, consulte Construct Requests for Typical Scenarios.

Próximas etapas

Avalie o desempenho: Use o recurso de stress testing do EAS para avaliar o desempenho do service.
Invoque o service: Assim que o service atender aos seus requisitos de desempenho, comece a invocá-lo. Para obter mais informações, consulte service invocation.