Alibaba Cloud Model Studio:Inferência em lote

Etapa 1: Preparar o arquivo de entrada

Antes de criar uma tarefa, prepare um arquivo JSONL que atenda aos seguintes requisitos:

• Formato: JSONL codificado em UTF-8 (um objeto JSON por linha).

• Limites de escala: até 50.000 solicitações por arquivo e tamanho máximo de 500 MB.

  Se seu conjunto de dados exceder esses limites, divida-o em vários arquivos e envie-os como tarefas separadas.

• Limite por linha: cada objeto JSON pode ter até 6 MB e não deve exceder a janela de contexto do modelo.

• Consistência: todas as solicitações no mesmo arquivo devem usar o mesmo modelo .

• Identificador exclusivo: cada solicitação deve incluir um campo custom_id exclusivo no arquivo para correspondência de resultados. O custom_id suporta no máximo 256 caracteres. Se esse limite for excedido, a validação da tarefa falhará. Para retornar um identificador mais longo, use um campo personalizado no parâmetro metadata ao criar a tarefa. Para obter mais informações, consulte Usar metadados para retornar identificadores personalizados.

Cada objeto JSON deve seguir o seguinte esquema:

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

{"custom_id":"request-1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":false,"messages":[{"role":"user","content":"Hello"}]}}

{"custom_id":"request-2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":true,"thinking_budget":50,"messages":[{"role":"user","content":"Please analyze the following question"}]}}

Etapa 2: Crie uma tarefa de inferência em lote

1. Acesse a página Batch Inference, clique em Create Batch.

2. Na caixa de diálogo exibida, insira um Task Name e uma Description, defina o Maximum Waiting Time (de 1 a 14 dias) e faça upload do arquivo JSONL.

   Clique em Download Sample File para obter o modelo.

   

3. Ao terminar, clique em Confirm.

Etapa 3: Monitorar e gerencie tarefas

• Visualize:

  • Na página de lista de tarefas, visualize o progresso da tarefa (solicitações processadas/total de solicitações) e o Status.

  • Pesquise pelo nome ou ID da tarefa ou filtre por workspace para localizar rapidamente uma tarefa específica.

• Gerencie:

  • Cancelar: cancele tarefas no estado Executing na coluna Actions.

  • Solucionar problemas: para uma tarefa com falha, passe o mouse sobre o status para visualizar um resumo do erro ou baixe o arquivo de erros para obter detalhes.

Etapa 4: Baixe resultados

Quando a tarefa for concluída, clique em View Results para baixar o arquivo de saída:

• Arquivo de resultados: registra todas as solicitações bem-sucedidas e seus resultados de response.

• Arquivo de erros (se houver): registra todas as solicitações com falha e seus detalhes de error.

Ambos os arquivos contêm um campo custom_id, usado para corresponder aos dados de entrada originais, associar resultados ou localizar erros.

Etapa 5: Visualize estatísticas de uso (opcional)

Acesse a página Model Monitoring, filtre e visualize as estatísticas de uso para inferência em lote.

Campos de metadados

O parâmetro metadata é opcional na criação de uma tarefa em lote. Ele suporta os seguintes campos:

• ds_name: nome da tarefa. Este nome aparece na coluna Task Name no console.

• ds_description: descrição da tarefa. Esta descrição aparece na coluna Task Description no console.

• Campos personalizados: além dos campos oficiais, o objeto metadata também aceita quaisquer campos personalizados, e seus valores não estão limitados a 256 caracteres. Ao consultar os detalhes da tarefa, todos os campos personalizados são retornados integralmente.

Exemplo de código

O exemplo a seguir mostra como usar um campo personalizado em metadata para retornar um identificador com mais de 256 caracteres:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

batch = client.batches.create(
    input_file_id="file-batch-xxxxxxxxxxxxxxxxxxxx",
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "ds_name": "my_batch_task",
        "ds_description": "A description for my batch inference task",
        "my_custom_field": "The value of this field can exceed 256 characters and is used to pass back longer identifier information..."
    }
)
print(batch)

Após criar uma tarefa com êxito, chame a operação GET /v1/batches/{batch_id} para recuperar as informações completas de metadata, que incluem todos os campos personalizados e seu conteúdo completo.

Em ambiente de produção, use a API compatível com OpenAI para automatizar a criação e o gerenciamento de tarefas em lote. O fluxo de trabalho principal é o seguinte:

1. Fazer upload de um arquivo

   Chame POST /v1/files para fazer upload de um arquivo. Registre o ID do arquivo retornado.

2. Para criar uma tarefa, informe o ID do arquivo , chame POST /v1/batches e registre o batch_id retornado.

3. Consultar status usando o batch_id para consultar GET /v1/batches/{batch_id}. Quando o status mudar para completed, registre o output_file_id e interrompa a consulta.

4. Para baixar o arquivo de resultados, use o output_file_id para chamar GET /v1/files/{output_file_id}/content.

• Preços: para todas as solicitações bem-sucedidas, os tokens de entrada e saída custam 50% do preço de inferência em tempo real do modelo correspondente. Para obter detalhes, consulte Modelos e preços.

• Escopo de faturamento:

  • A cobrança ocorre apenas para solicitações executadas com êxito em uma tarefa.

  • Falhas na análise de arquivos, na execução de tarefas ou erros de solicitação no nível da linha não geram cobranças.

  • Para tarefas canceladas, quaisquer solicitações concluídas com êxito antes do cancelamento são cobradas normalmente.