Platform For AI:Teste de estresse de serviço

Parâmetro

Descrição

Service

Selecione o serviço a ser testado e escolha LLM Service.

Service Endpoint

Apenas estas duas interfaces OpenAI são suportadas:

• Completions: conclusão de turno único. A interface de requisição é /v1/completions.

• Chat: conversa multi-turno. A interface de requisição é /v1/chat/completions.

Stress Testing URL

Preenchido automaticamente após a seleção de uma interface de serviço.

Model ID

Obrigatório. ID do modelo no ModelScope ou Hugging Face, usado para carregar o tokenizer correto para contagem de tokens. No ModelScope, o ID do modelo corresponde ao caminho sob o nome do modelo (por exemplo, Qwen/Qwen2.5-7B-Instruct).

Model Name

Opcional. Substitui o ID do modelo no corpo da requisição. Se estiver vazio, o ID do modelo será utilizado.

Data Type

Descrição

Public Dataset

Use o conjunto de dados ShareGPT público para o teste de estresse.

• Dataset: Apenas ShareGPT é suportado.

• Output Length: Controla o comprimento do texto gerado. Se deixado em branco, a saída não será truncada. Configure o comprimento de saída para testar a estabilidade e o desempenho do serviço LLM sob diferentes cargas.

Custom Dataset

Configure um conjunto de dados personalizado conforme seu cenário específico:

• Data Source: Carregue um arquivo de dados personalizado para o teste a partir destas fontes:

  • Single Data Entry: Insira uma única entrada de dados de teste na caixa de texto Single Data. O formato deve ser uma string codificada em Base64.

  • Data Address: Insira o caminho HTTP da fonte de dados de teste na caixa de texto Data Address. Arquivos únicos ou ZIP são suportados. Arquivos ZIP são descompactados automaticamente após o download.

  • OSS Object: Obtenha o arquivo de teste configurando um caminho do Object Storage Service (OSS).

  • Upload Local File: Siga as instruções do console para carregar um arquivo local de teste em um caminho do OSS e obtê-lo a partir do OSS.

• Split File Data by Line: Disponível quando Data Source está definido como Data Address, OSS File ou Upload from Local.

  • Ao ativar esta opção, cada linha do arquivo de teste é usada como uma requisição independente.

  • Quando desativada, todo o conteúdo do arquivo é tratado como uma única requisição.

    Nota

    Para um exemplo de configuração de arquivo de teste, consulte benchmark_demo.json. Cada entrada de dados no arquivo representa uma requisição real de usuário em formato JSON. Recomendamos usar primeiro o recurso online debugging para confirmar se o formato de uma única entrada de dados está correto.

Simulation Data

• Data Generation Mode: Apenas Uniform Distribution é suportado.

• Input Tokens: Faixa de comprimento dos tokens de entrada. Valor mínimo: 10; máximo: 10.000. Padrão: 1.024.

• Output Tokens: Faixa de comprimento dos tokens de saída. Valor mínimo: 10; máximo: 10.000. Padrão: 128.

Modo de Teste

Configurações de Parâmetros

Fixed Concurrency Test

• Concurrency: Simula o número de usuários concorrentes. Faixa de valores: [1, 500].

• Maximum Duration (s): Duração do teste de estresse em segundos. Padrão: 300. Mínimo: 30.

• Number of Request Samples: Não necessário quando o Continuous Test está ativado. Representa o número de requisições enviadas durante o teste. Faixa de valores: [100, 1.000].

Fixed Request Rate Test

Define uma taxa fixa de requisições para testar o desempenho do sistema. Configure os seguintes parâmetros:

• Request Rate: Número de requisições enviadas por segundo.

• Maximum Concurrency: Número de usuários concorrentes a simular.

• Maximum Duration (s): Duração do teste de estresse em segundos. O valor padrão é 300 e o mínimo é 30.

• Number of Request Samples: Não precisa ser definido quando o Continuous Test está ativado. Representa o número de requisições enviadas durante o teste. O valor deve estar na faixa de [100, 1.000].

Extreme Throughput Test

• Maximum Duration (s): Duração do teste de estresse em segundos. O valor padrão é 300 e o mínimo é 30.

• Number of Request Samples: Número de requisições enviadas durante o teste. O valor deve estar na faixa de [100, 1.000].

Parâmetro

Descrição

HTTP Header

Um par chave-valor. Por exemplo:

• Passar informações de autenticação: Authorization: EAS_TOKEN

• Definir o formato de dados do corpo da requisição: Content-Type: application/json

Burstiness

• Valor padrão: 1. Faixa válida: 0,1 a 200, com granularidade de 0,1.

• Controla a distribuição temporal das requisições; válido apenas no modo de taxa de requisição fixa. Padrão 1 (distribuição de Poisson). Outros valores usam distribuição Gamma: menor = mais irregular, maior = mais uniforme.

Random Seed

Valor padrão: 0. Tipo de dado inteiro. Faixa de valores: 0-4.294.967.295 (2**32-1).

Ignore EOS

Ativar Ignore EOS faz com que o modelo ignore o token End-of-Sequence (EOS) ao gerar texto, forçando a geração até atingir o comprimento máximo predefinido.

Parâmetro

Descrição

Basic Information

Service

Nome do serviço a ser testado.

Stress Testing URL

URL de invocação do serviço.

Stress Testing Configurations

Data Source

Configure os dados de teste usando Single Data Entry, Data Address, OSS Object ou Upload Local File.

• Formato dos dados de teste: Depende da definição do modelo e da implementação do processador.

  Nota

  Single Data deve ser uma string codificada em Base64.

  • Para dados não estruturados, como voz, imagens ou texto, carregue diretamente o arquivo como dados de requisição de teste.

  • Para dados estruturados, como TFRequest, construa a requisição usando o SDK do EAS (Model service warm-up) e carregue a saída binária como um arquivo.

• Arquivo de teste de estresse:

  • Arquivos únicos ou ZIP são suportados. Arquivos ZIP são descompactados automaticamente após o download.

  • Tipo de arquivo: Suporta formatos como .txt, .jpg, .bin e .zip, dependendo dos requisitos de negócio do serviço.

Split File Data by Line

Disponível quando Data Source está definido como Data Address, OSS Object ou Upload Local File.

Se ativado, o arquivo de teste carregado é dividido por linha, e cada linha é usada como uma entrada de dados. Caso contrário, todo o conteúdo do arquivo é usado como uma única entrada.

Maximum Duration (s)

Duração do teste de estresse em segundos. Padrão: 300 segundos.

Maximum QPS

QPS máximo permitido (requisições por segundo). Padrão: 10.000.

Maximum Response Time (ms)

Tempo de resposta máximo permitido (RT) em milissegundos. Se esse limiar for excedido, o QPS será ajustado automaticamente até que o RT em tempo real atenda às expectativas.

HTTP Header

Configuração de cabeçalho de requisição em pares chave-valor. Por exemplo:

• Passar informações de autenticação: Authorization: EAS_TOKEN

• Definir o formato de dados do corpo da requisição: Content-Type: application/json

Item

Parâmetro

Obrigatório

Descrição

service

serviceName

Sim

Nome do serviço a ser testado.

data

content

Não

Uma única entrada de dados de requisição de teste como string codificada em Base64.

Para especificar múltiplas entradas de dados de requisição, use o parâmetro path.

path

Não

Caminho da fonte de dados de teste. Configure um caminho HTTP ou OSS. Especifique múltiplos caminhos separados por vírgulas (,). Também é possível compactar vários arquivos de teste em um arquivo .zip para configuração em lote.

multiLine

Não

Especifica se os dados de teste devem ser divididos por linha. É um valor booleano, com padrão false. Se definido como true, os dados baixados serão analisados linha por linha.

http

headers

Não

Configurações de cabeçalho de requisição HTTP. É uma lista. Por exemplo: ["Authorization:aaa", "Content-Type:text"].

timeout

Não

Tempo limite da requisição HTTP em milissegundos. O padrão é 20.000.

optional

mode

Não

Modo de teste de estresse. Três modos são suportados (Stress testing modes):

• auto (padrão): Modo de pressão automática.

• scan: Modo de pressão periódica.

• manual: Modo de pressão manual.

duration

Não

Duração do teste de estresse em segundos. O padrão é 600 e o máximo é 1.200.

agentCount

Não

Número de réplicas de clientes no modo manual. Um número maior de réplicas resulta em maior pressão. O padrão é 1.

concurrency

Não

Requisições concorrentes por instância de cliente no modo manual. Padrão: 2. Aumente primeiro a concorrência; se ainda for insuficiente, aumente o número de agentes.

adjustInterval

Não

Intervalo de ajuste dinâmico para pressão automática no modo scan, em segundos. O padrão é 60.

minQPS

Não

Valor inicial de QPS para pressão automática no modo scan. O padrão é 100.

maxQPS

Não

QPS máximo permitido no modo scan ou auto.

maxRT

Não

RT máximo (TP99) no modo scan ou auto. Se esse limiar for excedido, o QPS será ajustado automaticamente até que o RT em tempo real atenda às expectativas.

qpsGrowthDelta

Não

Quantidade de aumento do QPS a cada vez no modo scan. O padrão é 50.

faultTolerate

Não

Tolerância a erros (códigos de status não-200) no modo scan ou auto. Por exemplo, 0,01 significa que o processo de erro é acionado com 1% de taxa de falha. Padrão: 0,001 (um em mil).

faultAction

Não

Comportamento do controlador VPC de teste quando a taxa de erro de requisição excede o limiar definido por faultTolerate no modo scan ou auto. Os seguintes valores são suportados:

• stop: Mantém o QPS atual e para de aumentar a pressão.

• revise (padrão): Ajusta dinamicamente o QPS até que a taxa de erro de requisição atenda às expectativas.

TTFT (Time To First Token)

Tempo desde o envio de uma requisição até o recebimento do primeiro token gerado.

TPOT (Time per Output Token)

Intervalo de tempo entre dois tokens gerados consecutivamente.

TPS (Tokens Per Second)

Número de tokens gerados por segundo.

Distribuição de requisições por segundo

Requisições recebidas pelo serviço por segundo ao longo do tempo.

Distribuição de tempo de resposta

Distribuição da contagem de respostas dentro do intervalo de tempo selecionado.

Distribuição de tráfego

Volume de dados de requisição e resposta entre cliente e serviço ao longo do tempo.

Distribuição de intervalo de tempo de resposta

Porcentagem de respostas em diferentes intervalos de latência (ms).

Distribuição geral de tempo de resposta

Latência de requisição ponta a ponta em diferentes quantis (ms).

Distribuição de código de status de retorno

Distribuição dos códigos de status HTTP retornados pelo serviço.