Alibaba Cloud Model Studio:Otimização de desempenho de RAG

2,2,1 Fragmentação inteligente

Escolher o comprimento ideal do trecho de texto para sua base de conhecimento pode ser desafiador porque depende de múltiplos fatores, como:

• Tipo de documento: Para literatura profissional, trechos mais longos geralmente ajudam a reter mais contexto. Para postagens em redes sociais, trechos mais curtos podem capturar a semântica com mais precisão.

• Complexidade do prompt: Geralmente, se o prompt de um usuário for complexo e específico, trechos mais longos podem ser necessários. Caso contrário, trechos mais curtos podem ser mais apropriados.

Essas conclusões não se aplicam necessariamente a todas as situações. Escolha as ferramentas certas e experimente repetidamente para encontrar o comprimento correto do trecho de texto. Por exemplo, o LlamaIndex fornece funções de avaliação para diferentes métodos de fragmentação. No entanto, esse processo pode ser complexo e demorado.

Para uma solução rápida e eficaz, defina Document Chunking como Intelligent Splitting ao criar uma base de conhecimento.

Quando essa estratégia é aplicada, a base de conhecimento:

1. Primeiro usa delimitadores de frases integrados para dividir o documento em parágrafos.

2. Com base nos parágrafos divididos, seleciona adaptativamente limites de fragmentação com base na relevância semântica (fragmentação semântica), em vez de usar um comprimento fixo.

Esse processo garante a integridade semântica de cada parte do documento e evita divisões desnecessárias. Essa estratégia aplica-se a todos os documentos nesta base de conhecimento, incluindo documentos importados posteriormente.

2,2,2 Corrija o conteúdo do trecho

Naturalmente, durante o processo real de fragmentação, divisões inesperadas ou outros problemas ainda podem ocorrer (por exemplo, spaces no texto às vezes são analisados como %20 após a fragmentação).

Portanto, o Model Studio recomenda verificar manualmente o conteúdo do trecho quanto à integridade semântica e correção após importar um documento. Se encontrar trechos inesperados ou outros erros de análise, edite os trechos de texto diretamente para corrigi-los. Após salvar, o conteúdo original do trecho de texto torna-se inválido, e o novo conteúdo é usado para recuperação na base de conhecimento.

Observe que esta ação modifica apenas os trechos de texto na base de conhecimento, não o documento original ou tabela de dados no seu gerenciamento de dados (armazenamento temporário). Portanto, se reimportar o documento, deverá realizar a verificação e correção manual novamente.

2,3,1 Reescrita de conversas com múltiplas turnos

Em uma conversa com múltiplas turnos, um usuário pode fazer uma pergunta com um prompt curto, como "Model Studio Phone X1". Isso pode fazer com que o sistema RAG não tenha o contexto necessário durante a recuperação pelos seguintes motivos:

• Um produto telefônico frequentemente tem várias gerações à venda ao mesmo tempo.

• Para a mesma geração de um produto, o fabricante geralmente oferece várias opções de armazenamento, como 128 GB e 256 GB.

  ...

Essas informações essenciais podem ter sido fornecidas em turnos de conversa anteriores. Usá-las efetivamente ajuda o RAG a recuperar informações mais precisas.

Para resolver isso, use o recurso Multi-round Conversation Rewriting no Model Studio. O sistema reescreve automaticamente o prompt do usuário em uma forma mais completa com base no histórico de conversas.

Por exemplo, o usuário pergunta:

Model Studio Phone X1.

Com a reescrita de conversas com múltiplas turnos ativada, o sistema reescreve o prompt do usuário com base no histórico de conversas antes da recuperação (apenas exemplo):

Provide all available versions of Model Studio Phone X1 in the product library and their specific parameters.

Esse prompt reescrito ajuda o RAG a entender melhor a intenção do usuário e fornecer uma resposta mais precisa.

A figura a seguir mostra como ativar o recurso de reescrita de conversas com múltiplas turnos. Esse recurso também é ativado quando você seleciona a Recommended Configuration.

Observe que o recurso de reescrita de conversas com múltiplas turnos está vinculado à base de conhecimento. Uma vez ativado, aplica-se apenas a consultas relacionadas à base de conhecimento atual. Essa configuração não pode ser alterada posteriormente; recrie a base de conhecimento para ativá-la.

2,3,2 Filtragem por tags

Esta seção aplica-se apenas a bases de conhecimento de busca de documentos .

Ao usar um aplicativo de música, filtre músicas por artista para encontrar rapidamente todas as músicas desse artista.

Da mesma forma, adicionar tags aos seus documentos não estruturados introduz informações estruturadas adicionais. Ao recuperar da base de conhecimento, a aplicação pode primeiro filtrar documentos com base em tags, o que melhora a precisão e a eficiência da recuperação.

O Model Studio suporta os dois métodos a seguir para definir tags:

• Defina tags ao carregar documentos: Para etapas do console, consulte Importar dados.

• Edite tags na página Data Management: Para documentos carregados, clique em Tag à direita do documento para editar suas tags .

  

O Model Studio suporta os dois métodos a seguir para usar tags:

• Ao chamar uma aplicação do Model Studio usando uma API, especifique tags no parâmetro de solicitação tags.

• Defina tags ao editar uma aplicação no console. No entanto, este método é aplicável apenas a aplicações de agente.

  Observe que esta configuração aplica-se a todas as perguntas e respostas subsequentes do usuário para esta aplicação de agente.

  

2,3,3 Extração de metadados

Esta seção aplica-se apenas a bases de conhecimento de busca de documentos .

Incorporar metadados em trechos de texto pode aprimorar efetivamente o contexto de cada trecho. Em cenários específicos, esse método pode melhorar significativamente o desempenho do RAG de bases de conhecimento de busca de documentos .

Considere o seguinte cenário:

Uma base de conhecimento contém muitos manuais de produtos telefônicos. Os nomes dos documentos são os modelos dos telefones (como Model Studio X1 e Model Studio Zephyr Z9), e todos os documentos incluem um capítulo "Visão Geral dos Recursos".

Se os metadados não estiverem ativados para esta base de conhecimento, um usuário pode inserir o seguinte prompt para recuperação:

Feature overview of Model Studio Phone X1.

Um teste de recuperação revela os trechos recuperados. Como todos os documentos contêm "Visão Geral dos Recursos", a base de conhecimento recupera alguns trechos de texto que não estão relacionados à entidade da consulta (Model Studio Phone X1), mas são semelhantes ao prompt, como Trecho 1 e Trecho 2 na figura. Suas classificações são até mais altas do que a do trecho de texto necessário, o que impacta negativamente o desempenho do RAG.

Os resultados do teste de recuperação garantem a classificação, mas a pontuação absoluta de similaridade serve apenas como referência. Quando a diferença nos valores absolutos é pequena (dentro de 5%), a probabilidade de recall pode ser considerada a mesma.

Em seguida, defina o nome do telefone como metadado seguindo as etapas em extração de metadados. Isso anexa as informações correspondentes do nome do telefone aos trechos de texto de cada documento. Depois, execute o mesmo teste para comparação.

Neste ponto, a base de conhecimento adiciona uma camada de busca estruturada antes da busca vetorial. O processo completo é o seguinte:

1. Extrair metadados {"key": "name", "value": "Model Studio Phone X1"} do prompt.

2. Com base nos metadados extraídos, encontrar todos os trechos de texto que contenham o metadado "Model Studio Phone X1".

3. Em seguida, realizar uma busca vetorial (semântica) para encontrar os trechos de texto mais relevantes.

Após ativar os metadados, a base de conhecimento agora consegue encontrar com precisão o trecho de texto relacionado ao "Model Studio Phone X1" e que contém "Visão Geral dos Recursos".

Outra aplicação comum de metadados é incorporar informações de data em trechos de texto para filtrar conteúdo recente. Consulte extração de metadados.

2,3,4 Limiar de similaridade

Quando a base de conhecimento encontra trechos de texto relacionados ao prompt do usuário, ela primeiro os envia para o modelo Rank (configurado em Custom parameter settings ao criar a base de conhecimento) para reordenação. O limiar de similaridade é então usado para filtrar os trechos de texto reordenados. Apenas trechos de texto com pontuação de similaridade que exceda esse limiar podem ser fornecidos ao modelo.

Reduzir esse limiar pode recuperar mais trechos de texto, mas também pode causar a recuperação de alguns trechos menos relevantes. Aumentar esse limiar pode reduzir o número de trechos de texto recuperados.

Se o limiar for definido muito alto, pode fazer com que a base de conhecimento descarte todos os trechos de texto relevantes. Isso limita a capacidade do modelo de obter informações contextuais suficientes para gerar uma resposta.

O limiar ideal depende do seu cenário. Experimente diferentes limiares de similaridade por meio de testes de recuperação, observe os resultados de recall e encontre a solução que melhor atenda às suas necessidades.

2,3,5 Número de trechos recuperados

O número de trechos recuperados é o valor K na estratégia de recall multicanal. Após a filtragem pelo limiar de similaridade, se o número de trechos de texto exceder K, o sistema seleciona os K trechos de texto com as maiores pontuações de similaridade para fornecer ao modelo. Devido a isso, um valor K inadequado pode fazer com que o RAG perca trechos de texto corretos, o que afeta a capacidade do modelo de gerar uma resposta completa.

Por exemplo, um usuário recupera informações com o seguinte prompt:

What are the advantages of the Model Studio X1 phone?

Existem 7 trechos de texto na base de conhecimento alvo que são relevantes para o prompt do usuário e devem ser retornados (marcados em verde à esquerda). No entanto, como esse número excede o número máximo de trechos recuperados atualmente definido (K), os trechos de texto contendo a vantagem 5 (standby ultra-longo) e a vantagem 6 (fotos nítidas) são descartados e não fornecidos ao modelo.

Como o RAG não consegue determinar quantos trechos de texto são necessários para fornecer uma resposta "completa", o modelo gerará uma resposta com base nos trechos fornecidos, mesmo que estejam incompletos.

Muitos experimentos mostram que, em cenários como "Liste...", "Resuma..." e "Compare X e Y...", fornecer mais trechos de texto de alta qualidade (por exemplo, K=20) ao modelo é mais eficaz do que fornecer apenas os 10 ou 5 principais. Embora isso possa introduzir ruído, se a qualidade do trecho de texto for alta, um modelo capaz geralmente consegue lidar com isso.

Ajuste o Number of Recalled Chunks ao editar uma aplicação no Model Studio.

No entanto, um número maior de trechos recuperados nem sempre é melhor. Às vezes, após os trechos de texto recuperados serem montados, seu comprimento total pode exceder o limite de comprimento de entrada do modelo, causando truncamento e afetando negativamente o desempenho do RAG.

Selecione Intelligent Assembly. Essa estratégia recupera o máximo possível de trechos de texto relevantes sem exceder o comprimento máximo de entrada do modelo.

Método 1: Restrinja o conteúdo de saída

Forneça informações contextuais, instruções e o formato de saída esperado no modelo de prompt para instruir o modelo. Por exemplo, adicione a seguinte instrução de saída:

If the information provided is not sufficient to answer the question, state clearly, "Based on the existing information, I cannot answer this question." Do not invent an answer.

Isso reduz a probabilidade de alucinações do modelo.

Método 2: Adicione exemplos

Use o método few-shot prompting para adicionar exemplos de perguntas e respostas ao prompt para o modelo imitar. Isso orienta o modelo a usar corretamente o conhecimento recuperado. O exemplo a seguir usa Qwen-Plus.

# Requirement
Please extract the technical specifications from the text below and display them in JSON format.
${documents}

# Requirement
Please extract the technical specifications from the text below and display them in JSON format. Please strictly follow the fields given in the example.
${documents}

# Example
## Input: Stardust S9 Pro, a groundbreaking 6.9-inch 1440 x 3088 pixel under-display camera design, brings a boundless visual experience. The top configuration of 512 GB storage and 16 GB RAM, combined with a 6000 mAh battery and 100 W fast charging technology, allows performance and battery life to go hand in hand, leading the technological trend. Reference price: 5999 - 6499.
## Output: { "product":"Stardust S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

Método 3: Adicione delimitadores de conteúdo

Se trechos de texto recuperados forem misturados aleatoriamente em um modelo de prompt, é difícil para um modelo grande entender a estrutura geral do prompt. Separe claramente o prompt da variável ${documents}.

Além disso, para garantir os melhores resultados, certifique-se de que a variável ${documents} apareça apenas uma vez no seu modelo de prompt. Para referência, veja o exemplo correto à esquerda abaixo.

# Role
You are a customer service representative, focusing on analyzing and solving user problems and providing accurate solutions by retrieving from the knowledge base.

# Requirements
**Return the result directly**: Please provide a direct result based on the user's prompt and the content in the knowledge base, without
inference.
**Do not include specific contact information in the returned result**: The returned result should only include a summary of the user's prompt, the
names of relevant on-duty personnel, and their responsibilities.
**Default contact**: If no relevant on-duty personnel can be found, please return "On-duty representative today: Model Studio Customer Service 01".

# Knowledge base
Please remember the following materials, they may be helpful in answering the question.
${documents}

# Role
You are a customer service representative, focusing on analyzing and solving user problems and providing accurate solutions by retrieving from the knowledge base.
Please use the information in ${documents} to assist in answering.

# Requirements
**Return the result directly**: Please provide a direct result based on the user's prompt and the content in the knowledge base, without
inference.
**Do not include specific contact information in the returned result**: The returned result should only include a summary of the user's prompt, the
names of relevant on-duty personnel, and their responsibilities.
**Default contact**: If no relevant on-duty personnel can be found, please return "On-duty representative today: Model Studio Customer Service 01".

# Knowledge base
Please remember the following materials, they may be helpful in answering the question.
${documents}

# Judgment rules:
- The premise for a match between the question and the document is that the entity involved in the question is exactly the same as the entity described in the document.
- The question is not mentioned at all in the document.