Deploy and call a RAG-based LLM chatbot service - : Central de Documentação do Alibaba Cloud

A Geração Aumentada por Recuperação (RAG) aprimora a capacidade de um modelo de linguagem grande (LLM) de responder a perguntas sobre conhecimento privado e específico de domínio. O recurso recupera informações relevantes de uma base de conhecimento externa e as fornece como contexto ao LLM junto com a consulta do usuário. O EAS oferece uma opção de implantação baseada em cenários para criar e implantar rapidamente um chatbot LLM baseado em RAG, permitindo selecionar o modelo de linguagem grande e o banco de dados vetorial preferidos. Este tópico mostra como implantar um serviço de chatbot LLM baseado em RAG e verificar sua inferência.

Importante

Este tópico aplica-se às versões 0.3.4 e 0.3.5 do RAG. Recomendamos o uso da versão mais recente.

Etapa 1: Implantar o serviço RAG

Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).
Na aba Inference Service, clique em Deploy Service. Na seção Scenario-based Model Deployment, clique em RAG-based Smart Dialogue Deployment.
Na página RAG-based LLM Chatbot Deployment, configure os seguintes parâmetros:
- Version: O serviço RAG suporta dois modos de implantação. Selecione o modo adequado ao seu caso de uso e recursos.
  - LLM-Integrated Deployment: Implanta o serviço RAG e um modelo de linguagem grande (como o Qwen) em uma única instância de serviço EAS. Este modo é simples de configurar e ideal para validação rápida e prototipagem.
  - LLM-Separated Deployment: Implanta apenas o serviço RAG, enquanto o modelo de linguagem grande executa como um serviço separado. Esse modo permite conectar o serviço RAG a diferentes serviços de LLM, como outros LLMs implantados no EAS ou serviços do Alibaba Cloud Model Studio. Facilita a reutilização de recursos e o dimensionamento independente, sendo adequado para ambientes de produção ou quando já existe um serviço de LLM.
- Deployment: Aloque recursos de computação apropriados para o serviço.
  - LLM-Integrated Deployment: O sistema recomenda automaticamente uma especificação de recurso com base na Model Category selecionada. Uma especificação inferior à recomendada pode impedir a inicialização do serviço.
  - LLM-Separated Deployment: O serviço RAG consome poucos recursos. Recomendamos uma especificação com pelo menos CPU de 8 núcleos e 16 GB de memória, como ecs.g6.2xlarge ou ecs.g6.4xlarge.
- Configurações do banco de dados vetorial:
  - Vector Database Type: Selecione FAISS para criar um banco de dados vetorial local para testes rápidos. Para ambientes de produção, recomendamos um banco de dados vetorial de nível de produção. Para obter detalhes, consulte Usar um banco de dados vetorial do Alibaba Cloud.
  - OSS Path: Selecione um diretório existente do Object Storage Service (OSS) na região atual para armazenar os arquivos da base de conhecimento carregados. Se não houver caminhos de armazenamento disponíveis, consulte o Guia de início rápido do console para criar um.
    
    Nota
    Ao implantar um serviço com um modelo ajustado fino auto-hospedado, certifique-se de que o caminho de armazenamento OSS selecionado não entre em conflito com o caminho de armazenamento do modelo.
- VPC: Configure o Acesso do EAS a recursos públicos ou privados para garantir a comunicação adequada entre o serviço RAG, o serviço de LLM, o banco de dados vetorial e outros serviços de nuvem.
  - Acessar serviços públicos: Para acessar um banco de dados vetorial, um serviço de LLM (como o Alibaba Cloud Model Studio) ou busca na web pela internet, configure o acesso à rede pública para o serviço EAS.
  - Acessar serviços privados:
    - Para acessar um banco de dados vetorial por um endpoint privado, o serviço RAG e o banco de dados vetorial devem estar na mesma VPC.
    - Para acessar um serviço de LLM por um endpoint privado, o serviço RAG e o serviço de LLM devem estar na mesma VPC.
  Nota
  - Hologres, Elasticsearch e RDS PostgreSQL suportam acesso tanto por redes privadas quanto públicas. Recomendamos o uso de acesso por rede privada.
  - O banco de dados vetorial FAISS não requer acesso à rede. O OpenSearch suporta acesso apenas pela rede pública.

Após configurar os parâmetros, clique em Deploy. A implantação será concluída com sucesso quando o Service Status mudar para Running. O processo geralmente leva cerca de 5 minutos, mas a duração pode variar dependendo do tamanho do modelo e de outros fatores.

Etapa 2: Chamar a API

O serviço RAG fornece APIs para tarefas como gerenciamento de base de conhecimento e conversação, permitindo fácil integração em suas aplicações. Para obter detalhes, consulte a Referência da API RAG.

Custos e riscos

Componentes de custo

Os custos desta solução incluem principalmente:

Taxas de recursos do EAS: Os recursos de computação (como vCPUs, memória e GPUs) consumidos pelo serviço RAG são faturados por hora. O faturamento desses recursos cessa após você parar o serviço.
Taxas de banco de dados vetorial: Se usar Elasticsearch, Hologres, OpenSearch ou RDS PostgreSQL, serão cobradas taxas de instância dos produtos correspondentes.
Taxas do Object Storage Service (OSS): Estas taxas referem-se ao armazenamento dos arquivos originais da base de conhecimento.
Taxas de chamada de modelo de linguagem grande: Se usar serviços de modelos comerciais, como o Alibaba Cloud Model Studio, aplicam-se taxas de chamada de API.
Taxas de NAT Gateway de Internet: Se um serviço EAS precisar acessar a internet, haverá cobrança de taxas de NAT Gateway.
Taxas de serviço de busca na web: Se ativar o recurso de busca na web (como Bing ), haverá cobrança de taxas pelos serviços de busca correspondentes.

Importante

Parar um serviço EAS interrompe apenas o faturamento dos recursos do EAS. Para interromper o faturamento de outros produtos, consulte a documentação desses produtos e siga as instruções para parar ou excluir as instâncias relevantes.

Principais riscos e limitações

Limite de comprimento da conversa: A quantidade de texto processada em uma única conversa é limitada pelo tamanho da janela de contexto (limite de tokens) do serviço de LLM selecionado.
Substituição de arquivos: Ao usar um banco de dados vetorial diferente do FAISS, carregar um arquivo com o mesmo nome substitui os dados existentes. Proceda com cautela.
Limitações de parâmetros da API: Apenas um subconjunto de parâmetros de recursos pode ser configurado por meio de chamadas de API. Outras configurações avançadas, como a maioria dos parâmetros de ajuste de recuperação, devem ser definidas na WebUI.

Notas de uso

Esta solução é limitada pelo tamanho dos recursos do servidor e pelo limite padrão de tokens do serviço de LLM, o que restringe o comprimento da conversa. Seu objetivo é ajudar você a experimentar as funções básicas de recuperação do chatbot LLM baseado em RAG.

Perguntas frequentes

Parâmetros de API ineficazes

Atualmente, o serviço PAI-RAG suporta apenas a configuração dos parâmetros listados no documento de referência da API por meio da API. Outros parâmetros devem ser configurados na WebUI.