A Geração Aumentada por Recuperação (RAG) conecta modelos grandes de linguagem (LLMs) a bases de conhecimento privadas, melhorando a precisão das respostas com dados específicos do domínio. Este guia orienta o desenvolvimento e a implantação de uma aplicação RAG no LangStudio.
Contexto
Os modelos RAG combinam recuperação de informações com IA generativa para fornecer respostas mais precisas e contextualmente relevantes. Em setores como finanças e saúde, onde informações corretas fundamentam decisões críticas, os modelos generativos tradicionais podem não ter o conhecimento específico necessário. O RAG preenche essa lacuna ao conectar os modelos a bases de conhecimento externas. Este tópico apresenta uma solução RAG para finanças e saúde desenvolvida no Platform for AI (PAI).
Pré-requisitos
-
O LangStudio oferece suporte aos bancos de dados vetoriais Faiss e Milvus. Para usar o Milvus, crie previamente uma instância desse serviço .
NotaO Faiss é adequado para ambientes de teste e não exige configuração adicional de banco de dados. Para produção, utilize o Milvus, que oferece suporte a dados em maior escala.
-
Faça o upload do corpus da sua base de conhecimento RAG para o OSS. Consulte uploaded to OSS. Os seguintes exemplos de corpus estão disponíveis para os casos de uso de finanças e saúde:
Financial News: Dados em formato PDF contendo reportagens de sites públicos de notícias.
Disease Introductions: Dados em formato CSV com informações sobre doenças obtidas na Wikipedia.
1. (Opcional) Implante modelos LLM e de embedding
Um fluxo de aplicação RAG requer um service de LLM e um service de modelo de embedding. Implante os services necessários a partir da Model Gallery conforme descrito abaixo ou pule esta etapa caso já possua services de modelo compatíveis com a API da OpenAI.
Acesse QuickStart > Model Gallery e implante modelos para os dois cenários a seguir. Para obter detalhes, consulte Model deployment and training.
Selecione um modelo grande de linguagem ajustado por instruções. Modelos base não conseguem seguir instruções do usuário de forma confiável.
No campo Scenario, selecione Large Language Models e implante o DeepSeek-R1-Distill-Qwen-7B.
No campo Scenario, escolha embedding e implante o bge-m3 general vector model.
2. Crie conexões
As conexões dos modelos LLM e de embedding nesta seção utilizam services EAS implantados a partir de QuickStart > Model Gallery. Para outros tipos de conexão, consulte Configure connections.
2,1 Crie uma conexão de service LLM
No LangStudio, selecione um workspace, acesse a aba Configure Service Connection > Model Service e clique em New Connection para criar uma conexão genérica de service de modelo LLM.
Principais parâmetros:
Parâmetro | Descrição |
Nome do modelo | Se você implantou o modelo pela Model Gallery, localize o nome na página de detalhes clicando no cartão do modelo na página da Model Gallery. Para mais informações, consulte Create a connection - Model Service. |
Provedor de service |
|
2,2 Crie uma conexão de service de modelo de embedding
Crie uma conexão genérica de service de modelo de embedding seguindo o mesmo procedimento descrito em Step 2,1.
Na página New Connection, defina o tipo de conexão como General Embedding Model Service e selecione a aba PAI-EAS Model Service como provedor de service. Em seguida, configure os seguintes parâmetros:
EAS Service: selecione a instância do service de modelo de embedding EAS implantada.
Nome do modelo: insira
default.base_url: o endpoint do service EAS.api_key: a chave de API do service EAS.
2,3 Crie uma conexão de banco de dados vetorial
Na aba Configure Service Connection > Database, clique em New Connection para estabelecer uma conexão com o banco de dados Milvus.
Principais parâmetros:
|
Parâmetro |
Descrição |
|
uri |
O endpoint da instância Milvus no formato Obtenha o endpoint interno na página de detalhes da sua instância Milvus no console Alibaba Cloud. |
|
token |
O nome de usuário e a senha da instância Milvus: |
|
database |
O nome do banco de dados. Este tópico utiliza o banco de dados padrão |
3. Crie um índice de base de conhecimento
Crie um índice de base de conhecimento. O LangStudio analisa o corpus, divide-o em partes, vetoriza os dados e armazena os resultados no banco de dados vetorial. A tabela a seguir descreve os principais parâmetros. Para outras configurações, consulte Manage knowledge bases.
Parâmetro | Descrição |
Configurações básicas | |
Caminho OSS da fonte de dados | Defina este parâmetro com o caminho OSS do corpus da base de conhecimento RAG descrito em Prerequisites. |
Caminho OSS de saída | Especifique um caminho para armazenar resultados intermediários e metadados de índice gerados durante a análise de documentos. Importante Ao utilizar o Faiss como banco de dados vetorial, o fluxo da aplicação salva os arquivos de índice gerados no OSS. Por padrão, se você usar a função PAI padrão (a Instance RAM Role definida ao start the runtime), o fluxo terá acesso ao bucket de armazenamento padrão do seu workspace. Portanto, recomendamos definir este parâmetro como um diretório no bucket OSS que contém o workspace's default storage path atual. Caso utilize uma função personalizada, conceda permissões de acesso ao OSS. Recomendamos a permissão AliyunOSSFullAccess. Para mais informações, consulte Manage permissions for a RAM role. |
Modelo de embedding e banco de dados | |
Tipo de embedding | Selecione General Embedding Model. |
Conexão de embedding | Escolha a conexão do service de modelo de embedding criada em Step 2,2. |
Tipo de banco de dados vetorial | Selecione Vector database Milvus. |
Conexão do banco de dados vetorial | Escolha a conexão do banco de dados Milvus criada em Step 2,3. |
Nome da tabela | Defina este parâmetro com o nome da Collection criada no seu banco de dados Milvus, conforme descrito em Prerequisites. |
Configuração de VPC | |
Configuração de VPC | Selecione uma VPC igual à da instância Milvus ou que possa se comunicar com ela. |
4. Crie e execute um fluxo de aplicação RAG
Acesse o LangStudio, selecione um workspace e, na aba Application Flow, clique em New Application Flow para criar um fluxo de aplicação RAG.
-
Inicie o runtime. No canto superior direito, clique em Create Runtime e configure os parâmetros. Observação: O runtime precisa estar em execução antes que você possa analisar nós Python ou acessar ferramentas adicionais.
Parâmetro principal:
Configuração de VPC: Selecione a VPC usada para criar a instância Milvus em Prerequisites ou garanta que a VPC escolhida consiga se comunicar com a VPC da instância Milvus.
-
Desenvolva o fluxo da aplicação.
Mantenha as configurações padrão dos demais nós ou ajuste-as conforme necessário. Configure os nós principais da seguinte forma:
-
Knowledge Retrieval: Recupera textos da base de conhecimento relevantes para a pergunta do usuário.
Nome do índice da base de conhecimento: Selecione o índice criado em Step 3.
Top K: Retorna os K melhores resultados correspondentes.
-
Nó LLM: Utiliza os documentos recuperados como contexto, envia-os ao modelo grande de linguagem junto com a pergunta do usuário e gera uma resposta.
Configuração do modelo: Selecione a conexão criada em Step 2,1.
Histórico de chat: Define se o histórico de conversas será ativado e usado como variáveis de entrada.
Para detalhes sobre cada componente, consulte Pre-built Component Library.
-
Depure ou execute o fluxo. No canto superior direito, clique em Run para executar o fluxo. Para informações sobre problemas comuns de execução, consulte FAQ.
Visualize os rastreamentos. Abaixo da resposta gerada, clique em View Traces para ver os detalhes do rastreamento ou a topologia.
5. Implante o fluxo da aplicação
Na página de desenvolvimento do fluxo da aplicação, clique em Deploy no canto superior direito para implantar o fluxo como um service EAS. Mantenha as demais configurações de implantação como padrão ou ajuste-as conforme necessário. Configure os seguintes parâmetros principais:
Resource deployment > Instances: Configure o número de instâncias do service. Esta implantação destina-se a testes, portanto defina o número de instâncias como 1. Para produção, recomendamos o uso de múltiplas instâncias de service para mitigar o risco de ponto único de falha (SPOF).
VPC > VPC: Selecione a VPC onde a instância Milvus está localizada ou garanta que a VPC escolhida possa se comunicar com a VPC da instância Milvus.
Para mais detalhes sobre a implantação, consulte Deploy an application flow.
6. Chame o service
Após a implantação, você será redirecionado ao console PAI-EAS. Na aba Debug, configure e envie uma requisição. A chave no corpo da requisição deve corresponder ao parâmetro "Dialogue input" no nó "Start" do fluxo da aplicação. Este guia utiliza o campo padrão question.
Na área de configuração da requisição, selecione o método POST e insira o corpo da requisição como JSON bruto, por exemplo:
{"question": "What is the share price of NVIDIA"}
Clique em Send Request. A área Response à direita retorna o código de status 200 juntamente com uma resposta JSON contendo as informações sobre o preço das ações recuperadas por meio do índice da base de conhecimento.
Para outros métodos de chamada do service, como o uso de uma API, consulte Call the service.