O Alibaba Cloud OpenSearch LLM-based Conversational Search oferece recursos integrados de análise de dados, fragmentação, vetorização, busca textual e vetorial, além de capacidades multimodais de LLM. Este tutorial demonstra como integrá-lo ao Dify, uma plataforma de aplicações LLM de código aberto, para construir um sistema de Geração Aumentada por Recuperação (RAG).
Com a evolução da tecnologia de Conteúdo Gerado por Inteligência Artificial (AIGC), os Modelos de Linguagem Grandes (LLMs), frameworks de agentes e a orquestração de fluxos de trabalho viabilizam diversos serviços de aplicação. A Geração Aumentada por Recuperação (RAG) tornou-se um componente essencial para bases de conhecimento corporativas, atendimento ao cliente inteligente e assistentes de e-commerce. Plataformas de desenvolvimento como o Alibaba Cloud Model Studio (Bailian) e o Dify ajudam desenvolvedores a criar rapidamente aplicações de negócios com RAG integrado.
No entanto, a precisão do RAG depende fortemente do desempenho da busca. As plataformas de desenvolvimento de aplicações frequentemente enfrentam os seguintes desafios:
Baixa usabilidade: Muitas plataformas restringem o formato, a quantidade e o tamanho dos documentos da base de conhecimento. Isso obriga os desenvolvedores a executar pré-processamentos complexos de dados ou impede o atendimento às demandas reais.
Controle limitado: A maioria das plataformas funciona como uma caixa preta. Essa característica dificulta a personalização, o ajuste fino ou a extensão do pipeline principal, resultando frequentemente em baixo desempenho de ponta a ponta.
Capacidades empresariais insuficientes: Diversas plataformas não oferecem isolamento de permissões de nível empresarial nem importação ou atualização rápida de dados, o que dificulta sua adoção em produção.
Para resolver esses desafios, utilize o Alibaba Cloud OpenSearch LLM-based Conversational Search como seu sistema RAG e integre-o ao seu fluxo de trabalho para criar aplicações de nível empresarial. O OpenSearch suporta integração com modelos do Model Studio, ampliando suas opções de LLMs para um desempenho RAG personalizado. Para mais informações, consulte LLM Management.
O OpenSearch oferece diversos mecanismos de invocação e autenticação para integração flexível com plataformas como Model Studio e Dify. A seção a seguir usa o Dify como exemplo para demonstrar as melhores práticas de integração com uma plataforma de aplicações de código aberto.
Arquitetura
Os desenvolvedores importam a base de conhecimento para o OpenSearch. Um fluxo de trabalho processa a consulta do usuário e a envia ao sistema RAG do OpenSearch, que retorna uma resposta conversacional com links e imagens de referência. Em seguida, os desenvolvedores podem processar esses resultados em um fluxo de trabalho conforme os requisitos de negócio antes de entregar a resposta final ao usuário.
Construir um sistema RAG no OpenSearch
Etapa 1: Crie o sistema RAG
O Alibaba Cloud OpenSearch LLM-based Conversational Search é um product RAG completo que permite criar um sistema RAG em minutos. Selecione modelos, personalize prompts e ajuste o desempenho diretamente no console. Nos detalhes da instância, acesse Configuration Center->Data Configuration para configure sua base de conhecimento corporativa.
Na página Data Configuration, clique em File Import ou Web Link Import para importar os dados da sua base de conhecimento corporativa. O recurso de importação de arquivos aceita dados não estruturados nos formatos doc, docx, pdf, html, txt, ppt e pptx, além de dados estruturados em JSON ou Excel (codificação UTF-8, com tamanho máximo de arquivo de 128 MB). Após selecionar um arquivo, clique em Upload File para concluir a importação.
Para mais informações, consulte Build an enterprise knowledge base Q&A system by using the console.
Etapa 2: Criar e obter uma chave de API
Crie e obtenha o nome de domínio público da API e a chave de API. Armazene-os com segurança para uso no fluxo de requisições HTTP.
Crie uma aplicação de negócios no Dify
Etapa 1: Crie um fluxo de trabalho
Na página Studio do Dify, clique em Create Blank App. Na caixa de diálogo Create Blank App, selecione Chat Assistant como tipo de aplicativo e Workflow Orchestration como método de orquestração. Defina um nome e uma descrição para sua aplicação e clique em Create.
Start: Obtém a entrada do usuário.
Alibaba Cloud OpenSearch LLM-based Conversational Search (requisição HTTP): Envia a entrada do usuário para o OpenSearch e retorna a saída do sistema RAG.
Parse Output (Execução de Código): Analisa a saída do sistema RAG.
Return Answer: Retorna o resultado final ao usuário.
Etapa 2: Configure os nós
Acessar o sistema RAG via HTTP
Defina Method como POST. Um exemplo do conteúdo json para o BODY é {"question":{"text":"@ Start {x} sys.query "}}, onde a pergunta do usuário é passada pela variável de fluxo de trabalho sys.query. Para autenticação por chave de API:
Tipo de autenticação: Chave de API
Tipo de autenticação da API: Bearer
Chave de API: A chave de API obtida no Alibaba Cloud OpenSearch LLM-based Conversational Search.
URL: O nome de domínio público da API obtido no Alibaba Cloud OpenSearch LLM-based Conversational Search + o caminho da API do OpenSearch (exemplo: v3/openapi/apps/[app_name]/actions/knowledge-search)
BODY: Selecione json. Para o conteúdo completo da requisição e parâmetros, consulte Text Q&A.
Analisar a saída
A resposta da API do OpenSearch está no formato json e inclui a resposta conversacional, links de referência e imagens de referência. Utilize a Execução de Código para analisar a resposta e extrair as informações necessárias.
Código de exemplo para extrair apenas a resposta:
def main(body: str) -> str:
import json
dat = json.loads(body)
return {
'result': [ans['answer'] for ans in dat['result']['data']][0]
}
Visualização
Expanda essa base com fluxos de trabalho adicionais para criar aplicações de negócios mais ricas. Por exemplo, o assistente conversacional inteligente abaixo foi construído sobre o OpenSearch e o modelo Qwen.
Primeiro, o sistema classifica a intenção do usuário em problemas pós-venda, dúvidas de uso do product e conversas casuais. Para problemas pós-venda e dúvidas de uso, ele consulta a base de conhecimento correspondente no OpenSearch e utiliza o sistema RAG para gerar respostas. Para conversas casuais, chama o modelo Qwen para interagir com o usuário e responder a perguntas gerais.
Além do product RAG completo, utilize o Alibaba Cloud AI Search Development Workbench. Ele fornece capacidades atômicas como análise de documentos, vetorização, busca e reclassificação. Use esses recursos para criar ferramentas personalizadas no Dify e ajustar cada etapa do seu sistema RAG.
Na barra de navegação superior da plataforma Dify, selecione Tools > Custom. Você verá duas ferramentas personalizadas já criadas: OpenSearch Text Embedding (vetorização de texto) e OpenSearch Reranker Model (modelo de reclassificação).
Se tiver dúvidas sobre sistemas RAG, participe do grupo de suporte do DingTalk do Alibaba Cloud OpenSearch LLM-based Conversational Search para obter mais detalhes técnicos e orientações de uso.