A LLM-based AI Chat Edition do OpenSearch integra processamento de dados não estruturados, modelos vetoriais, busca textual e vetorial e large language models (LLMs) em uma solução completa de geração aumentada por recuperação (RAG), pronta para uso. Importe dados em diversos formatos para criar serviços de busca conversacional multimodal com suporte a diálogos, links e imagens.
Introdução ao produto
A LLM-based AI Chat Edition foi desenvolvida para cenários de busca específicos por setor e oferece às empresas serviços dedicados de busca com perguntas e respostas. Com LLMs integrados, implante rapidamente um sistema de busca de perguntas e respostas que utiliza seus dados comerciais para gerar automaticamente respostas, imagens de referência e links de referência.
Arquitetura do serviço
Recursos do produto
RAG multimodal: compreende o conteúdo de imagens. Crie bases de conhecimento multimodais usando ferramentas como OCR e LLMs para oferecer saídas diversificadas.
Avaliação de desempenho de RAG: avalie o desempenho de ponta a ponta. Compare resultados de RAG entre diferentes modelos e configurações de parâmetros para simplificar a comparação de desempenho e a seleção de modelos.
Capacidades avançadas de modelos e treinamento personalizado: inclui um conjunto abrangente de modelos vetoriais, de reranqueamento e large language models integrados. Treine modelos grandes personalizados usando seus próprios dados comerciais.
Atualização de dados em tempo real: crie índices vetoriais incrementais em tempo real. Os dados são sincronizados e atualizados instantaneamente.
Perguntas e respostas em tabelas: consulte tabelas usando linguagem natural para SQL (NL2SQL). Esse recurso permite busca conversacional e perguntas e respostas sobre bancos de dados estruturados da sua empresa.
Implantação zero, totalmente gerenciado e sem necessidade de O&M: utilize um serviço de Modelo como Serviço (MaaS) totalmente gerenciado na nuvem, que não exige implantação nem operações e manutenção.
Benefícios
Integração rápida e completa: construa um sistema RAG em minutos com um fluxo de RAG integrado e de ponta a ponta. Basta carregar os dados comerciais no console.
Desempenho superior de RAG: inclui um vasto conjunto de modelos vetoriais, de reranqueamento e large language models integrados. Nossas capacidades de modelos lideram repetidamente rankings do setor, garantindo precisão de RAG acima de 95%.
Métodos flexíveis de ajuste: otimize o desempenho com diversas técnicas, como prompts personalizados, modificação de parâmetros, ordenação de resultados de busca e treinamento de modelos personalizados. Inclui um modelo integrado para avaliação de desempenho de RAG de ponta a ponta.
Recursos relacionados abrangentes: conte com um conjunto completo de funcionalidades associadas a RAG, incluindo compreensão de conteúdo multimodal, análise de dados estruturados e não estruturados, conversas com múltiplas turnos, saída em streaming, reconhecimento de intenção e agentes.
Métodos de conexão convenientes: integre rapidamente e sem código com diversos ecossistemas, como robôs do DingTalk e Lark. Conecte-se também de forma flexível via APIs e kits de desenvolvimento de software (SDKs). Utilize uma chave de API para incorporar o serviço em vários frameworks open source de desenvolvimento de aplicações com modelos grandes.
Capacidades empresariais completas: garanta isolamento de permissões de documentos no nível corporativo e atualizações em tempo real para dados incrementais.
Seleção de versão
A LLM-based AI Chat Edition do OpenSearch está disponível em duas versões: Standard Edition e Professional Edition. A tabela a seguir compara seus recursos.
|
Item de comparação |
Standard Edition |
Professional Edition |
|
Treinamento de modelo personalizado |
Não suportado. |
Suporta ajuste fino supervisionado (SFT) com base nos seus próprios dados comerciais. |
|
Seleção de LLM |
Suporta a série Qwen, modelos open source e modelos externos. |
Suporta a série Qwen, modelos open source, modelos externos e modelos personalizados. |
|
Limites |
Limitado a no máximo 10 consultas por segundo (QPS). |
Sem limitação. Os recursos de GPU adquiridos precisam apenas suportar um número suficiente de solicitações de inferência. |
|
Faturamento de recursos de computação |
Pagamento conforme o uso com base nos recursos de computação consumidos por chamada. |
Faturado de acordo com as especificações de GPU adquiridas. Sem taxas adicionais para recursos de computação. |
|
Cenários |
Adequado para cenários como atendimento ao cliente com IA geral, bases de conhecimento corporativas e guias de compras de e-commerce. |
Indicado para cenários com dados comerciais especializados que exigem treinamento e uso de um LLM personalizado, como atendimento ao cliente com IA, bases de conhecimento corporativas e guias de compras de e-commerce. |
Cenários
Atendimento ao cliente com IA:
Ofereça suporte inteligente pré-venda e pós-venda em aplicativos, mini programas e sites. O serviço classifica a intenção do usuário e fornece respostas relevantes.
Permite pares fixos de perguntas e respostas com intervenção manual.
Retorna conteúdo multimodal, como imagens e vídeos.
Utiliza NL2SQL para consultar pedidos de usuários, informações logísticas e outros dados diretamente no banco de dados.
Base de conhecimento corporativa:
Crie uma base de conhecimento empresarial em portais internos e softwares de chat para fornecer suporte de conhecimento e navegação rápida aos funcionários.
Oferece isolamento de permissões de documentos no nível corporativo.
Atualiza dados e cria índices em tempo real.
Analisa e compreende diversos tipos de dados não estruturados.
Guia de compras de e-commerce:
Adicione capacidades inteligentes de guia de compras às caixas de busca ou chats de atendimento em aplicativos de e-commerce e varejo. O serviço usa o histórico de conversas para recomendar produtos relevantes.
Compreende conteúdo multimodal, como imagens, incluindo fotos de produtos.
Retorna links originais de busca de produtos para acesso rápido aos itens desejados.
Permite ajustar a ordenação dos resultados de busca de produtos conforme necessidades operacionais.
Resumo de conteúdo e comunidade:
Inclua resumos inteligentes na caixa de busca de aplicativos de conteúdo e comunidade. O serviço responde às consultas dos usuários com guias e referências extraídas do conteúdo do seu site.
Importa rapidamente conteúdo de páginas e sites.
Compreende conteúdo multimodal, como imagens, utilizando OCR, modelos grandes e outras ferramentas.
Retorna links para os documentos de referência originais.
Perguntas e respostas em tabelas:
Para dados estruturados em setores como negócios e finanças, utilize NL2SQL para consultar conteúdos relevantes. Um LLM então resume e retorna os resultados.
Aceita esquemas de tabela personalizados.
Sincroniza dados automaticamente a partir de fontes de dados do MaxCompute.
Extrai informações, resume e agrega dados usando NL2SQL.