La LLM-based AI Chat Edition de OpenSearch integra el procesamiento de datos no estructurados, modelos vectoriales, búsqueda de texto y vectores, y large language models (LLMs) en una solución integral de retrieval-augmented generation (RAG) lista para usar. Importe datos en diversos formatos para crear servicios de búsqueda conversacional multimodal compatibles con diálogos, enlaces e imágenes.
Introducción al producto
La LLM-based AI Chat Edition está diseñada para escenarios de búsqueda específicos por industria y ofrece a las empresas servicios dedicados de búsqueda de preguntas y respuestas. Gracias a los LLMs integrados, puede desplegar rápidamente un sistema de búsqueda de preguntas y respuestas que utiliza sus datos empresariales para generar automáticamente respuestas, imágenes de referencia y enlaces de referencia.
Arquitectura del servicio
Funciones del producto
RAG multimodal: comprende el contenido de las imágenes. Cree bases de conocimiento multimodales mediante herramientas como OCR y LLMs para ofrecer resultados variados.
Evaluación del rendimiento de RAG: evalúe el rendimiento de extremo a extremo. Compare los resultados de RAG entre distintos modelos y configuraciones de parámetros para simplificar la comparación de rendimiento y la selección de modelos.
Amplias capacidades de modelos y entrenamiento de modelos personalizados: incluye un conjunto completo de modelos vectoriales, de reclasificación y large language models integrados. Entrene sus propios modelos grandes con los datos de su negocio.
Actualización de datos en tiempo real: construya índices vectoriales incrementales en tiempo real. Los datos se sincronizan y actualizan al instante.
Preguntas y respuestas sobre tablas: admite consultas sobre tablas mediante lenguaje natural a SQL (NL2SQL). Esta función permite ejecutar búsquedas conversacionales y responder preguntas sobre las bases de datos estructuradas de su empresa.
Cero despliegue, totalmente administrado y sin operaciones y mantenimiento: un servicio de Model-as-a-Service (MaaS) completamente administrado en la nube que no requiere despliegue ni tareas de operación y mantenimiento.
Beneficios
Integración rápida e integral: un flujo de RAG integrado de extremo a extremo le permite construir un sistema RAG en minutos; solo tiene que cargar los datos de su negocio en la consola.
Rendimiento superior de RAG: incluye un amplio conjunto de modelos vectoriales, de reclasificación y large language models integrados. Nuestras capacidades de modelos han encabezado repetidamente las clasificaciones de la industria, lo que garantiza una precisión de RAG superior al 95 %.
Métodos de ajuste flexibles: admite diversos métodos de ajuste de rendimiento, como prompts personalizados, modificación de parámetros, ordenamiento de resultados de búsqueda y entrenamiento de modelos personalizados. Incluye un modelo integrado para evaluar el rendimiento de RAG de extremo a extremo.
Funciones relacionadas completas: admite un conjunto completo de funciones relacionadas con RAG, como comprensión de contenido multimodal, análisis sintáctico de datos estructurados y no estructurados, conversaciones de múltiples turnos, salida en streaming, reconocimiento de intenciones y agentes.
Métodos de conexión prácticos: admite integración rápida sin código con diversos ecosistemas, como robots de DingTalk y Lark. También permite métodos de conexión flexibles mediante APIs y kits de desarrollo de software (SDKs). Use una clave de API para integrar el servicio en diversos frameworks de desarrollo de aplicaciones para modelos grandes de código abierto.
Capacidades empresariales completas: admite control de permisos de documentos a nivel empresarial y actualizaciones en tiempo real para datos incrementales.
Selección de versión
La LLM-based AI Chat Edition de OpenSearch está disponible en dos versiones: Standard Edition y Professional Edition. A continuación se comparan sus funciones.
|
Elemento de comparación |
Standard Edition |
Professional Edition |
|
Entrenamiento de modelos personalizados |
No compatible. |
Admite ajuste fino supervisado (SFT) basado en sus propios datos empresariales. |
|
Selección de LLM |
Compatible con la serie Qwen, modelos de código abierto y modelos externos. |
Compatible con la serie Qwen, modelos de código abierto, modelos externos y modelos personalizados. |
|
Límites |
Limitado a un máximo de 10 consultas por segundo (QPS). |
Sin limitaciones. Los recursos de GPU adquiridos solo necesitan admitir un número suficiente de solicitudes de inference. |
|
Facturación de recursos de cómputo |
Pago por uso basado en los recursos de cómputo consumidos por cada llamada. |
Se factura según las especificaciones de GPU adquiridas. Sin cargos adicionales por recursos de cómputo. |
|
Escenarios |
Adecuado para escenarios como atención al cliente potenciada por IA general, bases de conocimiento empresariales y guías de compra de comercio electrónico. |
Ideal para escenarios con datos empresariales especializados que requieren entrenar y usar un LLM personalizado, como atención al cliente potenciada por IA, bases de conocimiento empresariales y guías de compra de comercio electrónico. |
Escenarios
Atención al cliente potenciada por IA:
Ofrezca soporte inteligente de preventa y posventa en aplicaciones, mini programas y sitios web. El servicio clasifica la intención del usuario y proporciona respuestas relevantes.
Admite pares fijos de preguntas y respuestas basados en intervención manual.
Permite devolver contenido multimodal, como imágenes y videos.
Permite usar NL2SQL para consultar pedidos de usuarios, información logística y más desde una base de datos.
Base de conocimiento empresarial:
Construya una base de conocimiento empresarial dentro de portales internos y software de chat para brindar soporte de conocimiento y navegación rápida a los empleados.
Admite control de permisos de documentos a nivel empresarial.
Permite actualizaciones de datos en tiempo real y construcción de índices.
Admite el análisis sintáctico y la comprensión de diversos tipos de datos no estructurados.
Guía de compras de comercio electrónico:
Agregue capacidades inteligentes de guía de compras a los cuadros de búsqueda o chats de atención al cliente en aplicaciones de comercio electrónico y retail. El servicio utiliza el historial de conversaciones para recomendar productos relevantes.
Admite la comprensión de contenido multimodal, como imágenes, incluidas fotos de productos.
Permite devolver enlaces originales de búsqueda de productos para acceder rápidamente a los productos deseados.
Permite ajustar el ordenamiento de los resultados de búsqueda de productos según las necesidades operativas.
Resumen de contenido y comunidad:
Incorpore resúmenes inteligentes al cuadro de búsqueda en aplicaciones de contenido y comunidad. El servicio responde a las consultas de los usuarios con guías y referencias derivadas del contenido de su sitio.
Permite importar rápidamente contenido de páginas y sitios web.
Admite la comprensión de contenido multimodal, como imágenes, mediante OCR, modelos grandes y otras herramientas.
Permite devolver enlaces a los documentos de referencia originales.
Preguntas y respuestas sobre tablas:
Para datos estructurados en industrias como negocios y finanzas, utilice NL2SQL para consultar contenido relevante. Luego, un LLM resume y devuelve los resultados.
Admite esquemas de tablas personalizados.
Permite la sincronización automática de datos desde orígenes de datos de MaxCompute.
Admite extracción de información, resúmenes y agregación mediante NL2SQL.