Alibaba Cloud proporciona un conjunto de pilares técnicos como base de su desarrollo de IA multimodal:
Qwen-Audio: El modelo de lenguaje de audio grande que procesa diversas entradas de audio.
Qwen-VL: El modelo de lenguaje de visión grande que analiza imágenes y revela detalles minuciosos y texto.
OpenSearch: El servicio de búsqueda conversacional que personaliza su sistema de preguntas y respuestas, aprovechando la recuperación vectorial y los LLM.
Qwen-Agent: El framework para desarrollar aplicaciones de LLM. Orquesta agentes inteligentes que siguen instrucciones y ejecutan tareas complejas.
PAI-EAS: Puede implementar Qwen y otros modelos populares de IA multimodal como servicios web con solo unos pocos clics.

Estos productos se articulan entre sí mediante un agente de planificación; puede implementar la API de este agente en ECS y conectarse a DingTalk o a aplicaciones de mensajería instantánea (IM).

PAI-EAS (Elastic Algorithm Service) es un componente de Machine Learning Platform for AI (PAI) que permite a los usuarios implementar y administrar aplicaciones de IA fácilmente. Incluye el acelerador de inferencia PAI-Blade, un acelerador de hardware diseñado para mejorar el rendimiento de los LLM con una velocidad de inferencia hasta seis veces más rápida que los métodos tradicionales. Esto significa que puede procesar más datos, generar respuestas más rápidas y mejorar el rendimiento de sus aplicaciones de lenguaje natural. Puede ejecutar Llama 2 en la WebUI de PAI-EAS con solo unos pocos clics y el código de ejemplo proporcionado en el blog, o usar la API con el código de Python Wrapper del blog para configurar el servicio de Llama 2. También puede encontrar orientación sobre cómo montar un modelo personalizado en Llama 2 con PAI-EAS en el blog.

Utilice PAI-DSW (Data Science Workshop) para el ajuste fino de los modelos de Stable Diffusion. Emplee PAI-DLC (Deep Learning Container) para configurar y administrar rápidamente un entorno de aprendizaje profundo optimizado, con contenedores listos para usar de populares frameworks de aprendizaje profundo. Finalmente, implemente los modelos y cree un servicio de generación de texto a imagen con unos pocos clics en PAI-EAS.

AnalyticDB for PostgreSQL es un almacén de datos nativo de la nube con capacidades de procesamiento masivamente paralelo (MPP). La función de base de datos vectorial puede ayudarle a gestionar datos no estructurados a gran escala, como documentos, correos electrónicos, imágenes y contenido web, y es ideal para servicios de datos modernos que gestionan y procesan grandes volúmenes de datos estructurados y no estructurados, proporcionan análisis en tiempo real y se adaptan a las necesidades cambiantes del negocio. Las empresas con requisitos específicos del dominio pueden aprovechar AnalyticDB for PostgreSQL para generar resultados precisos sobre temas con base en datos específicos del dominio o especializados. En este ejemplo, puede crear fácilmente un chatbot que combina las capacidades de aprendizaje y comprensión del LLM con las capacidades principales de AnalyticDB for PostgreSQL. Esto incluye la recuperación integrada de datos vectoriales y la recuperación de texto completo, y proporciona respuestas profesionales y oportunas con el conocimiento de su empresa.

OpenSearch ofrece un servicio de búsqueda de alto rendimiento que admite miles de millones de documentos de 128 dimensiones (como datos vectoriales) o miles de QPS con respuesta de consulta a nivel de milisegundos. Integra distintos algoritmos de recuperación para datos vectoriales y admite requisitos de búsqueda complejos, como búsqueda híbrida, filtrado por expresión y filtrado durante la búsqueda. OpenSearch también ofrece funciones de compresión de datos y un diseño de estructura de índices refinado para reducir los requisitos de almacenamiento y memoria, lo que ahorra costos de hardware a gran escala. Puede combinar OpenSearch con LLM a través de una herramienta de servicio para crear un servicio de búsqueda inteligente, dedicado y en tiempo real para su negocio. Esto mejorará la calidad y la rapidez del servicio, sin necesidad de grandes inversiones en hardware.

LoRA (Low-Rank Adaptive Relational Attention) es un algoritmo ampliamente utilizado para la generación de imágenes con IA que permite a los usuarios realizar el ajuste fino de modelos generativos mediante la adición de un número reducido de parámetros y el uso de pocos conjuntos de datos. Platform for AI (PAI) permite realizar el ajuste fino de imágenes generadas con IA, de forma fácil y rápida, con base en los modelos LoRA y Stable Diffusion, y proporciona un amplio espacio de generación para modelos, poses y fondos, al tiempo que reduce el número de parámetros entrenables y los requisitos de memoria de GPU. Esto abre nuevas posibilidades para una experiencia del cliente más personalizada e inteligente en la industria minorista de la moda.