Alibaba Cloud fournit un ensemble de piliers techniques comme fondation de votre développement d'IA multimodale :
Qwen-Audio : Le grand modèle de langage audio qui traite diverses entrées audio.
Qwen-VL : Le grand modèle de langage visuel qui analyse les images et révèle des détails et textes nuancés.
OpenSearch : Le service de recherche conversationnelle qui personnalise votre système de questions-réponses, en tirant parti de la recherche vectorielle et des LLM.
Qwen-Agent : Le framework pour développer des applications LLM. Il orchestre des agents intelligents qui suivent les instructions et exécutent des tâches complexes.
PAI-EAS : Vous pouvez déployer Qwen et d'autres modèles d'IA multimodaux populaires en tant que services web en quelques clics.

Ces produits sont articulés entre eux par un agent planificateur ; vous pouvez déployer l'API de cet agent sur ECS et vous connecter à DingTalk ou à d'autres messageries instantanées (IM).

PAI-EAS (Elastic Algorithm Service) est un composant de la Plateforme de machine learning pour l'IA (PAI) qui permet aux utilisateurs de déployer et de gérer facilement des applications d'IA. Il inclut l'accélérateur d'inférence PAI-Blade, un accélérateur matériel conçu pour améliorer les performances des LLM avec une vitesse d'inférence jusqu'à six fois supérieure aux méthodes traditionnelles. Cela signifie que vous pouvez traiter davantage de données, générer des réponses plus rapides et améliorer les performances de vos applications basées sur le langage. Vous pouvez exécuter Llama 2 sur PAI-EAS via l'interface WebUI en quelques clics à l'aide du code d'exemple fourni dans le blog, ou utiliser l'API avec le code Python Wrapper du blog pour configurer un service Llama 2. Vous trouverez également dans le blog des instructions pour monter un modèle personnalisé sur Llama 2 avec PAI-EAS.

Vous pouvez utiliser PAI-DSW (Data Science Workshop) pour affiner les modèles Stable Diffusion. Exploitez PAI-DLC (Deep Learning Container) pour configurer et gérer rapidement un environnement d'apprentissage profond simplifié avec des conteneurs prêts à l'emploi des frameworks d'apprentissage profond les plus populaires. Enfin, déployez les modèles et créez un service de génération d'images à partir de texte en quelques clics sur PAI-EAS.

AnalyticDB for PostgreSQL est un entrepôt de données cloud natif doté de capacités de traitement massivement parallèle (MPP). La fonctionnalité de base de données vectorielles vous aide à gérer des données non structurées à grande échelle, telles que des documents, des e-mails, des images et du contenu web, et constitue une solution idéale pour les services de données modernes qui gèrent et traitent de grands volumes de données structurées et non structurées, fournissent une analyse en temps réel et s'adaptent aux besoins métier en évolution. Les entreprises ayant des exigences spécifiques à leur domaine peuvent tirer parti d'AnalyticDB for PostgreSQL pour produire des résultats précis sur des sujets fondés sur des données spécialisées ou propres à leur domaine. Dans cet exemple, vous pouvez facilement créer un chatbot qui combine les capacités d'apprentissage et de compréhension des LLM avec les fonctionnalités clés d'AnalyticDB for PostgreSQL. Cela inclut la recherche vectorielle intégrée et la recherche en texte intégral, offrant des réponses professionnelles et rapides grâce aux connaissances de votre entreprise.

OpenSearch fournit un service de recherche haute performance qui prend en charge des documents de 128 dimensions à l'échelle du milliard (en tant que données vectorielles), ou des milliers de QPS avec un temps de réponse de requête de l'ordre de la milliseconde. Il intègre différents algorithmes de recherche pour les données vectorielles et prend en charge des besoins de recherche complexes tels que la recherche hybride, le filtrage par expression et le filtrage pendant la recherche. OpenSearch propose également des fonctionnalités de compression des données et une conception fine de la structure des index pour réduire les besoins en stockage et en mémoire, permettant des économies sur les coûts matériels à grande échelle. Vous pouvez associer OpenSearch aux LLM via un outil de service pour créer un service de recherche intelligent, dédié et en temps réel pour votre entreprise. Cela améliorera la qualité et la réactivité du service, sans nécessiter d'investissement matériel important.

LoRA (Low-Rank Adaptive Relational Attention) est un algorithme largement utilisé pour la génération d'images par IA, qui permet aux utilisateurs d'affiner les modèles génératifs en ajoutant un petit nombre de paramètres et en utilisant un nombre réduit de jeux de données. Platform for AI (PAI) vous permet d'affiner facilement et rapidement les images générées par IA à l'aide des modèles LoRA et Stable Diffusion, offrant un large espace de génération pour les modèles, les poses et les arrière-plans, tout en réduisant le nombre de paramètres entraînables et les besoins en mémoire GPU. Cela ouvre de nouvelles perspectives pour une expérience client plus personnalisée et intelligente dans le secteur de la mode.