A Alibaba Cloud oferece um conjunto de pilares técnicos como base para o seu desenvolvimento de IA multimodal:
Qwen-Audio: O modelo de linguagem de áudio de grande escala que processa diversas entradas de áudio.
Qwen-VL: O modelo de linguagem visual de grande escala que analisa imagens e revela detalhes sutis e textos.
OpenSearch: O serviço de busca conversacional que personaliza seu sistema de perguntas e respostas, utilizando recuperação vetorial e LLMs.
Qwen-Agent: O framework para desenvolvimento de aplicações LLM. Ele orquestra agentes inteligentes que seguem instruções e executam tarefas complexas.
PAI-EAS: Implante o Qwen e outros modelos de IA multimodais populares como serviços web com apenas alguns cliques.

Esses produtos são coordenados entre si por um agente planejador; você pode implantar a API desse agente no ECS e conectá-lo ao DingTalk ou a outros mensageiros instantâneos (IMs).

O PAI-EAS (Elastic Algorithm Service) é um componente da Machine Learning Platform for AI (PAI) que permite aos usuários implantar e gerenciar aplicações de IA com facilidade. Inclui o acelerador de inferência PAI-Blade, um acelerador de hardware projetado para melhorar o desempenho dos LLMs com uma velocidade de inferência até seis vezes mais rápida que os métodos tradicionais. Isso significa que você pode processar mais dados, gerar respostas mais rápidas e aprimorar o desempenho de suas aplicações baseadas em linguagem. Você pode executar o Llama 2 no PAI-EAS na WebUI com apenas alguns cliques e o código de exemplo fornecido no blog, ou usar a API com o código Python Wrapper do blog para configurar o serviço Llama 2. Você também pode encontrar orientações sobre como montar um modelo personalizado no Llama 2 com o PAI-EAS no blog.

Você pode usar o PAI-DSW (Data Science Workshop) para ajustar os modelos Stable Diffusion. Utilize o PAI-DLC (Deep Learning Container) para configurar e gerenciar rapidamente um ambiente de deep learning simplificado com contêineres prontos para uso dos frameworks de deep learning mais populares. Por fim, implante os modelos e crie um serviço de geração de imagens a partir de texto com apenas alguns cliques no PAI-EAS.

O AnalyticDB for PostgreSQL é um data warehouse cloud-native com recursos de processamento paralelo massivo (MPP). O recurso de banco de dados vetorial pode ajudar você a gerenciar dados não estruturados em grande escala, como documentos, e-mails, imagens e conteúdo web, sendo ideal para serviços de dados modernos que gerenciam e processam grandes volumes de dados estruturados e não estruturados, fornecem análise em tempo real e se adaptam às mudanças nas necessidades do negócio. Empresas com requisitos específicos de domínio podem aproveitar o AnalyticDB for PostgreSQL para gerar resultados precisos sobre tópicos com base em dados específicos de domínio ou especializados. Neste exemplo, você pode criar facilmente um chatbot que combina os recursos de aprendizado e compreensão do LLM com as capacidades essenciais do AnalyticDB for PostgreSQL. Isso inclui recuperação integrada de dados vetoriais e recuperação de texto completo, fornecendo respostas profissionais e oportunas com o conhecimento da sua empresa.

O OpenSearch oferece um serviço de busca de alto desempenho que suporta documentos de 128 dimensões em escala de bilhões (como dados vetoriais), ou QPS em escala de milhares com resposta de consulta em milissegundos. Integra diferentes algoritmos de recuperação para dados vetoriais e suporta requisitos de busca complexos, como busca híbrida, filtragem por expressão e filtragem durante a busca. O OpenSearch também oferece recursos de compressão de dados e design refinado de estrutura de índice para reduzir os requisitos de armazenamento e memória, economizando custos de hardware em escala. Você pode combinar o OpenSearch com LLMs por meio de uma ferramenta de serviço para criar um serviço de busca inteligente, dedicado e em tempo real para o seu negócio. Isso melhorará a qualidade e a agilidade do serviço, sem exigir grandes investimentos em hardware.

LoRA (Low-Rank Adaptive Relational Attention) é um algoritmo amplamente utilizado para geração de imagens por IA, que permite aos usuários ajustar modelos generativos adicionando um pequeno número de parâmetros e utilizando um número reduzido de conjuntos de dados. O Platform for AI (PAI) permite ajustar de forma fácil e rápida a geração de imagens por IA com base em modelos LoRA e Stable Diffusion, oferecendo um amplo espaço de geração para modelos, poses e cenários, ao mesmo tempo em que reduz o número de parâmetros treináveis e os requisitos de memória da GPU. Isso abre novas possibilidades para uma experiência do cliente mais personalizada e inteligente no setor de varejo de moda.