As funções de IA são um conjunto de funções predefinidas no MaxCompute para casos de uso relacionados à IA. Elas encapsulam operações complexas de inferência de modelos em operadores concisos de SQL ou Python. Use essas funções para invocar grandes modelos ou modelos de machine learning diretamente do SQL padrão ou do MaxFrame (um motor Python distribuído), sem escrever código de baixo nível para invocação de modelos. Isso reduz significativamente a barreira de entrada para o uso de IA no processamento de dados e na análise de big data.
Casos de uso
Os grandes modelos têm uma capacidade de compreensão de dados significativamente aprimorada e permitem extrair informações semânticas precisas de dados multimodais, como dados estruturados, texto e dados não estruturados. Com base na capacidade de seguir instruções, esses modelos transformam as informações semânticas em dados normalizados e viabilizam operações de álgebra relacional. Isso permite unificar consultas e o processamento de dados estruturados e não estruturados em uma plataforma de big data.
À medida que os casos de uso se expandem, a demanda por computação unificada nas plataformas de big data também cresce. O MaxCompute atende a essa demanda ao fornecer vários motores de computação, como MaxFrame (Python) e SQL. Aliado às funções de IA, o MaxCompute oferece uma forma mais acessível para que os usuários aproveitem a IA. Isso aprimora a capacidade e a qualidade da análise de dados e da computação em diversos cenários, incluindo processamento de dados multimodais, geração de conteúdo, extração de informações e análise de imagens e textos. Os casos de uso típicos incluem:
Pré-processamento de dados para pré-treinamento de grandes modelos: o processamento de dados da web para pré-treinamento de grandes modelos exige grandes modelos de linguagem (LLMs) com poucos parâmetros e ajuste fino para executar tarefas como cálculo de pontuação de qualidade do texto, filtragem e classificação de textos.
Compreensão de conteúdo multimodal: o processamento de vídeo e imagem no e-commerce tradicional e nas áreas emergentes de direção autônoma requer modelos multimodais para tarefas como detecção de objetos, aplicação de tags em imagens e classificação.
Controle de risco inteligente: em cenários de controle de risco inteligente, use LLMs com poucos parâmetros e ajuste fino para tarefas como classificação do comportamento do usuário e alertas de risco.
Benefícios
Desenvolvimento low-code: comece rapidamente. execute a inferência de modelos com uma única chamada de função, sem implantar service de modelo ou escrever lógicas de inferência complexas. Isso encurta significativamente o ciclo de desenvolvimento e reduz a barreira para a criação de aplicações de IA.
Integração transparente: as funções de IA se integram de forma transparente aos objetos de modelo, recursos de computação e ao sistema de permissões do MaxCompute, simplificando a adoção.
Suporte unificado a vários motores: o MaxCompute fornece recursos unificados de funções de IA em seus motores SQL e MaxFrame. Isso permite que analistas de dados usem o SQL familiar para chamar modelos de IA avançados, enquanto os cientistas de dados podem aproveitar o poder de computação distribuída em Python do MaxFrame para melhorar a capacidade e a qualidade do pré-processamento de dados.
Funções de IA
Funções de IA SQL
O MaxCompute fornece funções de IA SQL que permitem executar a inferência de modelos ao especificar objetos de modelo do MaxCompute. Os modelos suportados incluem grandes modelos de linguagem públicos integrados, modelos importados pelo usuário e modelos remotos do PAI-EAS. Para mais informações, consulte Model types.
-
A tabela a seguir descreve as funções de IA SQL suportadas pelo MaxCompute.
Função
Descrição
Tipos de modelos suportados
Extrai a string de rótulo que melhor corresponde ao conteúdo de entrada a partir de um conjunto de rótulos fornecido.
Suporta os modelos da public model list, exceto
text-embedding-v4eQwen3-VL-8B-Instruct.Converte dados de texto e imagem em vetores.
Suporta os modelos da public model list:
Qwen3-Embedding-0,6B-Q8_0,text-embedding-v4eqwen3-vl-embedding.Extrai informações específicas dos dados de texto fornecidos.
Suporta os modelos da public model list, exceto
text-embedding-v4eQwen3-VL-8B-Instruct.Gera texto em linguagem natural. Suporta raciocínio lógico complexo, tarefas multimodais e processamento de dados não estruturados.
Suporta os public models e modelos remotos, exceto
Qwen3-VL-8B-Instruct.Executa análise de sentimento no texto de entrada.
Suporta os modelos da public model list, exceto
text-embedding-v4eQwen3-VL-8B-Instruct.Determina a similaridade textual e semântica entre dois textos. Retorna um número de ponto flutuante entre 0 e 1; um valor maior indica maior similaridade semântica.
Suporta os modelos da public model list, exceto
text-embedding-v4eQwen3-VL-8B-Instruct.Gera o resumo de um texto fornecido.
Suporta os modelos da public model list, exceto
text-embedding-v4eQwen3-VL-8B-Instruct.Traduz o texto de entrada para um idioma especificado.
Suporta os modelos da public model list, exceto
text-embedding-v4eQwen3-VL-8B-Instruct.Faz previsões sobre dados estruturados, o que é comum em tarefas tradicionais de machine learning, como classificação e regressão.
BOOSTED_TREE_REGRESSOR
BOOSTED_TREE_CLASSIFIER
Faturamento de funções de IA SQL
Ao usar uma função de IA SQL para chamar um modelo:
Ao usar recursos de computação padrão por assinatura (também chamados de cota de CU por assinatura), o job consome sua cota de CU.
Ao usar recursos de computação padrão de pagamento conforme o uso (também chamados de cota de CU de pagamento conforme o uso), o faturamento é baseado na quantidade de dados lidos pelo job SQL, e não há cobrança de taxas separadas de computação de CU.
Funções de IA do MaxFrame
A função de IA do MaxFrame oferece uma interface generate flexível e de uso geral, além de interfaces task concisas e específicas para tarefas em cenários como tradução de texto, extração de dados estruturados e vetorização. Selecione um modelo e forneça uma tabela do MaxCompute e prompts como entrada.
Ao chamar uma interface, o MaxFrame primeiro executa o shard dos dados na tabela de entrada. defina um nível adequado de concorrência com base no volume de dados e inicie um grupo de workers para executar o job de computação. Cada worker usa o modelo de prompt fornecido para renderizar e construir entradas de modelo a partir das linhas de dados, executa o job de inferência e grava os resultados e o status de sucesso no MaxCompute.
A figura a seguir mostra a arquitetura e o fluxo de trabalho.
O MaxCompute também fornece funções de IA baseadas em Python por meio do MaxFrame.
A chamada consome recursos de CPU ou GPU de acordo com o tipo de recurso necessário. Para mais informações, consulte MaxFrame AI functions.
Tutoriais
Para mais tutoriais sobre o uso de modelos do MaxCompute e funções de IA, consulte os seguintes tópicos: