Platform For AI:Recomendação personalizada (PAI-Rec)

Visão geral

PAI-Rec é uma plataforma da Alibaba Cloud para o desenvolvimento de sistemas de recomendação ponta a ponta e altamente personalizáveis. A plataforma abrange múltiplas dimensões, incluindo processamento offline, serviços online, fluxos de dados em tempo real e arquitetura de engenharia, incorporando módulos funcionais como recuperação, classificação, filtragem e reclassificação. Construído sobre a arquitetura de big data Apsara da Alibaba Cloud, o PAI-Rec permite que os desenvolvedores escolham componentes e personalizem o código do pipeline de recomendação para adequá-lo à sua stack tecnológica e práticas de desenvolvimento. A plataforma também fornece ferramentas para diagnóstico de dados, depuração de resultados de recomendação e gerenciamento de releases do mecanismo, acelerando as iterações por meio de testes A/B e de uma plataforma de relatórios de experimentos.

Ao analisar logs de impressão, os desenvolvedores podem personalizar algoritmos de engenharia de features, configurações do mecanismo e métricas de relatórios de experimentos para criar e otimizar rapidamente os sistemas de recomendação. O modelo de desenvolvimento white-box aumenta a transparência e a flexibilidade. Para equipes com pouca experiência em algoritmos de recomendação, recomendamos começar com modelos de algoritmos personalizados da equipe de algoritmos da Alibaba. Isso ajuda a implantar o sistema rapidamente e permite que os desenvolvedores dominem o treinamento de modelos e a avaliação de desempenho. Para otimizações adicionais, você pode solicitar uma consultoria de negócios para colaborar com os engenheiros da Alibaba Cloud.

O PAI-Rec também suporta cold start, limitação de tráfego e aprendizado online para atender a diversos requisitos de negócios.

Vantagens do produto

O PAI-Rec oferece as seguintes vantagens para a criação de um sistema de recomendação:

• Design white-box altamente transparente

  Um amplo código-fonte ajuda você a entender os detalhes dos algoritmos de recomendação e permite personalizar o código com flexibilidade para necessidades específicas de negócios.

  O código-fonte é fornecido para engenharia de features de dados e processamento de amostras, scripts de invocação de modelos de recuperação e classificação, modelos de recuperação e classificação EasyRec e lógica de negócios do mecanismo PAI-Rec.

• Processo conveniente de personalização para algoritmos de recomendação

  Gere scripts e arquivos de configuração para recuperação e classificação ao configurar uma tabela de usuários, uma tabela de itens e uma tabela de comportamentos, simplificando a implantação de recomendações personalizadas.

• Sistema abrangente de gerenciamento de mecanismo e experimentos

  Um backend completo de gerenciamento para mecanismos e experimentos permite gerenciar componentes de recuperação e classificação e atualizar parâmetros do mecanismo.

• Monitoramento e relatórios de métricas refinados

  Um backend de métricas e relatórios permite definir métricas personalizadas e acompanhar o desempenho dos experimentos diária ou horariamente, garantindo controle preciso e feedback oportuno sobre a eficácia das recomendações.

• Garantia de consistência entre features offline e online

  Ferramentas especializadas comparam features offline e online para garantir consistência, evitando desvios experimentais causados por discrepâncias de dados.

• Diagnóstico e análise inteligente de dados

  Ferramentas de diagnóstico inteligente ajudam os desenvolvedores a entender rapidamente seus dados e a selecionar features e janelas de tempo apropriadas para engenharia de features.

• Conjunto intuitivo de ferramentas para observação de resultados de recomendação

  As ferramentas de diagnóstico ajudam você a visualizar resultados de recomendação e dados de recuperação.

• Recursos robustos de gerenciamento de features

  Integra-se a ferramentas de gerenciamento de plataforma de features para melhorar o gerenciamento de features e aumentar a eficiência experimental.

• Serviço e suporte técnico abrangentes

  Serviços técnicos para ajudar você a começar a usar a solução rapidamente.

Produtos de nuvem dependentes

O PAI-Rec usa PAI-EasyRec para treinar modelos de recuperação e classificação e o mecanismo PAI-Rec baseado em Go para construir o sistema de recomendação. Você pode usar o DataWorks ou o PAI-Designer para editar e agendar códigos de engenharia de features, geração de amostras e treinamento de modelos. O sistema utiliza BE, GraphCompute ou Hologres para armazenar features de usuário e habilitar recuperação item a item (i2i) e vetorial, além do PAI-EAS para pontuação elástica e escalável. As dependências são as seguintes:

• Platform for AI (PAI) é uma plataforma de engenharia de machine learning e deep learning para desenvolvedores e empresas. Ela fornece serviços de desenvolvimento de IA ponta a ponta, incluindo anotação de dados, criação de modelos, treinamento, implantação e otimização de inferência.

• O framework EasyRec inclui modelos de deep learning de última geração e suporta várias versões do TensorFlow (1,12 ≤ versão ≤ 2,4, PAI-TF). Ele cobre as necessidades ponta a ponta de um pipeline de recomendação, incluindo recuperação, pré-classificação, classificação, reclassificação, otimização multiobjetivo e cold start. Os desenvolvedores podem usar o framework EasyRec para acelerar iterações em todo o pipeline de recomendação.

• DataWorks e MaxCompute são dois serviços integrados de big data cloud-native. Para tarefas em um sistema de recomendação, como processamento de features, geração de amostras, gerenciamento de perfis, agendamento de modelos e atualizações de dados, eles oferecem ferramentas de desenvolvimento fáceis de usar e um ambiente de dados estável.

  Nota

  Atualmente, o PAI-Rec suporta apenas DataWorks e MaxCompute. Se o seu negócio exigir outros serviços de big data, talvez seja necessário modificar o código do mecanismo correspondente. Discuta seu plano com um arquiteto antecipadamente.

• Hologres é um mecanismo de data warehouse em tempo real completo, desenvolvido pela Alibaba Cloud, que suporta escrita, atualização, processamento e análise em tempo real de grandes volumes de dados. Ele suporta SQL padrão (compatível com o protocolo PostgreSQL, sua sintaxe e a maioria de suas funções), análise multidimensional em escala de petabytes (OLAP) e análise ad hoc. O Hologres fornece serviço de dados online de alta concorrência e baixa latência, isolamento refinado de carga de trabalho e segurança de nível empresarial. Ele se integra ao MaxCompute, Flink e DataWorks para oferecer uma solução integrada para data warehousing offline e online.

  Você pode usar o Hologres para armazenar sequências de comportamento do usuário em tempo real, features de usuário e dados de recuperação de recomendação, além de utilizar seus recursos de recuperação vetorial.

• O Graph Compute é um produto de computação em grafo distribuído de alto desempenho, desenvolvido pela Alibaba Cloud, que fornece um serviço de tecnologia de grafo completo para desenvolvedores em escala de trilhões. Ele suporta armazenamento, consulta e computação de dados complexos de relacionamento em grafo e integra-se a algoritmos e modelos de grafo. É amplamente utilizado em busca, recomendação, publicidade, controle de risco em tempo real, grafos de conhecimento e redes sociais.

Faturamento

Para mais informações, consulte Faturamento do PAI-Rec para Recomendação Personalizada.