Platform For AI:Ative e inicializar o service

Ao usar o PAI-Rec para crie um sistema de recomendação pela primeira vez, compre uma instância do PAI-Rec e configure o ambiente inicial.

• Guia de seleção

  Seleção de instância

  Ao usar o PAI-Rec pela primeira vez, compre uma instância padrão com o recurso de personalização de solução de recomendação. Após se familiarizar com o service, você pode adquirir o recurso de ferramenta de operações.

  • A personalização da solução de recomendação permite que você personalize a engenharia de recursos, as estratégias de recall e as estratégias de classificação fina para configure seu sistema de recomendação com mais flexibilidade e eficiência.

  • A ferramenta de operações melhora a eficiência operacional e oferece maior controle sobre os resultados da recomendação.

  Seleção de recursos de product cloud

  A criação de uma solução de recomendação do PAI-Rec exige vários product cloud. Os recursos específicos de product cloud necessários variam de acordo com as necessidades do seu negócio.

  Product cloud dependentes (clique em para visualize detalhes)

  

  Product cloud	Função	Recursos cloud necessários
  Modelagem
  OSS	Armazena checkpoints de modelo, arquivos de modelo salvos e arquivos de configuração de modelo.	Create an OSS bucket Nota Não ative o recurso de Versioning.
  MaxCompute	Usado para limpeza de dados, engenharia de recursos e preparação de amostras de treinamento.	Create a project Para usar o PAI-DLC no treinamento de modelos, activate Data Transmission Service. Você precisa do Data Transmission Service para ler dados de treinamento das tabelas do MaxCompute. Também é usado para inicializar recursos de itens a partir das tabelas do MaxCompute ao inicializar um modelo no PAI-EAS.
  Platform for AI	O PAI serve como ponto de entrada para a plataforma de desenvolvedor do PAI-Rec. Inclui recursos como associação do PAI-FeatureStore, treinamento de modelo, exportação de modelo e avaliação de modelo.	Create a PAI workspace Nota Os workspaces do PAI e do DataWorks se conectam na camada subjacente. Ao criar um workspace do PAI, o sistema gera automaticamente um workspace com o mesmo nome no DataWorks. Você também pode criar manualmente um workspace do DataWorks.
  DataWorks	Usado para limpeza de dados, engenharia de recursos, treinamento e avaliação de modelos, atualizações de modelos e sincronização de dados com lojas online. Também agenda todas as tarefas de produção de dados offline, treinamento e avaliação de modelos.	Create a workspace. Recomendamos fortemente que você selecione o basic mode. O basic mode simplifica o agendamento e a execução de tarefas de produção. A source de dados principal do DataWorks deve ser attached to a MaxCompute computing resource. Add a scheduling resource group and attach it to a DataWorks workspace. Selecione um grupo de recursos de agendamento com pagamento conforme o uso. Quando execute tarefas de script Python e Shell, você pode selecione a imagem mais recente do dataworks_pairec_task_pod. O pod inclui a ferramenta eascmd64 e o SDK Python do PAI-FeatureStore. Para mais informações, consulte Method 1: Use a general-purpose resource group image.
  Engine
  ID and Database of the Hologres Instance	Um engine de armazenamento de recursos em tempo real. Pode ser usado com o FeatureDB. Por exemplo, use o Hologres para armazenar dados de recall de vetores, dados de exposição do usuário e dados de gatilho u2i2i. Use o FeatureDB para armazenar recursos offline e em tempo real de usuários e itens.	Purchase a Hologres instance create a database
  Use PAI-FeatureStore	Um engine de armazenamento de recursos em tempo real.	Configure a FeatureStore project. Create an online store.
  ApsaraDB for Redis Instance ID	Armazena dados de fallback. Pode ser substituído pelo FeatureDB no PAI-FeatureStore.	Create an instance
  PAI-EAS Resource Group	Implanta o engine do sistema de recomendação para orquestrar processos como recall, filtragem, classificação grossa, classificação fina e reclassificação. Também implanta o service de inferência de vetores no lado do usuário para recall de vetores e o service de pontuação de modelo para classificação grossa e fina.	Resource configuration
  Monitoramento e outros
  Log Service	Gerencie os logs de requisição com o SLS.	Create a project
  DataHub Project	Usado para ingestão de logs em tempo real para atualize continuamente o comportamento do usuário para treinamento de modelo. Recomendamos que você priorize o uso do DataHub.	Create a project
  Instance ID and Resource Group of Message Queue for Apache Kafka		Purchase and deploy an instance
  Flink VVP Streaming Service	Processa dados em tempo real e coleta estatísticas de recursos em tempo real. Os resultados podem ser gravados em um banco de dados FeatureDB.	Activate Realtime Compute for Apache Flink

  Sugestões para soluções

  Sugestões com base na complexidade do sistema de recomendação (clique em para visualize detalhes)

  Nota

  A complexidade dos processos de recall, filtragem, modelo e reclassificação de um sistema de recomendação está intimamente relacionada aos requisitos do negócio. Dividimos o desenvolvimento do sistema nas seguintes etapas: inicial, intermediária, melhoria de desempenho e intervenção operacional.

  Fases	Descrição	Sugestões de modelo de recall	Sugestões de classificação e reclassificação
  Fase inicial	Use o Customized Recommendation Solution para construir todo o pipeline de recomendação. Para mais informações, consulte PAI-Rec: Customizing recommendation algorithms.	Use o collaborative filtering (etrec) e a recuperação de itens populares baseada em grupos. Use o FeatureDB para armazenar dados de filtro de exposição do usuário, dados de recall e dados de recursos.	Use o feature configuration (observe o uso de recursos de sequência em tempo real) e o sorting configuration para configurar um modelo multi-tower de objetivo único. Este modelo oferece inferência rápida, bom desempenho e conserva recursos do PAI-EAS.
  Fase intermediária	Adicione recall de vetores e um modelo de classificação de múltiplos objetivos.	Adicione o vector recall. Não é necessário atualize o índice de itens, pois o processador armazena o índice internamente. Para mais informações, consulte a seção de índice Faiss na documentação do TorchEasyRec Processor.	Para múltiplos alvos de previsão, como cliques, compras e curtidas, use o modelo de classificação de múltiplos objetivos DBMTL.
  O negócio precisa perceber rapidamente as mudanças nos itens	Implemente o cold start para itens. Forneça feedback de recursos de itens em tempo real para o modelo de classificação.	Use o algoritmo de cold start de itens. Para mais informações, consulte Recommendation cold-start solution.	Crie uma nova personalização de solução de recomendação. No feature configuration, configure estatísticas em tempo real. Em seguida, no PAI-FeatureStore, create a new feature view e um new model feature. Exporte as novas amostras de treinamento e treine um novo modelo.
  Intervenção operacional	Defina proporções de exposição para diferentes usuários e categorias de itens. Garanta um número mínimo de exposições para novos itens.

  Outras sugestões (clique em para visualize detalhes)

  • PAI-EAS: Configure o scale-out agendado para horários de pico e o scale-in automático para reduzir recursos durante horários de menor movimento. Considere combinar recursos de assinatura com recursos de dimensionamento elástico.