Platform For AI:Melhores práticas para personalização de algoritmos modulares no PAI-Rec

Use um conjunto de dados público para configurar engenharia de features, recall e ranking no PAI-Rec e implante o código gerado no DataWorks. A abordagem modular permite publicar ou despublicar componentes individuais sem afetar o restante do pipeline.

Por que modularizar a personalização da solução de recomendação?

• Grupos de features simplificam a iteração do modelo.

• A publicação com um clique implanta o código e inicia o backfill de dados automaticamente.

• Somente o módulo de ranking executa o backfill completo de todos os componentes necessários (grupos de features, amostras e módulos de geração de features), reduzindo o retrabalho causado por erros na engenharia de features.

Pré-requisitos

Conclua as seguintes preparações:

• Create a bucket no OSS.

• Activate PAI and create a default workspace.

• Crie uma VPC e um vSwitch. Build a VPC with an IPv4 CIDR block.

• Ative o PAI-FeatureStore (consulte a seção Prerequisites em Create a Data Source). Não ative o Hologres. Selecione FeatureDB como source de dados (Create an Online Data Source: FeatureDB).

• Activate MaxCompute e Create a MaxCompute project chamado project_mc.

• Consulte o Purchase guide e conclua as seguintes operações:

  • Create a workspace no DataWorks.

  • Adquira um grupo de recursos Serverless (Use a Serverless resource group). Esse grupo sincroniza dados para o PAI-FeatureStore e executa comandos eascmd para criar e atualizar services do PAI-EAS.

  • Configure as fontes de dados do DataWorks:

    • Crie e vincule uma source de dados OSS (Data Source Management).

    • Crie e vincule uma source de dados MaxCompute (Bind MaxCompute compute resources).

• Crie um projeto FeatureStore e uma entidade de feature (Step 2: Create and register FeatureStore). Ignore esta etapa se usar um grupo de recursos Serverless. Se usar um grupo de recursos dedicado, instale o SDK Python do FeatureStore no grupo de recursos (Install the FeatureStore Python SDK).

• Activate Realtime Compute for Apache Flink. Em Storage type, selecione OSS bucket (não selecione Fully managed storage). O bucket OSS deve corresponder ao configurado para o PAI-Rec. O Flink registra dados de comportamento do usuário em tempo real e calcula features de usuário em tempo real.

• Se usar o EasyRec (framework baseado em TensorFlow), o treinamento será executado no MaxCompute por padrão.

• Se usar o TorchEasyRec (framework baseado em PyTorch), o treinamento será executado no PAI-DLC por padrão. Para baixar dados do MaxCompute no PAI-DLC, ative o Data Transmission Service (Purchase and use a dedicated Data Transmission Service resource group).

1. Criar uma instância do PAI-Rec e inicializar o service

1. Faça login na página inicial da Recommendation System Development Platform e clique em Buy Now.

2. Na página de compra da instância PAI-Rec, configure os parâmetros principais a seguir e clique em Buy Now.

   Parameter	Description
   Region and zone	Região onde o service cloud está implantado.
   Service Type	Selecione Standard Edition and enable Recommendation Solution Customization.

3. Faça login no PAI-Rec Management Console. No canto superior esquerdo da barra de menu superior, selecione uma região.

4. No painel de navegação à esquerda, escolha Instances e clique no nome da instância para abrir a página de detalhes.

5. Na seção Procedure, clique em Cloud Service Configuration para abrir a página System Configuration > Cloud Service Configuration. Clique em Edit, configure os parâmetros conforme a tabela Resource configuration e clique em Exit.

   Resource configuration

   Parameter	Description
   Modeling
   Machine Learning Platform for AI Workspace	Insira o workspace padrão do PAI criado.
   DataWorks Workspace	Insira o workspace do DataWorks gerado automaticamente.
   MaxCompute Workspace	Insira o projeto MaxCompute criado.
   OSS Bucket	Selecione o bucket OSS criado.
   Engine
   Real-time Recall Engine	Na opção Whether to use PAI-FeatureStore, selecione Yes.
   Real-time Feature Query	Na opção Whether to use PAI-FeatureStore, selecione Yes.

6. No painel de navegação à esquerda, escolha System Configuration > Permissions. Na aba Services, verifique o status de autorização de cada service cloud.

2. Clonar o conjunto de dados público

1. Sincronizar tabela de dados

Há duas opções de entrada de dados:

1. Clonar dados do pai_online_project dentro de uma janela de tempo fixa. Esta opção não suporta tarefas agendadas.

2. Usar um script Python para gerar dados. Execute a tarefa no DataWorks para gerar dados de um intervalo de tempo especificado.

Para geração diária agendada de dados e treinamento de modelos, implante um script Python. Consulte a aba Generate data using code.

CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_v1(
 user_id BIGINT COMMENT 'Unique user ID',
 gender STRING COMMENT 'Gender',
 age BIGINT COMMENT 'Age',
 city STRING COMMENT 'City',
 item_cnt BIGINT COMMENT 'Number of published items',
 follow_cnt BIGINT COMMENT 'Number of followed accounts',
 follower_cnt BIGINT COMMENT 'Number of followers',
 register_time BIGINT COMMENT 'Registration time',
 tags STRING COMMENT 'User tags'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_user_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_user_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_item_table_v1(
 item_id BIGINT COMMENT 'Item ID',
 duration DOUBLE COMMENT 'Video duration',
 title STRING COMMENT 'Title',
 category STRING COMMENT 'Primary category',
 author BIGINT COMMENT 'Author',
 click_count BIGINT COMMENT 'Total clicks',
 praise_count BIGINT COMMENT 'Total likes',
 pub_time BIGINT COMMENT 'Publish time'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_item_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_item_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_behavior_table_v1(
 request_id STRING COMMENT 'Tracking ID/Request ID',
 user_id STRING COMMENT 'Unique user ID',
 exp_id STRING COMMENT 'Experiment ID',
 page STRING COMMENT 'Page',
 net_type STRING COMMENT 'Network type',
 event_time BIGINT COMMENT 'Event time',
 item_id STRING COMMENT 'Item ID',
 event STRING COMMENT 'Event type',
 playtime DOUBLE COMMENT 'Playback/Reading duration'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_behavior_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_behavior_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";

2. Configurar nós de dependência

Adicione três nós virtuais ao projeto DataWorks com dependências de agendamento no nó raiz e publique-os:

1. Passe o mouse sobre Create e selecione new node > General-purpose > virtual node. Crie três nós virtuais usando a configuração de recursos a seguir e clique em Confirm.

   Resource configuration

   Parameter	Description	Default example
   Node type	Selecione o tipo de nó.	Virtual node
   Path	Selecione o caminho do nó atual.	Business Flow/Workflow/General
   Name	Insira o nome da tabela de dados sincronizada correspondente.	rec_sln_demo_user_table_v1 rec_sln_demo_item_table_v1 rec_sln_demo_behavior_table_v1

2. Selecione cada nó e defina seu conteúdo como select 1;. Em seguida, clique em Configure Scheduling à direita e conclua as configurações a seguir:

   • Na seção Time attributes, defina o Rerun attribute como Rerun node after success or failure.

   • Na seção Scheduling dependencies > Ancestor Nodes, insira o nome do workspace DataWorks, selecione o nó com o sufixo _root e clique em Add.

     Aplique essa configuração de dependência aos três nós virtuais.

3. Clique no ícone de cada nó virtual para enviar o nó.

3. Registrar dados

Registre as três tabelas sincronizadas no PAI-Rec antes de configurar a engenharia de features, recall e ranking:

1. Faça login no PAI-Rec Management Console e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, clique em Instances e clique no nome de uma instância para abrir sua página de detalhes.

3. No painel de navegação à esquerda, acesse Recommendation Solution Customization > Data Registration. Na aba MaxCompute Table, clique em Create Data Table. Adicione uma tabela de usuários, uma tabela de itens e uma tabela de comportamentos usando a configuração na tabela abaixo. Em seguida, clique em Import.

   Parameter	Description	Example
   MaxCompute project	Selecione o projeto MaxCompute criado.	project_mc
   MaxCompute table	Selecione as tabelas de dados sincronizadas com seu workspace DataWorks.	User table: rec_sln_demo_user_table_v1 Item table: rec_sln_demo_item_table_v1 Behavior table: rec_sln_demo_behavior_table_v1
   Data table name	Insira um nome personalizado.	User table Item table Behavior table

4. Criar um cenário de recomendação

Crie um cenário de recomendação antes de configurar as tarefas de recomendação. Para conceitos básicos e codificação de tráfego, consulte Basic Concepts.

No painel de navegação à esquerda, clique em Recommendation Scenario e depois em Create Scenario. Configure um cenário de recomendação com a configuração de recursos a seguir e clique em Determine.

5. Configurar um algoritmo

Uma configuração completa de produção inclui as definições de recall e ranking a seguir:

• Recall hot global: recupera os top-K itens mais populares com base em dados de log.

• Recall hot agrupado: recupera candidatos de itens populares de grupos específicos, como cidade ou gênero, para melhorar a relevância.

• Recall etrec u2i: usa o algoritmo de filtragem colaborativa etrec.

• Recall Swing u2i (opcional): usa o algoritmo Swing.

• Recall vetorial (opcional): gera candidatos usando o Deep Structured Semantic Model (DSSM).

• Ranking refinado: usa o modelo MultiTower para ranking de objetivo único e o modelo DBMTL para ranking multiobjetivo.

As etapas a seguir abordam o recall hot global e o recall etrec u2i de RECommender (eTREC, a collaborative filtering implementation), além do ranking refinado. Procedimento:

1. No painel de navegação à esquerda, escolha Recommendation Solution Customization. Selecione um cenário criado e clique em Create Modular Recommendation Solution. Crie uma solução com as configurações de recursos a seguir e clique em Save and Go to Algorithm Solution Configuration.

   Mantenha os parâmetros não especificados com seus valores padrão. Data Table Configuration.

   Resource configuration

   Parameter	Description
   Solution Name	Insira um nome personalizado.
   Scenario Name	Selecione o cenário de recomendação criado.
   Offline Data Source	Selecione o projeto MaxCompute associado ao cenário de recomendação.
   Algorithm Framework	Selecione PyTorch. Escolha um framework de algoritmo diferente conforme sua preferência.
   DataWorks Workspace	Selecione o workspace DataWorks associado ao cenário de recomendação.
   Workflow Name	Nome do fluxo de negócios criado no DataWorks quando o script da solução de recomendação é implantado. Insira um nome personalizado, como Flow.
   StorageAPI configuration	China continental: para regiões como China (Beijing) e China (Shanghai), selecione "StorageAPI", um service de transmissão de dados com pagamento conforme o uso. Outras regiões: para regiões como China (Hong Kong), Singapore e Germany (Frankfurt), primeiro purchase and use a dedicated Data Transmission Service resource group. Se a opção de pagamento conforme o uso não estiver disponível, adquira um service de transmissão de dados baseado em assinatura. Após a compra, atualize a página e selecione o nome do service baseado em assinatura. Na tarefa de treinamento TorchEasyRec do PAI-DLC no DataWorks, adicione um parâmetro em formato semelhante ao seguinte: -odps_data_quota_name ot_xxxx_p#ot_yyyy.
   slim_mode	Ative esta opção se a versão do DataWorks limitar o tamanho dos pacotes de código importados. Nesse caso, carregue manualmente os pacotes que excederem o limite. Para esta solução, selecione No.
   OSS bucket	Selecione o bucket OSS associado ao cenário de recomendação.
   Project	Selecione o projeto FeatureStore criado e escolha FeatureDB como source de dados online.
   User Entity	Selecione a entidade de feature user do projeto FeatureStore.
   Item Entity	Selecione a entidade de feature item do projeto FeatureStore.

2. Na aba Configure Table, clique em Add ao lado de uma tabela de dados. Configure a behavior log table, a user table e a item table definindo seus campos correspondentes de partição, evento, feature e timestamp, e clique em Next.

   Mantenha os parâmetros não especificados com seus valores padrão. Data Table Configuration.

   Behavior log table resource configuration

   Ajuste as configurações com base nos dados reais. Neste tutorial, o log de comportamento contém o ID da solicitação, identificador único do usuário, página, timestamp do evento e tipo de evento. Se a tabela incluir dimensões adicionais, categorize-as como informações de usuário ou de item para simplificar a engenharia de features.

   Parameter	Description	Default example
   Behavior table name	Selecione a tabela de comportamento registrada.	rec_sln_demo_behavior_table_v1
   Time partition	Campo de partição da tabela de comportamento.	ds yyyymmdd
   Behavior information configuration
   Request ID	ID que identifica cada solicitação de recomendação nos logs, geralmente um UUID gerado por programa. Opcional.	request_id
   Behavior event	Campo que registra eventos de comportamento nos logs.	event
   Behavior event enum values	Valores enumerados para eventos de comportamento, como exposição, clique, adição ao carrinho ou compra.	expr,click,praise
   Behavior value	Campo que representa a profundidade de um comportamento, como preço da transação ou duração da visualização.	playtime
   Behavior timestamp	Momento em que o evento de log ocorreu, como um timestamp com precisão de segundos.	event_time
   Timestamp format	Usado em conjunto com o timestamp de comportamento.	unixtime
   Behavior scenario	Cenário onde o log foi gerado, como homepage, página de busca ou página de detalhes do product.	page
   Scenario enum values	Especifica quais dados de cenários usar, permitindo estatísticas de features por cenário na engenharia de features.	home,detail
   User information configuration
   User ID	Campo do ID do usuário na tabela de comportamento.	user_id
   User categorical features	Features categóricas de usuário na tabela de comportamento, como tipo de rede, plataforma operacional ou gênero.	net_type
   Item information configuration
   Item ID	Campo do ID do item na tabela de comportamento.	item_id

   User table resource configuration

   Parameter	Description	Default example
   User table name	Selecione a tabela de usuários registrada.	rec_sln_demo_user_table_v1
   Time partition	Campo de partição de tempo da tabela de usuários.	ds yyyymmdd
   User information configuration
   User ID	Campo de ID do usuário na tabela de usuários.	user_id
   Registration timestamp	Momento em que o usuário se registrou.	register_time
   Timestamp format	Usado em conjunto com o timestamp de registro.	unixtime
   Categorical feature	Campos categóricos na tabela de usuários, como gênero, faixa etária ou cidade.	gender,city
   Numerical Features	Campos numéricos na tabela de usuários, como número de itens criados ou pontos.	age,item_cnt,follow_cnt,follower_cnt
   Tag feature	Nome do campo de feature de tag.	tags

   Item table resource configuration

   Parameter	Description	Default example
   Item table name	Selecione a tabela de itens registrada.	rec_sln_demo_item_table_v1
   Time partition	Campo de partição de tempo da tabela de itens.	ds yyyymmdd
   Item information configuration
   Item ID	Campo de ID do item na tabela de itens.	item_id
   Author ID	Autor do item.	author
   Listing timestamp	Nome do campo de timestamp de publicação do item.	pub_time
   Timestamp format	Usado em conjunto com o timestamp de publicação.	unixtime
   Categorical feature	Campos categóricos na tabela de itens, como categoria.	category
   Numerical Features	Campos numéricos na tabela de itens, como preço, vendas acumuladas ou número de curtidas.	click_count,praise_count

3. Em Feature Group Configuration, clique em Add. Configure os parâmetros conforme a tabela a seguir. Defina o nome e a versão do módulo de features e selecione a tabela de usuários, a tabela de itens e a tabela de log de comportamento configuradas na aba Configure Table.

   Resource configuration

   Parameter	Description	Default example
   Statistical Period	Usado para geração de features em lote. Para limitar o número de features, defina os períodos estatísticos como 3, 7 e 15 dias. Esses períodos calculam features estatísticas para usuários e itens nas janelas de tempo correspondentes. Se o comportamento do usuário for esparso, considere usar um período de 21 dias.	3,7,15
   Behavior	Selecione os eventos de comportamento configurados. Recomendamos adicioná-los na seguinte ordem: expr (exposição), click e praise.	expr,click,praise

   Clique em Determine. Essa ação gera várias features estatísticas para usuários e itens. Clique em Configure Feature neste grupo de features para visualizar as features de validação. Para esta solução, não edite as features derivadas; mantenha as configurações padrão. Edite features derivadas para adequá-las às necessidades do negócio (Feature Configuration). Clique em Publish para este grupo de features, selecione a data de partição de dados mais recente como data de execução da tarefa, defina o paralelismo máximo da tarefa como 10 e mantenha as outras configurações com seus valores padrão. Em seguida, clique em Determine. Essa ação gera um nó, implanta-o no DataWorks e faz o backfill de dados por data. Aguarde até que o status do módulo mude para Published antes de prosseguir. Clique em Online Details para visualizar mais informações sobre o módulo. Na Data Refill Task List, verifique o status de execução de cada tarefa. Se uma tarefa falhar, clique em View Task Node para ir ao DataWorks e visualizar informações detalhadas do erro. Após corrigir o problema, localize o nó na Data Refill Task List e clique em Rerun. Após o sucesso da tarefa, prossiga.

4. Em Label Table Configuration, este módulo constrói alvos de amostra a partir da tabela de comportamento. Clique em Add, escolha Label Module como tipo de módulo, insira um nome para o módulo de rótulo e selecione o módulo de features configurado na etapa anterior. Clique em Create ao lado de Fine-grained ranking target settings (labels) e adicione os dois rótulos a seguir:

   • Alvo 1: defina Fine-grained ranking target name como is_click, defina Fine-grained ranking target expression como max(if(event='click',1,0)) e selecione CLASSIFICATION para Target type.

   • Alvo 2 (observe que o 'l' em 'ln' é minúsculo): defina Fine-grained ranking target name como ln_playtime, defina Fine-grained ranking target expression como ln(sum(playtime)+1), defina Fine-grained ranking target dependency como is_click e selecione REGRESSION para Target type. Em seguida, clique em OK.

   • Após clicar em Determine, publique o módulo da mesma forma que publicou o módulo de features. Aguarde até que o status mude para Published antes de prosseguir.

5. Em Sample Configuration, este módulo associa tabelas de alvos de amostra com features e gera features de modelo no FeatureStore. Clique em Add, escolha Sample Module como tipo de módulo, nomeie a feature do modelo e selecione os módulos de features e rótulos das etapas anteriores. Publique o módulo e aguarde até que o status mude para Published antes de prosseguir.

6. Em Feature Generation Configuration, este módulo deriva features adicionais de todas as features na tabela de amostra. A configuração personalizada não é suportada atualmente. Clique em Add, escolha Feature Generation como tipo de módulo, escolha Ranking como tipo de geração de features e selecione o módulo de features do modelo da etapa anterior de configuração de amostra. Aguarde até que o status mude para Published antes de prosseguir.

7. Em Configure Sorting Method, clique em Add na seção de ranking refinado. Para a saída do módulo de features, selecione o módulo de geração de features da etapa anterior. Mantenha as outras opções com seus valores padrão e clique em Determine. Em seguida, publique o módulo. Depois que o status mudar para Published, o service de modelo será implantado no PAI-EAS.

8. Em Retrieval Configuration, clique em Add ao lado da categoria alvo, configure os parâmetros, clique em Confirm e, em seguida, clique em Publish para publicar a configuração. Este documento inclui vários métodos de configuração de recall. Para concluir a implantação rapidamente, configure apenas Global Hot Recall e etrec u2i Recall. Os outros métodos, como recall vetorial e recall de métrica colaborativa, servem apenas como referência.