:Campos de dados, campos de features e features FG no EasyRec

Pipeline offline

1. O FeatureStore utiliza UserViews (visualizações de features do usuário), ItemViews (visualizações de features do item) e uma Label Table (tabelas do MaxCompute com rótulos de treinamento) para construir a tabela de amostras de treinamento.

2. O FG transforma a tabela de amostras de treinamento na tabela de resultados rank_sample_fg_encoded usando o pacote fg_on_odps-1.3.59-jar-with-dependencies.jar e o arquivo fg.json.

3. O PAI treina o modelo com base no easyrec.conf, exporta-o e o armazena no Object Storage Service (OSS).

Pipeline online

1. O motor PAI-Rec busca as features do usuário e os IDs dos itens para pontuação.

2. O motor solicita ao processador EasyRec a montagem das features, combinando as features de usuário das requisições com as features de item em cache para geração.

3. O processador EasyRec executa o FG online para transformar as features seguindo a mesma lógica do fg.json do pipeline offline, assegurando a consistência entre os ambientes.

4. O processador EasyRec pontua os IDs dos itens e retorna os resultados.

data_config — descrição da entrada bruta

O bloco data_config define nomes, tipos e valores padrão para dados ausentes nas colunas de entrada bruta. Os tipos de valor aceitos são int, double e string. Os dados podem vir de arquivos CSV, tabelas do MaxCompute ou fluxos de dados do Apache Kafka.

Para referência completa, consulte Campos de dados no EasyRec.

Exemplo: campo de par chave-valor com imputação de valores ausentes

input_fields: {
  input_name: "prop_kv"
  input_type: STRING
  default_val: "-1024:0"
}

O default_val definido como -1024:0 é um par chave-valor usado para imputar valores ausentes. Durante o treinamento, o sistema substitui os valores ausentes por esse padrão ao ler os dados. Na inferência online, a imputação deve ocorrer antes da execução. Se você usar o FG, configure a imputação de valores ausentes no fg.json, pois essa configuração se aplica aos sistemas offline e online.

feature_config — interpretação dos campos para o modelo

O bloco feature_config especifica como o modelo analisa e utiliza cada campo de dado. Um único campo STRING pode ser interpretado como feature de ID, feature de tag ou feature de sequência. A interpretação depende inteiramente do feature_type definido aqui.

Para referência completa, consulte feature_config.

features {
  input_names: "user_id"
  feature_type: IdFeature
  embedding_dim: 32
  hash_bucket_size: 100000
}

features {
  input_names: "ctr"
  feature_type: RawFeature
  boundaries: [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0]
  embedding_dim: 8
}

features : {
  input_names: "tags"
  feature_type: TagFeature
  separator: "|"
  hash_bucket_size: 100000
  embedding_dim: 24
}

{
  "map": "user:map_brand_click_kv",
  "key": "item:brand",
  "feature_name": "map_brand_click_count",
  "feature_type": "lookup_feature",
  "needDiscrete": false
}

Qual a origem dos valores de boundaries?

Execute o componente Binning do PAI nos dados de treinamento para calcular os pontos de divisão. O componente realiza a discretização e gera um conjunto de valores de limite que refletem a distribuição dos dados.

Após obter os limites, adicione-os a feature_configs no easyrec.conf:

feature_configs: {
  input_names: "CTR"
  feature_type: RawFeature
  boundaries: [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0]
  embedding_dim: 8
}

Os limites criam 11 intervalos — (-inf, 0.1), [0.1, 0.2), até [0.9, 1.0) — e cada intervalo é convertido em um vetor de embedding usando embedding_dim.

Como o FG mantém a consistência das transformações de features offline e online?

O job MapReduce offline e o processador EasyRec online leem o mesmo arquivo fg.json e executam o mesmo código de transformação. Não existem implementações separadas para offline e online; a consistência resulta do uso de um único caminho de código.

Onde configuro a imputação de valores ausentes?

Se você não usar o FG, defina o parâmetro default_val para cada campo em data_config no easyrec.conf. O sistema substitui os valores ausentes por esse padrão ao ler os dados durante o treinamento. Na inferência online, a imputação deve ocorrer antes da execução.

Se você usar o FG, configure a imputação de valores ausentes no fg.json. Essa configuração única se aplica aos sistemas offline e online.