Platform For AI:One-hot encoding

Funcionamento

Para cada coluna especificada, o componente mapeia cada valor distinto a um índice único e gera um indicador binário para cada mapeamento. Uma coluna com três valores distintos produz três colunas binárias, com exatamente uma definida como 1,0 por linha.

O componente oferece suporte a dois modos:

• Treinamento: Lê os dados de entrada, cria uma tabela de mapeamento e grava tanto o resultado codificado quanto a tabela de modelo. Apenas o nó de entrada à esquerda (Input Table Name) é obrigatório.

• Predição: Lê uma tabela de modelo criada anteriormente no nó de entrada à direita (Input Model Table) e aplica a codificação existente aos novos dados. Valores ausentes na tabela de mapeamento são ignorados e não codificados.

Configure o componente

PAI -name one_hot
    -project algo_public
    -DinputTable=one_hot_test
    -DbinaryCols=f0,f1,f2
    -DmodelTable=one_hot_model
    -DoutputTable=one_hot_output
    -Dlifecycle=28;

Exemplo

O exemplo a seguir codifica três colunas — f0 (BIGINT), f2 (DATETIME) e f4 (BOOLEAN) — enquanto repassa f3 (DOUBLE) como recurso reservado e anexa as colunas originais f0, f2 e f4 à saída.

Etapa 1: Dados de entrada de amostra

Etapa 2: Comando PAI

PAI -project algo_public -name one_hot
    -DinputTable=one_hot
    -DbinaryCols=f0,f2,f4
    -DoutputModelTable=one_hot_model_8
    -DoutputTable=one_hot_in_table_1_output_8
    -DdropLast=false
    -DappendCols=f0,f2,f4
    -DignoreNull=false
    -DoutputTableType=table
    -DreserveCols=f3
    -DcoreNum=4
    -DmemSizePerCore=2048;

Etapa 3: Saída

A tabela de modelo mapeia cada valor distinto a um índice. A primeira linha (com col_name fixo em _reserve_) armazena o mapeamento da coluna reservada. Todas as outras linhas correspondem aos mapeamentos de codificação.

Teste de escalabilidade

Dados de teste: 200 milhões de amostras, 100.000 valores de enumeração distintos.

Notas de uso

• Uma única coluna de codificação pode ter até dezenas de milhões de valores distintos.

• A saída KV usa indexação baseada em zero.

• Ao prever com um modelo treinado, dropLast, ignoreNull e reserveCols permanecem fixos nos valores do treinamento e não podem ser substituídos. Retreine o modelo caso precise de valores diferentes.

• Se os novos dados codificados pelo modelo contiverem valores discretos ausentes na tabela de mapeamento, esses valores serão ignorados e não codificados. Para incluir tais valores, retreine a tabela de mapeamento do modelo.

Exemplos de fluxo de trabalho no console:

• Use o componente diretamente para codificação.

• Treine um modelo com o componente e use-o para codificar novos dados.