O PSI mede a diferença de distribuição entre duas amostras para monitorar a estabilidade do modelo ao longo do tempo ou em diferentes ambientes. Esse índice ajuda a identificar mudanças ou desvios nos dados, orientando a manutenção e as atualizações do modelo.
Como funciona
O PSI avalia a estabilidade da amostra. Por exemplo, é possível determinar se a distribuição de uma variável permanece estável entre dois meses. Um valor de PSI menor que 0,1 indica uma mudança insignificante; valores entre 0,1 e 0,25 apontam para uma mudança moderada; e valores acima de 0,25 sugerem uma alteração significativa que exige atenção.
Avalie visualmente a estabilidade da amostra por meio de gráficos. Discretize uma variável em N intervalos, calcule a contagem e a proporção de amostras em cada intervalo e visualize os resultados em um gráfico de colunas, conforme a figura a seguir.
Embora esse método ofereça uma forma intuitiva de verificar mudanças drásticas em uma variável entre duas amostras, ele não é quantitativo e não serve para monitoramento automatizado de estabilidade. Para isso, o PSI é essencial. A fórmula de cálculo do PSI é apresentada abaixo.
Configure o componente
Método 1: Usar a interface visual
No pipeline do Machine Learning Designer, adicione o componente Population Stability Index (PSI) e configure seus parâmetros no painel à direita.
|
Tipo de parâmetro |
Parâmetro |
Descrição |
|
Configurações de campo |
Recursos para cálculo do PSI |
As colunas de recursos utilizadas no cálculo do PSI. |
|
Ajuste |
Núcleos |
Quantidade de núcleos de CPU a serem utilizados. Por padrão, o sistema aloca esse recurso automaticamente. |
|
Tamanho da memória |
Tamanho de memória para cada núcleo de CPU. Por padrão, o sistema aloca esse recurso automaticamente. |
Método 2: Usar um comando PAI
Utilize um comando PAI para configurar os parâmetros do componente Population Stability Index (PSI). Execute comandos PAI no componente SQL Script. Para mais informações, consulte SQL Script.
PAI -name psi
-project algo_public
-DinputBaseTableName=psi_base_table
-DinputTestTableName=psi_test_table
-DoutputTableName=psi_bin_table
-DinputBinTableName=pai_index_table
-DfeatureColNames=fea1,fea2,fea3
-Dlifecycle=7|
Parâmetro |
Obrigatório |
Padrão |
Descrição |
|
inputBaseTableName |
Sim |
Nenhum |
Nome da tabela base de entrada. O componente mede o desvio da tabela de teste em relação a esta tabela base. |
|
inputBaseTablePartitions |
Não |
Todas as partições |
Partições da tabela base de entrada. |
|
inputTestTableName |
Sim |
Nenhum |
Nome da tabela de teste de entrada. O componente calcula o desvio desta tabela de teste em relação à tabela base. |
|
inputTestTablePartitions |
Não |
Todas as partições |
Partições da tabela de teste de entrada. |
|
inputBinTableName |
Sim |
Nenhum |
Nome da tabela de resultados de discretização de entrada. |
|
featureColNames |
Não |
Todas as colunas |
Colunas de recursos para o cálculo do PSI. |
|
outputTableName |
Sim |
Nenhum |
Nome da tabela de métricas de saída. |
|
lifecycle |
Não |
Nenhum |
Ciclo de vida da tabela de saída. |
|
coreNum |
Não |
Alocado pelo sistema |
Número de núcleos de CPU a serem utilizados. |
|
memSizePerCore |
Não |
Alocado pelo sistema |
Tamanho da memória para cada núcleo de CPU, em MB. |
Exemplo
Antes de calcular o PSI, discretize os dados dos recursos usando um componente de discretização. Conforme ilustrado na figura abaixo, o componente Population Stability Index (PSI) conecta-se a dois conjuntos de dados de amostra para comparação e a um componente de discretização. Para executar o cálculo, basta configurar o parâmetro Features for PSI calculation.
Os resultados do cálculo do PSI constam no relatório do modelo. Esse relatório exibe o valor do PSI e os detalhes de discretização de cada recurso em uma tabela hierárquica expansível. As colunas são Feature, Bin, Test %, Base %, Test - Base, ln(Test/Base) e PSI. Por exemplo, o PSI do recurso age é 0,0475 (com 7 intervalos), o do recurso menopause é 0,0588 (com 6 intervalos) e o do recurso tumor_size é 0,0409. Expanda a linha de cada recurso para visualizar a contribuição de cada intervalo no PSI total.