Evaluación de clasificación binaria - Platform For AI - Centro de documentación de Alibaba Cloud

El componente Binary Classification Evaluation mide el rendimiento de los modelos de clasificación binaria. Calcula AUC (área bajo la curva ROC), KS (Kolmogorov-Smirnov) y F1 score, además de generar un conjunto de gráficas para su análisis visual. Utilice este componente después de entrenar un clasificador binario en PAI Designer para comprender qué tan bien separa el modelo las clases positivas y negativas.

Salidas

Métricas

Métrica	Qué mide
AUC (área bajo la curva ROC)	La capacidad general de separación entre las clases positivas y negativas en todos los umbrales de decisión. Un AUC más alto indica que el modelo clasifica las muestras positivas por encima de las negativas con mayor fiabilidad. Los valores oscilan entre 0 y 1; 0.5 indica ausencia de discriminación.
KS (Kolmogorov-Smirnov)	La separación máxima entre las distribuciones acumuladas de las muestras positivas y negativas. Un valor KS más alto señala una separación de clases más sólida. Se usa comúnmente en calificación crediticia y modelado de riesgos.
F1 score	La media armónica de la precisión y la exhaustividad. Utilice F1 cuando necesite equilibrar la compensación entre falsos positivos y falsos negativos, especialmente en conjuntos de datos desbalanceados.

Gráficas

Gráfica	Qué muestra
Curva KS	La diferencia de distribución acumulada entre las muestras positivas y negativas en cada umbral de decisión.
Curva de precisión-exhaustividad (PR)	La compensación entre precisión y exhaustividad en distintos umbrales. Resulta útil cuando las muestras positivas son escasas.
Curva característica operativa del receptor (ROC)	La tasa de verdaderos positivos frente a la tasa de falsos positivos en diferentes umbrales. El área bajo esta curva equivale al AUC.
Gráfica de Lift	Cuánto mejora el rendimiento del modelo en comparación con una selección aleatoria, dada una fracción específica de la población. Por ejemplo, un lift de 3 en el 10% superior significa que el modelo encuentra tres veces más positivos que un muestreo aleatorio en ese grupo.
Gráfica de ganancia	El porcentaje acumulado de muestras positivas capturadas a medida que aumenta la fracción de la población objetivo. Es útil para tareas de selección basadas en ordenamiento, como campañas de marketing.

Configurar el componente

Método 1: Usar la GUI

En la página del flujo de trabajo de Designer, agregue el componente Binary Classification Evaluation y configure sus parámetros en el panel derecho.

Parámetro	Descripción
Label column name	El nombre de la columna objetivo.
Score column name	La columna de puntuación de predicción. Por lo general, se trata de la columna `prediction_score`.
Positive sample label value	El valor de etiqueta que identifica las muestras positivas.
Number of bins for equal frequency binning	El número de intervalos para la partición de frecuencia equitativa.
Group column name	La columna de ID de grupo. Las métricas de evaluación se calculan por separado para cada grupo. Utilice esta opción en escenarios de evaluación por grupos.
Advanced options	Seleccione esta casilla para mostrar los parámetros Prediction detail column, Are prediction and evaluation targets consistent y Save performance metrics.
Prediction detail column	El nombre de la columna que contiene los detalles de la predicción.
Are prediction and evaluation targets consistent	Indica si el modelo predice la misma clase que evalúa la métrica. Consulte Consistencia entre los objetivos de predicción y evaluación.
Save performance metrics	Indica si se deben guardar las métricas de rendimiento en una tabla de salida.

Consistencia entre los objetivos de predicción y evaluación

Esta configuración controla cómo se calculan las métricas basadas en ordenamiento, como Lift, cuando la clase que predice el modelo difiere de la clase que evalúa la métrica.

Escenario	El modelo predice	La métrica evalúa	¿Consistente?
Finanzas (calificación de riesgo)	Probabilidad de que un cliente sea "malo": una puntuación más alta indica mayor probabilidad de ser malo	Tasa de detección de clientes malos	Sí
Calificación crediticia	Probabilidad de que un cliente sea "bueno": una puntuación más alta indica mayor probabilidad de ser bueno	Tasa de detección de clientes malos	No

Método 2: Usar comandos de PAI

Invoque el componente mediante el componente SQL Script con la siguiente sintaxis de comando de PAI. Para obtener más información sobre cómo invocar comandos de PAI, consulte SQL Script.

PAI -name=evaluate -project=algo_public
    -DoutputMetricTableName=output_metric_table
    -DoutputDetailTableName=output_detail_table
    -DinputTableName=input_data_table
    -DlabelColName=label
    -DscoreColName=score

Parámetro	Obligatorio	Predeterminado	Descripción
`inputTableName`	Sí	—	El nombre de la tabla de entrada.
`inputTablePartitions`	No	Tabla completa	Las particiones de la tabla de entrada.
`labelColName`	Sí	—	El nombre de la columna objetivo.
`scoreColName`	Sí	—	El nombre de la columna de puntuación.
`groupColName`	No	—	El nombre de la columna de grupo. Utilice esta opción en escenarios de evaluación por grupos.
`binCount`	No	1000	El número de intervalos de frecuencia equitativa para calcular métricas como KS y PR.
`outputMetricTableName`	Sí	—	La tabla de salida para las métricas, que incluye AUC, KS y F1 score.
`outputDetailTableName`	No	—	La tabla de datos detallados utilizada para generar las gráficas.
`positiveLabel`	No	1	El valor de etiqueta para las muestras positivas.
`lifecycle`	No	—	El ciclo de vida de la tabla de salida.
`coreNum`	No	Calculado automáticamente	El número de núcleos.
`memSizePerCore`	No	Calculado automáticamente	El tamaño de memoria por núcleo.