Binary classification evaluation - Platform For AI - Centre de documentation Alibaba Cloud

Le composant Binary Classification Evaluation mesure les performances des modèles de classification binaire. Il calcule l’AUC (aire sous la courbe ROC), le KS (Kolmogorov-Smirnov) et le score F1, et génère une série de graphiques pour une analyse visuelle. Utilisez ce composant après avoir entraîné un classifieur binaire dans PAI Designer afin de déterminer dans quelle mesure le modèle distingue les classes positives et négatives.

Sorties

Métriques

Métrique	Ce qu’elle mesure
AUC (aire sous la courbe ROC)	La capacité globale de séparation entre les classes positive et négative pour tous les seuils de décision. Une AUC plus élevée indique que le modèle classe les échantillons positifs au-dessus des échantillons négatifs de manière plus fiable. Les valeurs varient de 0 à 1 ; 0,5 signifie aucune discrimination.
KS (Kolmogorov-Smirnov)	L’écart maximal entre les distributions cumulées des échantillons positifs et négatifs. Une valeur KS plus élevée indique une meilleure séparation des classes. Cette métrique est couramment utilisée dans le scoring crédit et la modélisation des risques.
Score F1	Moyenne harmonique de la précision et du rappel. Privilégiez le score F1 lorsque vous devez équilibrer le compromis entre faux positifs et faux négatifs, en particulier sur des jeux de données déséquilibrés.

Graphiques

Graphique	Ce qu’il affiche
Courbe KS	L’écart entre les distributions cumulées des échantillons positifs et négatifs à chaque seuil de décision.
Courbe précision-rappel (PR)	Le compromis entre la précision et le rappel selon les seuils. Utile lorsque les échantillons positifs sont rares.
Courbe ROC (Receiver Operating Characteristic)	Le taux de vrais positifs par rapport au taux de faux positifs selon les seuils. L’aire sous cette courbe correspond à l’AUC.
Graphique Lift	L’amélioration des performances du modèle par rapport à une sélection aléatoire, pour une fraction donnée de la population. Par exemple, un Lift de 3 sur les 10 % supérieurs signifie que le modèle identifie trois fois plus d’échantillons positifs qu’un échantillonnage aléatoire dans ce groupe.
Graphique Gain	Le pourcentage cumulé d’échantillons positifs capturés à mesure que vous augmentez la fraction de la population ciblée. Utile pour les tâches de sélection basées sur le classement, telles que les campagnes marketing.

Configurer le composant

Méthode 1 : Utiliser l’interface graphique

Sur la page du workflow Designer, ajoutez le composant Binary Classification Evaluation et configurez ses paramètres dans le volet droit.

Paramètre	Description
Label column name	Le nom de la colonne cible.
Score column name	La colonne contenant les scores de prédiction. Il s’agit généralement de la colonne `prediction_score`.
Positive sample label value	La valeur d’étiquette qui identifie les échantillons positifs.
Number of bins for equal frequency binning	Le nombre de compartiments pour le partitionnement à fréquence égale.
Group column name	La colonne d’identifiant de groupe. Les métriques d’évaluation sont calculées séparément pour chaque groupe. Utilisez cette option pour les scénarios d’évaluation par groupe.
Advanced options	Sélectionnez cette case à cocher pour afficher les paramètres Prediction detail column, Are prediction and evaluation targets consistent et Save performance metrics.
Prediction detail column	Le nom de la colonne contenant les détails de la prédiction.
Are prediction and evaluation targets consistent	Indique si le modèle prédit la même classe que celle ciblée par la métrique d’évaluation. Consultez la section Cohérence entre la cible de prédiction et la cible d’évaluation.
Save performance metrics	Indique s’il faut enregistrer les métriques de performance dans une table de sortie.

Cohérence entre la cible de prédiction et la cible d’évaluation

Ce paramètre contrôle le calcul des métriques basées sur le classement, telles que le Lift, lorsque la classe prédite par le modèle diffère de la classe évaluée par la métrique.

Scénario	Le modèle prédit	La métrique évalue	Cohérent ?
Finance (scoring de risque)	Probabilité qu’un client soit « mauvais » — un score plus élevé signifie une probabilité plus grande d’être un mauvais client	Taux de détection des mauvais clients	Oui
Scoring crédit	Probabilité qu’un client soit « bon » — un score plus élevé signifie une probabilité plus grande d’être un bon client	Taux de détection des mauvais clients	Non

Méthode 2 : Utiliser les commandes PAI

Appelez le composant via le composant SQL Script en utilisant la syntaxe de commande PAI suivante. Pour plus d’informations sur l’appel des commandes PAI, consultez la rubrique SQL Script.

PAI -name=evaluate -project=algo_public
    -DoutputMetricTableName=output_metric_table
    -DoutputDetailTableName=output_detail_table
    -DinputTableName=input_data_table
    -DlabelColName=label
    -DscoreColName=score

Paramètre	Obligatoire	Valeur par défaut	Description
`inputTableName`	Oui	—	Le nom de la table d’entrée.
`inputTablePartitions`	Non	Table complète	Les partitions de la table d’entrée.
`labelColName`	Oui	—	Le nom de la colonne cible.
`scoreColName`	Oui	—	Le nom de la colonne de score.
`groupColName`	Non	—	Le nom de la colonne de groupe. Utilisez cette option pour les scénarios d’évaluation par groupe.
`binCount`	Non	1000	Le nombre de compartiments à fréquence égale pour le calcul des métriques telles que KS et PR.
`outputMetricTableName`	Oui	—	La table de sortie des métriques, qui inclut l’AUC, le KS et le score F1.
`outputDetailTableName`	Non	—	La table de données détaillées utilisée pour tracer les graphiques.
`positiveLabel`	Non	1	La valeur d’étiquette pour les échantillons positifs.
`lifecycle`	Non	—	Le cycle de vie de la table de sortie.
`coreNum`	Non	Calcul automatique	Le nombre de cœurs.
`memSizePerCore`	Non	Calcul automatique	La taille de la mémoire par cœur.