Histogram - Platform For AI - Centre de documentation Alibaba Cloud

La fonction Visualized Modeling (Designer) de Platform for AI (PAI) met à disposition le composant histogram. Également appelé profil de distribution de masse, un histogram est un graphique statistique composé d’une série de bandes verticales ou de segments de ligne de hauteurs variables, illustrant la distribution des données. L’axe horizontal représente les types de données et l’axe vertical indique leur distribution.

Configurer le composant

Plusieurs méthodes permettent de configurer le composant Histogram (Multiple Columns).

Méthode 1 : Configurer le composant sur la page du pipeline

Dans la page du pipeline de Designer, recherchez Histogram (Multiple Columns) dans le volet de gauche. Faites-le glisser vers le canevas et reliez-le aux nœuds en amont. Cliquez ensuite sur le composant pour définir ses paramètres.

Onglet	Paramètre	Description
Champs	Sélectionner une colonne	Indiquez les colonnes à analyser. Seuls les types DOUBLE et BIGINT sont pris en charge. Le nombre maximal de colonnes est limité à 1 024.
Paramètres	Intervalles	Nombre d’intervalles dans lesquels les données sont réparties.
Réglages	Cœurs	Nombre de cœurs utilisés pour le calcul. La valeur doit être un entier positif. Par défaut, le système sélectionne automatiquement la valeur appropriée.
Réglages	Taille de la mémoire par cœur	Capacité mémoire allouée à chaque cœur. Valeurs possibles : de 1 à 65 536. Unité : Mo. Par défaut, le système sélectionne automatiquement la valeur appropriée.

Une fois le nœud exécuté, faites un clic droit dessus puis choisissez Visual Analysis ou View Data pour consulter sa sortie.

Méthode 2 : Utiliser des commandes PAI

Définissez les paramètres du composant en utilisant le composant SQL Script pour appeler des commandes PAI. Pour plus d’informations, consultez Script SQL.

PAI -name histogram
      -project algo_public
      -DinputTableName=maple_histogram_1to20_input
      -DoutputTableName=maple_histogram_1to20_output
      -DselectedColNames=col0,col1 -DintervalNum=20;

Paramètre	Obligatoire	Description	Valeur par défaut
inputTableName	Oui	Nom de la table d’entrée.	Aucune valeur par défaut
inputTablePartitions	Non	Partitions de la table d’entrée sélectionnées pour l’entraînement. Les formats suivants sont pris en charge : Partition_name=value name1=value1/name2=value2 : partitions multiniveaux Remarque Si vous spécifiez plusieurs partitions, séparez-les par des virgules (,).	Aucune valeur par défaut
outputTableName	Oui	Nom de la table de sortie.	Aucune valeur par défaut
selectedColNames	Oui	Noms des colonnes de la table d’entrée sélectionnées pour l’entraînement. Séparez les noms des différentes colonnes par des virgules (,). Les types INT et DOUBLE sont pris en charge. Le nombre maximal de colonnes est limité à 1 024.	Aucune valeur par défaut
intervalNum	Non	Nombre d’intervalles dans lesquels les données sont réparties.	100
lifecycle	Non	Durée de vie de la table.	Aucune valeur par défaut
coreNum	Non	Nombre de cœurs utilisés pour le calcul. La valeur doit être un entier positif compris entre 1 et 1,9999.	Sélection automatique par le système
memSizePerCore	Non	Capacité mémoire allouée à chaque cœur. Valeurs possibles : de 1 à 65536. Unité : Mo.	Sélection automatique par le système

Exemple

Exemple basé sur la Méthode 2 : Utiliser des commandes PAI

Recherchez SQL Script dans le volet de gauche et faites-le glisser vers le canevas.

Reliez-le aux nœuds en amont pour récupérer les données. Exemple de données :

Exemple de données

col0 (BIGINT)

col1 (DOUBLE)

1,0

2,0

3,0

4,0

5,0

6,0

7,0

8,0

9,0

10,0

11,0

12,0

13,0

14,0

15,0

16,0

17,0

18,0

19,0

20,0

Configurez la commande PAI suivante pour le nœud SQL script.

PAI -name histogram -project algo_public  --Default parameter. You do not need to change it     
    -DinputTableName=maple_histogram_1to20_input  --Name of input table
    -DoutputTableName=maple_histogram_1to20_output  --Name of output table
    -DselectedColNames=col0,col1  --The selected columns
    -DintervalNum=20;  --The number of intervals

Faites un clic droit sur le nœud SQL script et choisissez Run Current Node.

Si les nœuds en amont n’ont pas encore été exécutés, lancez-les d’abord afin de charger les données.

Consultez le résultat depuis la table de sortie. Exemple de sortie :

colname

histogram

col0

[1, 1,95):1;[1,95, 2,9):1;[2,9, 3,85):1;[3,85, 4,8):1;[4,8, 5,75):1;[5,75, 6,7):1;[6,7, 7,65):1;[7,65, 8,6):1;[8,6, 9,55):1;[9,55, 10,5):1;[10,5, 11,45):1;[11,45, 12,4):1;[12,4, 13,35):1;[13,35, 14,3):1;[14,3, 15,25):1;[15,25, 16,2):1;[16,2, 17,15):1;[17,15, 18,1):1;[18,1, 19,05):1;[19,05, 20]:1

col1