Le composant Filtrage et mappage permet de sélectionner et de renommer des colonnes, ainsi que de filtrer les lignes selon une condition lors du nettoyage des données et de l'ingénierie des fonctionnalités. Utilisez-le pour contrôler les colonnes et les lignes transmises aux composants de modélisation en aval.
Configuration du composant
Configurez le composant depuis la page du pipeline (recommandé) ou en appelant une commande PAI dans le composant SQL Script.
Configuration sur la page du pipeline
Ajoutez le composant Filtering and Mapping à votre pipeline et spécifiez les paramètres suivants :
| Paramètre | Description |
|---|---|
| Mapping Rules | Colonnes à inclure dans la sortie. Par défaut, toutes les colonnes sont sélectionnées. Pour renommer une colonne, modifiez son nom dans ce champ. |
| Filter Criteria | Expression de filtrage des lignes, équivalente à une clause WHERE SQL. Spécifiez un nom de colonne, un opérateur et une valeur — par exemple, age>40. |
Opérateurs pris en charge pour Filter Criteria :
| Opérateur |
|---|
= |
!= |
> |
< |
>= |
<= |
like |
rlike |
Utilisation des commandes PAI
Utilisez le composant SQL Script pour appeler des commandes PAI. Pour les instructions de configuration, consultez SQL Script.
PAI -name Filter
-project algo_public
-DoutTableName="test_9"
-DinputPartitions="pt=20150501"
-DinputTableName="bank_data_partition"
-Dfilter="age>=40";| Paramètre | Obligatoire | Description |
|---|---|---|
outputTableName |
Oui | Nom de la table de sortie. |
inputTableName |
Oui | Nom de la table d'entrée. |
inputPartitions |
Non | Partitions à lire depuis la table d'entrée. Définissez la valeur sur None pour lire la table entière. |
filter |
Non | Expression de filtrage des lignes, équivalente à une clause WHERE SQL. Exemple : age>40. |