Data source plugins - OpenSearch - Centre de documentation Alibaba Cloud

OpenSearch propose des plugins de traitement des données pour transformer simplement les données lors de la configuration de la source.

Aperçu

Importez des données dans OpenSearch via une API, un SDK ou l'interface de téléchargement, ou synchronisez-les directement depuis une base de données ApsaraDB. Pour un chargement par API ou SDK, suivez la documentation de référence de l'API. Les plugins de cette rubrique ne s'appliquent pas à cette méthode : traitez les données avant de les envoyer. Pour une synchronisation depuis une base de données cloud, configurez la source de données dans la console. Vous pouvez alors utiliser des plugins de traitement pour transformer simplement les données lors du mappage des champs.

Une table OpenSearch peut prendre en charge plusieurs tables sources RDS et PolarDB, par exemple dans des scénarios de partitionnement. Toutefois, vous ne pouvez configurer qu'une seule source ODPS. Si vous avez besoin de plusieurs tables sources ODPS, fusionnez les données dans une table unique avant l'importation.

Plugins de traitement des données

Certaines fonctionnalités de recherche nécessitent des types de champs spécifiques. Par exemple, les champs de type Array doivent être transformés à l'aide des plugins suivants et ne peuvent pas être saisis directement.

Important

Configurez ces plugins lors de la configuration de la source de données, et non lors de la définition du schéma de l'application. Vous ne pouvez configurer les plugins qu'après avoir défini une source de données.

Nom de l'élément de configuration	Description	Exemple
JsonKeyValueExtractor	Extrait la valeur d'une clé spécifiée d'un champ source au format JSON et l'écrit dans le champ de destination. Une seule clé peut être extraite par configuration.	Extraction de la valeur de la clé `title` depuis `{"title":"the content","body":"the content"}`. Si la valeur est un tableau JSON, elle est convertie en contenu d'un champ de type Array. Assurez-vous que le type de données de la valeur extraite correspond à celui du champ de destination. En cas d'incompatibilité, les données sont perdues. Le format du tableau JSON est défini par OpenSearch. Par exemple, pour un type de champ `literal_array`, le format est `{"tags":["a","b","c"]}`. Pour un type de champ `int_array`, le format est `{"tags":[1,2,3]}`.
MultiValueSplitter	Fractionne un champ source en plusieurs valeurs à l'aide d'un séparateur spécifié et écrit les résultats dans le champ de destination, qui doit être de type ARRAY. Pour les séparateurs non imprimables, utilisez la représentation Unicode, telle que `\u001D`.	Si le champ source contient `1,2,3`, spécifiez une virgule (`,`) comme séparateur.
KeyValueExtractor	Extrait la valeur d'une clé spécifiée d'un champ source au format clé-valeur (KV) et l'écrit dans le champ de destination. Une seule clé peut être extraite par configuration. Les paramètres de séparateur sont facultatifs.	Par exemple, le champ source contient `key1:value1,value2;key2:value3`. Dans cet exemple, le séparateur de clés est un point-virgule (;), le séparateur clé-valeur est deux-points (:) et le séparateur de valeurs multiples est une virgule (,). Si un séparateur de valeurs multiples est configuré, la valeur extraite est convertie en contenu d'un champ de type Array. Assurez-vous que le type de données de la valeur extraite correspond à celui du champ de destination. En cas d'incompatibilité, les données sont perdues. Si le champ source contient des clés en double, seule la valeur de la dernière clé est extraite.
StringConcatenateExtractor	Concatène les valeurs de plusieurs champs en une seule chaîne de caractères selon un ordre spécifié. Ce plugin prend uniquement en charge les champs de type `literal`, et non les champs de type `int`. Séparez les champs de la liste par des virgules. Tous les champs spécifiés doivent être des champs de destination.	Par exemple, concaténez les valeurs de `field1` et `field2` avec un trait de soulignement (_) pour former le contenu d'un nouveau champ. De plus, utilisez la variable système `$table` pour récupérer le nom de la table actuelle. La variable `$table` est disponible uniquement lorsqu'un caractère générique pour le partitionnement de table est configuré.
HTMLTagRemover	Supprime les balises HTML d'un champ source et copie le texte brut dans le champ de destination. Si les champs source et de destination sont identiques, le contenu original est remplacé.	Le plugin analyse le texte <div id="copyright">OpenSearch</div> et extrait « OpenSearch ».

Remarque

Pour les bonnes pratiques, consultez Paramètres du plugin MultiValueSplitter.