OpenSearch LLM-based Conversational Search Edition prend en charge l'importation de données structurées, non structurées, de pages web, de tableaux et de vidéos. Configurez et gérez toutes les sources de données directement depuis la console.
Structure des données
La table principale possède une structure de données fixe composée de sept champs : score, id, title, category, url, content et timestamp.
|
Champ |
Type |
Description |
|
score |
FLOAT |
Score du document. |
|
id |
LITERAL |
Identifiant unique du document. |
|
title |
TEXT |
Titre du document. |
|
category |
LITERAL_ARRAY |
Catégorie du document. |
|
url |
LITERAL |
URL du document. |
|
content |
TEXT |
Contenu du document. |
|
timestamp |
INT |
Horodatage indiquant la fraîcheur du document. |
Lors de l'importation de données structurées, les champs
score,title,category,urlettimestampsont facultatifs.Les champs
scoreettimestampinfluencent la récupération et le tri des documents. Pour plus d'informations, consultez la rubrique Paramètres de récupération des documents.Le champ
categoryaccepte plusieurs valeurs. Séparez chaque valeur par une virgule (,). Pour plus de détails, reportez-vous à la section Description des paramètres.
Avant de commencer
Connectez-vous à la console OpenSearch.
Sélectionnez la région cible et basculez vers OpenSearch LLM-based Conversational Search Edition.
Sur la page de gestion des instances, cliquez sur Manage à droite de l'instance concernée. Dans le volet de navigation de gauche, sélectionnez Configuration Center > Data Configuration. Choisissez ensuite la méthode d'importation des données adaptée à vos besoins métier.
Importer des fichiers
Cliquez sur Import File pour accéder à la page d'importation de fichiers.
-
Données non structurées : importez des fichiers aux formats DOC, DOCX, PDF, HTML, TXT, PPT, PPTX, XLS et XLSX, ainsi que des fichiers vidéo aux formats MP4, AVI, MKV et MOV. La taille maximale d'un fichier est de 128 Mo. Vous pouvez importer plusieurs fichiers simultanément.
RemarqueSi un document Word contient de nombreuses images, convertissez-le au format PDF avant l'importation afin d'accélérer le traitement.
-
Données structurées : importez des fichiers encodés en UTF-8 aux formats JSON ou Excel. La taille maximale d'un fichier est de 128 Mo. Vous pouvez importer plusieurs fichiers simultanément. Pour connaître le format de données requis, téléchargez et consultez l'échantillon de données.
RemarqueUn nom de table ne peut contenir que des lettres, des chiffres et des traits de soulignement (_), et sa longueur ne doit pas dépasser 20 caractères.
Un nom de champ ne peut contenir que des lettres et des traits de soulignement (_), ne doit pas commencer par un trait de soulignement et sa longueur ne doit pas dépasser 30 caractères.
Un maximum de 30 champs par fichier Excel peuvent être écrits et interrogés. Les champs supplémentaires sont ignorés.
Pour envoyer des documents par lots via une API, consultez la rubrique Envoyer des documents.
Importer des pages web
Cliquez sur Web Page URL Import, sélectionnez l'onglet Web Page Import et saisissez les URL des pages web. Entrez une URL par ligne. Cliquez ensuite sur Import pour finaliser l'importation.
Importer depuis un site web
-
Cliquez sur Web Page URL Import, sélectionnez l'onglet Website Import, puis cliquez sur Create Task. Saisissez l'URL du site web et un nom pour la catégorie. Vous pouvez également configurer le filtrage d'URL, un sélecteur XPath et un sélecteur CSS selon vos besoins.
RemarqueWebsite URL : URL du site web à crawler.
Category : nom de catégorie attribué au contenu provenant de l'URL spécifiée.
URL Filtering : expression régulière permettant de filtrer les URL. Par défaut, la règle correspond à toutes les pages situées sous l'URL du site web spécifié. Par exemple, si l'URL du site web est
http://www.abc.com/, l'expression régulière par défaut esthttp://www\\.abc\\.com/.*.XPath selector : sélecteur XPath indiquant le contenu à extraire. Par exemple, pour extraire tout le contenu situé dans les balises
<div>, définissez ce paramètre sur//div.CSS selector : sélecteur CSS indiquant le contenu à extraire. Par exemple, pour extraire le contenu de
<div class="content">Web page content</div>, définissez ce paramètre surdiv.content.Les URL se terminant par .png, .jpg ou .jpeg ne sont pas prises en charge.
Une fois la tâche terminée, vous pouvez consulter le nombre de pages web crawlées. Cliquez ensuite sur OK pour achever l'importation.
Importer des tableaux
Pour plus d'informations, consultez la rubrique Questions-réponses basées sur les tableaux.
Interroger et gérer les données
Après l'importation des documents, vous pouvez afficher le nombre total de documents et tester l'efficacité des questions-réponses sur la page Test Q&A. Vous pouvez également rechercher, modifier ou supprimer des documents à l'aide de leur clé primaire.
-
Afficher les données
Saisissez la clé primaire dans le champ id et cliquez sur Search pour afficher les détails du document.
-
Supprimer des données
Pour supprimer un document, saisissez sa clé primaire dans le champ id, puis cliquez sur Delete et sur OK pour confirmer.
Si vous dépassez votre capacité de stockage, la suppression peut échouer. Augmentez votre capacité avant de réessayer.
-
Modifier les données
Saisissez la clé primaire dans le champ id et cliquez sur Edit pour modifier les champs modifiables.
Remarques d'utilisation
La clé primaire
iddoit être unique. Si vous importez des données avec une clé primaire dupliquée, les nouvelles données écrasent les données existantes.La taille maximale d'une importation unique de données structurées est de 128 Mo.
La taille maximale d'un fichier de données non structurées est de 128 Mo.
Après l'importation des données, le délai nécessaire pour qu'elles deviennent consultables dépend du volume actuel des mises à jour de données.