Platform For AI:Chatbot RAG et recherche web avec LangStudio et DeepSeek

Contexte

Ce flux d'application combine la technologie RAG et la recherche web en direct pour fournir des réponses précises. Le modèle récupère des informations spécifiques à un domaine et les complète avec des données web en temps réel. Cette approche est particulièrement efficace dans les secteurs exigeant une haute précision, tels que la finance et la santé.

Prérequis

• Inscrivez-vous sur le site officiel de SerpApi et obtenez votre api_key.

• Pour utiliser Milvus, créez une instance Milvus .

  Remarque

  Faiss est destiné aux tests et ne nécessite pas de base de données distincte. Pour les environnements de production, utilisez Milvus pour gérer des volumes de données importants.

• Téléchargez le corpus de la base de connaissances RAG vers OSS.

1. (Facultatif) Déployer les modèles LLM et d'embedding

Déployez les services de modèle requis depuis Model Gallery. Ignorez cette étape si vous disposez déjà de services de modèle compatibles.

Accédez à Quick Start > Model Gallery et déployez des modèles pour les deux scénarios suivants. Déploiement et entraînement des modèles.

• Pour Scenario, sélectionnez Large Language Models. Cet exemple utilise DeepSeek-R1. Déploiement en un clic des modèles DeepSeek-V3 et DeepSeek-R1.

• Pour Scenario, sélectionnez Embedding. Cet exemple utilise le modèle vectoriel polyvalent bge-m3.

2. Créer des connexions

Les connexions aux services de modèle LLM et d'embedding décrites dans ce guide sont basées sur des services EAS déployés depuis QuickStart > Model Gallery. D'autres types de connexion et configurations sont abordés dans la rubrique Configuration des connexions.

2,1 Créer une connexion LLM

1. Accédez à LangStudio et sélectionnez une région et un espace de travail.

2. Dans l'onglet Connection > Model Service, cliquez sur New Connection et configurez les paramètres suivants :

   • Connection Type : Sélectionnez General LLM Service.

   • Service Provider : Sélectionnez PAI-EAS Model Service.

   • EAS Service : Sélectionnez le service LLM que vous avez déployé à l'étape Étape 1.

     Après avoir sélectionné le service, LangStudio remplit automatiquement les champs base_url et api_key avec le point de terminaison VPC et le jeton du LLM déployé.

   • Model Name : Il s'agit de la valeur du paramètre model dans une requête API OpenAI. Vous pouvez la trouver sur la page des détails du modèle en cliquant sur la carte du modèle dans Model Gallery.

   • Tool Call, Structured output, Deep Reasoning, Vision : Activez ces options en fonction des capacités de votre modèle.

2,2 Créer une connexion de modèle d'embedding

Créez une connexion de modèle d'embedding en suivant la même procédure que celle décrite dans la section Section 2.1.

Sur la page New Connection, définissez le paramètre Connection Type sur General Embedding Model Service et le paramètre Service Provider sur PAI-EAS Model Service, puis configurez les paramètres suivants :

• EAS Service : Sélectionnez l'instance de service EAS déployée.

• Model Name : Saisissez le nom du modèle, par exemple default.

• base_url : Saisissez le point de terminaison du service EAS.

• api_key : Saisissez la clé API du service EAS.

2,3 Créer une connexion SerpApi

Dans l'onglet Connection > Custom, cliquez sur New Connection pour créer une connexion SerpApi. Configurez la clé api_key que vous avez obtenue dans la section Prérequis.

Sur la page New Connection, définissez le paramètre Name sur serp_api_conn. Dans la section Key-Value, ajoutez une ligne : définissez la Custom Key sur api_key, saisissez la clé API SerpApi dans le champ Custom Value et cochez la case Secret.

3. Créer un index de base de connaissances

Créez un index de base de connaissances pour analyser, découper et vectoriser votre corpus dans une base de données vectorielle. Les principaux paramètres sont répertoriés ci-dessous. Gestion de la base de connaissances.

4. Créer et exécuter le flux d'application

1. Accédez à LangStudio, sélectionnez un espace de travail, accédez à l'onglet Application Flows et cliquez sur New Application Flow pour créer un flux Chat Assistant with Web Search and RAG.

2. Dans le coin supérieur droit, cliquez sur Select Runtime et sélectionnez un runtime. Un runtime en cours d'exécution est requis pour analyser les nœuds Python ou afficher davantage d'outils.

   Si aucun runtime n'est disponible, accédez à l'onglet Runtime de la page LangStudio et cliquez sur New Runtime pour en créer un. Paramètre clé :

   Configuration VPC : Si vous avez sélectionné Milvus à l'étape 3, utilisez le même VPC que l'instance Milvus ou un VPC interconnecté. FAISS ne nécessite aucune configuration VPC.

3. Développez le flux d'application.

   

   Laissez les autres paramètres par défaut ou ajustez-les selon vos besoins. Configurations clés des nœuds :

   • Knowledge Base Retrieval : Récupère le texte pertinent depuis la base de connaissances.

     • Knowledge Base Index Name : Sélectionnez l'index de base de connaissances que vous avez créé à l'étape 3.

     • Top K : Renvoie les K premiers résultats correspondants.

   • Serp Search : Effectue une recherche sur le web via SerpApi et renvoie les résultats.

     • SerpApi Connection : Sélectionnez la connexion SerpApi que vous avez créée à la section 2,3.

     • Search Engine : Prend en charge Bing, Google, Baidu, Yahoo et les entrées personnalisées. Les moteurs pris en charge et leurs paramètres sont documentés sur le site officiel de SerpApi.

   • Large Model Node : Envoie les documents récupérés et les résultats de recherche comme contexte, accompagnés de la requête de l'utilisateur, au LLM pour générer une réponse.

     • Model Settings : Sélectionnez la connexion que vous avez créée à la section 2,1.

     • Conversation History : Active l'historique des conversations en tant que variable d'entrée.

   Référence des composants prédéfinis.

4. Dans le coin supérieur droit, cliquez sur Run pour exécuter le flux d'application. Consultez la FAQ pour résoudre les problèmes courants.

5. Sous la réponse générée, cliquez sur View Traces pour afficher les détails des traces ou la vue topologique.

5. Déployer le flux d'application

Sur la page de développement du flux d'application, cliquez sur Deploy dans le coin supérieur droit pour déployer le flux en tant que service EAS. Paramètres clés :

• Resource Information > Instances : Configurez le nombre d'instances de service. Pour les tests, définissez la valeur sur 1. Pour la production, utilisez plusieurs instances afin d'éviter un point de défaillance unique.

• VPC > VPC : SerpApi nécessite un accès Internet public, configurez donc un VPC disposant de cette capacité, car les services EAS n'en disposent pas par défaut. Autoriser les services EAS à accéder aux ressources publiques ou internes. Si vous avez sélectionné Milvus à l'étape 3, utilisez le même VPC que l'instance Milvus ou assurez-vous que les VPC sont interconnectés.

Déploiement des flux d'application.

6. Appeler le service

Après le déploiement, vous êtes redirigé vers la console PAI-EAS. Dans l'onglet Debug, envoyez une requête. La clé du corps de la requête doit correspondre au champ Conversation Input du nœud Start du flux d'application. Le nom de champ par défaut est question.

D'autres méthodes d'appel, y compris les appels API, sont décrites dans la rubrique Déploiement des flux d'application - Appel du service.

Documents connexes

• FAQ

• Gestion des runtimes

• Configuration des connexions

• Gestion des index de base de connaissances

• Développement de flux d'application

• Déploiement des flux d'application