Platform For AI:Créer une application de questions-réponses RAG pour la finance et la santé

Contexte

Les modèles RAG combinent la recherche d'informations avec l'IA générative pour fournir des réponses plus précises et pertinentes sur le plan contextuel. Dans des domaines tels que la finance et la santé, où l'exactitude des informations est cruciale pour la prise de décision, les modèles génératifs traditionnels peuvent manquer de connaissances spécifiques au domaine. La technologie RAG comble cette lacune en connectant les modèles à des bases de connaissances externes. Ce guide présente une solution RAG pour la finance et la santé, construite sur Platform for AI (PAI).

Prérequis

• LangStudio prend en charge Faiss et Milvus en tant que bases de données vectorielles. Si vous souhaitez utiliser Milvus, créez d'abord une instance Milvus .

  Remarque

  Faiss convient aux environnements de test et ne nécessite aucune configuration de base de données supplémentaire. Pour la production, utilisez Milvus, qui prend en charge des volumes de données plus importants.

• Le corpus de votre base de connaissances RAG doit être téléchargé sur OSS. Les exemples de corpus suivants sont fournis pour les cas d'utilisation en finance et en santé :

  • Actualités financières : Données au format PDF, contenant des reportages issus de sites d'information publics.

  • Présentations des maladies : Données au format CSV, contenant des informations sur les maladies issues de Wikipédia.

1. (Facultatif) Déployer les modèles LLM et d'embedding

Un flux d'application RAG nécessite à la fois un service LLM et un service de modèle d'embedding. Déployez les services requis depuis la Model Gallery comme décrit ci-dessous, ou ignorez cette étape si vous disposez déjà de services de modèles compatibles avec l'API OpenAI.

Accédez à QuickStart > Model Gallery et déployez des modèles pour les deux scénarios suivants. Pour plus de détails, consultez la rubrique Déploiement et entraînement des modèles.

• Pour le Scénario, sélectionnez Large Language Models et déployez DeepSeek-R1-Distill-Qwen-7B.

• Pour le Scénario, sélectionnez embedding et déployez le bge-m3 general vector model.

2. Créer des connexions

Les connexions aux modèles LLM et d'embedding décrites dans cette section utilisent des services EAS déployés depuis QuickStart > Model Gallery. Pour les autres types de connexion, consultez la rubrique Configurer des connexions.

2,1 Créer une connexion au service LLM

Dans LangStudio, sélectionnez un espace de travail, accédez à l'onglet Configure Service Connection > Model Service, puis cliquez sur New Connection pour créer une connexion générique à un service de modèle LLM.

Paramètres clés :

2.2 Créer une connexion au service de modèle d'embedding

Créez une connexion générique à un service de modèle d'embedding en suivant la même procédure qu'à l'étape 2,1.

Sur la page New Connection , définissez le type de connexion sur General Embedding Model Service et sélectionnez l'onglet PAI-EAS Model Service comme fournisseur de service. Configurez ensuite les paramètres suivants :

• EAS Service : sélectionnez l'instance de service de modèle d'embedding EAS déployée.

• Nom du modèle : saisissez default.

• base_url : le point de terminaison du service EAS.

• api_key : la clé API du service EAS.

2.3 Créer une connexion à la base de données vectorielle

Dans l'onglet Configure Service Connection > Database , cliquez sur New Connection pour créer une connexion à une base de données Milvus.

Paramètres clés :

3. Créer un index de base de connaissances

Créez un index de base de connaissances. LangStudio analyse le corpus, le découpe en fragments, le vectorise et stocke les résultats dans la base de données vectorielle. Le tableau suivant décrit les paramètres clés. Pour les autres configurations, consultez la rubrique Gérer les bases de connaissances.

4. Créer et exécuter un flux d'application RAG

1. Accédez à LangStudio, sélectionnez un espace de travail, puis dans l'onglet Application Flow , cliquez sur New Application Flow pour créer un flux d'application RAG.

2. Démarrez l'environnement d'exécution. Dans le coin supérieur droit, cliquez sur Create Runtime et configurez les paramètres. Remarque : L'environnement d'exécution doit être en cours d'exécution avant que vous puissiez analyser les nœuds Python ou accéder à davantage d'outils.

   Paramètre clé :

   Configuration VPC : Sélectionnez le VPC utilisé pour créer l'instance Milvus dans la section Prérequis , ou assurez-vous que le VPC sélectionné peut communiquer avec le VPC de l'instance Milvus.

3. Développez le flux d'application.

   

   Conservez les paramètres par défaut pour les autres nœuds ou ajustez-les selon vos besoins. Configurez les nœuds clés comme suit :

   • Récupération des connaissances : Récupère le texte pertinent de la base de connaissances en fonction de la question de l'utilisateur.

     • Nom de l'index de la base de connaissances : Sélectionnez l'index de la base de connaissances que vous avez créé à l'étape 3 .

     • Top K : Renvoie les K premiers résultats correspondants.

   • Nœud LLM : Utilise les documents récupérés comme contexte, les envoie au grand modèle de langage avec la question de l'utilisateur et génère une réponse.

     • Configuration du modèle : Sélectionnez la connexion que vous avez créée à l'étape 2,1 .

     • Historique des conversations : Indique s'il faut activer l'historique des conversations et utiliser les conversations passées comme variables d'entrée.

   Pour plus de détails sur chaque composant, consultez la rubrique Bibliothèque de composants prédéfinis .

4. Déboguez ou exécutez le flux. Dans le coin supérieur droit, cliquez sur Run pour exécuter le flux. Pour plus d'informations sur les problèmes courants liés à l'environnement d'exécution, consultez la rubrique FAQ .

5. Consultez les traces. Sous la réponse générée, cliquez sur View Traces pour afficher les détails des traces ou la topologie.

5. Déployer le flux d'application

Sur la page de développement du flux d'application, cliquez sur Deploy dans le coin supérieur droit pour déployer le flux d'application en tant que service EAS. Conservez les autres paramètres de déploiement par défaut ou ajustez-les selon vos besoins. Configurez les paramètres clés suivants :

• Déploiement des ressources > Instances : Configurez le nombre d'instances de service. Ce déploiement étant destiné à des fins de test, définissez le nombre d'instances sur 1. Pour la production, nous vous recommandons d'utiliser plusieurs instances de service afin d'atténuer le risque de point de défaillance unique (SPOF).

• VPC > VPC : Sélectionnez le VPC où réside l'instance Milvus, ou assurez-vous que le VPC sélectionné peut communiquer avec le VPC où réside l'instance Milvus.

Pour plus de détails sur le déploiement, consultez la rubrique Déployer un flux d'application .

6. Appeler le service

Après le déploiement, vous êtes redirigé vers la console PAI-EAS. Dans l'onglet Debug , configurez et envoyez une requête. La clé dans le corps de la requête doit correspondre au paramètre « Dialogue input » du nœud « Start » du flux d'application. Ce guide utilise le champ par défaut question.

Dans la zone de configuration de la requête, sélectionnez la méthode POST et saisissez le corps de la requête au format JSON brut, par exemple :

{"question": "What is the share price of NVIDIA"}

Cliquez sur Send Request. La zone Response à droite renvoie le code d'état 200 ainsi qu'une réponse JSON contenant les informations sur le cours de l'action récupérées via l'index de la base de connaissances.

Pour d'autres méthodes d'appel du service, telles que l'utilisation d'une API, consultez la rubrique Appeler le service .

Documents connexes

• FAQ

• Gérer les environnements d'exécution

• Configurer des connexions

• Gérer les index de bases de connaissances

• Développer des flux d'application

• Déployer des flux d'application