Platform For AI:Deploying a large model RAG conversational system on PAI-EAS

Préparer une instance

Si vous ne disposez pas d'instance Elasticsearch, connectez-vous à la console Alibaba Cloud Elasticsearch et créez-en une avec les paramètres suivants. Pour plus d'informations, consultez la rubrique Créer une instance Alibaba Cloud Elasticsearch.

• Region and Availability Zone : sélectionnez la même région que votre service EAS.

• VPC : sélectionnez le même VPC que votre service EAS afin d'autoriser l'accès via le réseau interne.

• Instance Type : sélectionnez Standard.

• Scenario Initialization Configuration : sélectionnez General-purpose.

Paramètres du service

• Vector Database Type : sélectionnez Elasticsearch.

• Private Endpoint and Port : sur la page des détails de votre instance Elasticsearch, repérez le point de terminaison privé et le port dans la section Informations de base. Le format est le suivant : http://<private_endpoint>:<private_port>.

• Index Name : le comportement du système dépend du fait que vous saisissiez un nom d'index nouveau ou existant.

  • Saisir un nouveau nom : EAS crée automatiquement un index compatible avec PAI-RAG lors du déploiement.

    Important

    Par défaut, Alibaba Cloud Elasticsearch n'autorise pas la création automatique d'index. Sur la page Configuration and Management > Cluster Configuration de votre instance Elasticsearch, cliquez sur Modify Configurations, mettez à jour le fichier YML et définissez le paramètre Auto Create Index sur Allow Auto Create Index. Pour plus d'informations, consultez la rubrique Configurer les paramètres YML.

  • Saisir un nom existant : EAS utilise directement l'index existant. Assurez-vous que l'index a été créé par le service PAI-RAG afin de maintenir la compatibilité structurelle.

• Account et Password : configurez le nom d'utilisateur et le mot de passe que vous avez définis lors de la création de l'instance Elasticsearch. Le nom d'utilisateur par défaut est elastic. Si vous avez oublié le mot de passe, vous pouvez réinitialiser le mot de passe d'accès d'une instance.

• OSS Path : sélectionnez un répertoire de stockage OSS existant dans la région actuelle. Vous pouvez gérer votre base de connaissances en montant un chemin OSS.

Gérer les index avec Kibana

Elasticsearch propose des fonctionnalités de gestion des index. Pour plus d'informations, consultez la rubrique Se connecter à un cluster Elasticsearch à l'aide d'un client Kibana.

Préparer une instance

Si vous ne disposez pas d'instance OpenSearch, connectez-vous à la console OpenSearch et créez-en une avec les paramètres suivants. Pour plus d'informations, consultez la rubrique Acheter une instance OpenSearch Vector Search Edition.

• Product Version : sélectionnez Vector Search Edition.

• Region and Availability Zone et VPC : OpenSearch ne prend en charge que l'accès via Internet public, il n'est donc pas nécessaire que ces paramètres soient cohérents avec ceux de votre service EAS.

Paramètres du service

• Vector Database Type : sélectionnez OpenSearch.

• Endpoint : le point de terminaison public de votre instance OpenSearch Vector Search Edition.

  Remarque

  Vous devez activer l'accès public pour l'instance OpenSearch Vector Search Edition et ajouter l'adresse IP publique EAS à la liste d'autorisation.

• Instance ID : obtenez l'ID de l'instance à partir de la liste des instances OpenSearch Vector Search Edition.

• Username et Password : le nom d'utilisateur et le mot de passe que vous avez définis lors de la création de l'instance OpenSearch Vector Search Edition.

• Table Name : vous devez d'abord créer une table d'index répondant aux exigences. Pour créer une table, consultez la rubrique Configurer une instance et utilisez les paramètres clés suivants :

  • Sélectionnez le modèle de scénario généraliste et importez le fichier de configuration suivant pour la configuration des champs.

    Fichier de configuration des champs

    {
    	"schema": {
    		"summarys": {
    			"parameter": {
    				"file_compressor": "zstd"
    			},
    			"summary_fields": [
    				"id",
    				"embedding",
    				"file_path",
    				"file_name",
    				"file_type",
    				"node_content",
    				"node_type",
    				"doc_id",
    				"text",
    				"source_type"
    			]
    		},
    		"file_compress": [
    			{
    				"name": "file_compressor",
    				"type": "zstd"
    			},
    			{
    				"name": "no_compressor",
    				"type": ""
    			}
    		],
    		"indexs": [
    			{
    				"index_fields": [
    					{
    						"boost": 1,
    						"field_name": "id"
    					},
    					{
    						"boost": 1,
    						"field_name": "embedding"
    					}
    				],
    				"indexer": "aitheta2_indexer",
    				"index_name": "embedding",
    				"parameters": {
    					"enable_rt_build": "true",
    					"min_scan_doc_cnt": "20000",
    					"vector_index_type": "Qc",
    					"major_order": "col",
    					"builder_name": "QcBuilder",
    					"distance_type": "SquaredEuclidean",
    					"embedding_delimiter": ",",
    					"enable_recall_report": "true",
    					"ignore_invalid_doc": "true",
    					"is_embedding_saved": "false",
    					"linear_build_threshold": "5000",
    					"dimension": "1536",
    					"rt_index_params": "{\"proxima.oswg.streamer.segment_size\":2048}",
    					"search_index_params": "{\"proxima.qc.searcher.scan_ratio\":0.01}",
    					"searcher_name": "QcSearcher",
    					"build_index_params": "{\"proxima.qc.builder.quantizer_class\":\"Int8QuantizerConverter\",\"proxima.qc.builder.quantize_by_centroid\":true,\"proxima.qc.builder.optimizer_class\":\"BruteForceBuilder\",\"proxima.qc.builder.thread_count\":10,\"proxima.qc.builder.optimizer_params\":{\"proxima.linear.builder.column_major_order\":true},\"proxima.qc.builder.store_original_features\":false,\"proxima.qc.builder.train_sample_count\":3000000,\"proxima.qc.builder.train_sample_ratio\":0.5}"
    				},
    				"index_type": "CUSTOMIZED"
    			},
    			{
    				"has_primary_key_attribute": true,
    				"index_fields": "id",
    				"is_primary_key_sorted": false,
    				"index_name": "id",
    				"index_type": "PRIMARYKEY64"
    			},
    			{
    				"index_fields": "file_path",
    				"index_name": "file_path",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "file_name",
    				"index_name": "file_name",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "file_type",
    				"index_name": "file_type",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "node_content",
    				"index_name": "node_content",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "node_type",
    				"index_name": "node_type",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "doc_id",
    				"index_name": "doc_id",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "text",
    				"index_name": "text",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "source_type",
    				"index_name": "source_type",
    				"index_type": "STRING"
    			}
    		],
    		"attributes": [
    			{
    				"file_compress": "no_compressor",
    				"field_name": "id"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "embedding"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "file_path"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "file_name"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "file_type"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "node_content"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "node_type"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "doc_id"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "text"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "source_type"
    			}
    		],
    		"fields": [
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "id"
    			},
    			{
    				"user_defined_param": {
    					"multi_value_sep": ","
    				},
    				"multi_value": true,
    				"compress_type": "uniq",
    				"field_type": "FLOAT",
    				"field_name": "embedding"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "file_path"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "file_name"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "file_type"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "node_content"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "node_type"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "doc_id"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "text"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "source_type"
    			}
    		],
    		"table_name": "abc"
    	},
    	"extend": {
    		"description": [],
    		"vector": [
    			"embedding"
    		],
    		"embeding": []
    	}
    }

  • Dans le schéma Index Schema, assurez-vous que la dimension du vecteur correspond à la dimension du modèle d'incorporation. Pour le paramètre Distance Type, nous vous recommandons de sélectionner InnerProduct.

Gérer les index et les données

1. Connectez-vous à la console Alibaba Cloud OpenSearch Vector Search Edition et cliquez sur l'ID de votre instance pour accéder à la page Instance Details.

2. Accédez à la page de gestion des tables pour gérer la table d'index. Pour plus d'informations, consultez la rubrique Gestion des tables.

3. Accédez à la page de gestion des vecteurs pour exécuter des tests de requête et gérer les données. Pour plus d'informations, consultez la rubrique Gestion des vecteurs.

RDS for PostgreSQL

Préparer une instance

1. Si vous ne disposez pas d'instance RDS for PostgreSQL, accédez à la page de création d'instance RDS, configurez les paramètres clés suivants et suivez les instructions à l'écran pour finaliser le paiement et l'activation. Pour plus d'informations, consultez la rubrique Créer une instance ApsaraDB RDS for PostgreSQL.

   • Engine : sélectionnez PostgreSQL.

   • VPC : sélectionnez le même VPC que votre service EAS afin d'autoriser l'accès via le réseau interne.

   • Privileged Account : dans la section More Configurations, configurez un compte privilégié. Sélectionnez Set Now et configurez le compte de base de données ainsi que le mot de passe.

2. Créez une base de données.

   1. Cliquez sur le nom de l'instance. Dans le volet de navigation de gauche, cliquez sur Database Management, puis sur Create Database.

   2. Dans le panneau Create Database, configurez le Database (DB) Name. Pour le champ Authorized Account, sélectionnez le compte privilégié que vous avez créé. Pour plus d'informations sur les autres paramètres, consultez la rubrique Créer une base de données et un compte.

   3. Une fois les paramètres configurés, cliquez sur Create.

Paramètres du service

Assurez-vous d'avoir créé une instance RDS for PostgreSQL.

• Vector Database Type : sélectionnez RDS for PostgreSQL.

• Host address : le point de terminaison interne de votre instance RDS for PostgreSQL. Vous pouvez le trouver sur la page Database Connection de l'instance dans la console ApsaraDB RDS for PostgreSQL.

• Port : la valeur par défaut est 5432. Saisissez le port réel s'il est différent.

• Database : le Authorized Account de la base de données doit être un privileged account. Pour plus d'informations, consultez la rubrique Créer une base de données et un compte. Vous devez également installer les extensions vector et jieba pour la base de données.

• Table Name : un nom personnalisé pour la table de la base de données.

• Account et Password : le nom d'utilisateur autorisé et le mot de passe que vous avez configurés lors de la création de la base de données. Pour savoir comment créer un compte privilégié, consultez la rubrique Créer une base de données et un compte. Pour le champ Account Type, sélectionnez Privileged Account.

• OSS Path : sélectionnez un répertoire de stockage OSS existant dans la région actuelle. Vous pouvez gérer votre base de connaissances en montant un chemin OSS.

Gestion de la base de données

1. Accédez à la liste des instances RDS, basculez vers la région où se trouve votre instance et cliquez sur le nom de l'instance pour accéder à la page des détails de l'instance.

2. Dans le volet de navigation de gauche, sélectionnez Database Management. Dans la colonne Actions de la base de données cible, cliquez sur SQL Query.

3. Saisissez le Database Account et le Database Password, qui correspondent aux identifiants du compte privilégié que vous avez définis lors de la création de l'instance RDS for PostgreSQL, puis cliquez sur Sign in.

4. Une fois connecté, vous pouvez interroger la liste des bases de connaissances importées dans l'instance de base de données.

FAQ

Q : Comment déployer un service de récupération vectorielle localement sur PAI

Solution

Déploiement hybride : embedding sur GPU avec une base de données vectorielle sur CPU

Architecture : EAS prend en charge un déploiement hybride dans lequel le modèle d'embedding s'exécute sur une instance accélérée par GPU et une base de données vectorielle autogérée s'exécute sur une instance ECS basée sur un CPU. Par exemple, déployez le modèle d'embedding sur ecs.gn6e-c12g1,12xlarge, qui fournit quatre GPU NVIDIA V100, et exécutez Milvus ou Elasticsearch sur un type d'instance ECS optimisé pour la mémoire des séries r5 ou r6. Cette combinaison dissocie les besoins de calcul liés à la génération d'embeddings des exigences de mémoire liées au stockage et à la récupération des vecteurs.

Cette approche convient aux environnements de développement et de test à petite échelle. Pour un environnement de production, évaluez les stratégies de haute disponibilité et de sauvegarde des données, ou utilisez l'un des services de base de données vectorielle gérés par Alibaba Cloud décrits plus haut dans cette rubrique.

Configuration réseau :

• Lorsque vous déployez le service d'embedding sur EAS, utilisez l'élément de configuration VPC pour sélectionner le même VPC et la même zone que l'instance ECS qui héberge la base de données vectorielle. Cela garantit une communication à faible latence via le réseau interne.

• Pour les scénarios inter-régions, utilisez Cloud Enterprise Network (CEN) ou une connexion d'appairage VPC pour connecter les réseaux.

• La passerelle partagée EAS prend en charge l'appel via une adresse VPC, et la passerelle dédiée prend en charge l'appel entre régions.

Considérations relatives aux performances :

• Les bases de données vectorielles sont des charges de travail intensives en mémoire et en E/S. Pour une base de données vectorielle autogérée, choisissez un type d'instance ECS avec une grande capacité de mémoire, tel que r5,4xlarge (16 vCPU, 128 GiB). Les familles d'instances optimisées pour la mémoire r5, r6 et re4 offrent entre 16 GiB et 1920 GiB de mémoire, ce qui vous permet de sélectionner un type d'instance en fonction de la taille de votre base de connaissances.

• Dans un environnement de production, mettez en œuvre votre propre solution de sauvegarde et de haute disponibilité pour les données vectorielles. EAS ne gère pas les données vectorielles pour vous.

Q : Un service de récupération vectorielle peut-il être déployé sur DSW ?

Data Science Workshop (DSW) est adapté à la validation des modèles de langage de grande taille (LLM) et au débogage du code. Ne l'utilisez pas pour déployer un service de récupération vectorielle multi-conteneurs incluant des composants Milvus, d'embedding et de reranker. Pour un déploiement de génération augmentée par récupération (RAG) adapté à la production, utilisez Elastic Algorithm Service (EAS).

Documentation connexe

Pour plus d'informations, consultez les rubriques suivantes :

• Guide de configuration de l'interface web PAI-RAG : Fournit des instructions de configuration détaillées pour le découpage de la base de connaissances, le bac à sable de code, les modèles, les services de recherche et les outils MCP.

• Référence de l'API PAI-RAG : Fournit des instructions d'utilisation et des détails sur les paramètres pour toutes les opérations API du service RAG.