DataWorks:Nœuds PAI Flow

Limites

• Limites du produit :

  • PAI Flow prend uniquement en charge les espaces de travail DataWorks Workspaces (new version).

  • PAI Flow prend actuellement en charge uniquement les nœuds Source/Target et RAG Data Processing.

  • PAI Flow prend uniquement en charge les groupes de ressources Serverless.

• Limites régionales : Les régions prises en charge incluent Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Ulanqab), Chine (Shenzhen), Chine (Hong Kong), Singapour, Indonésie (Jakarta), Japon (Tokyo), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).

Prérequis

Vous avez créé un espace de travail DataWorks Data Studio (nouvelle version) et un espace de travail Platform for AI (PAI).

• Lorsque vous créez un espace de travail, vous devez sélectionner Create AI Workspace with Same Name. Le système crée et lie automatiquement un espace de travail Platform for AI (PAI) portant le même nom que l'espace de travail DataWorks.

• Pour un espace de travail existant, vous devez activer l'option Schedule PAI Nodes dans le Management Center. Cette action crée également un espace de travail Platform for AI (PAI) portant le même nom que l'espace de travail DataWorks.

Créer un PAI Flow

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Dans le répertoire du projet de Data Studio, cliquez sur l'icône et choisissez New Node > Algorithm > PAI Flow. Le système crée un nœud PAI Flow et vous dirige vers la page d'orchestration.

Développer un PAI Flow

Le composant PAI Flow prend en charge divers nœuds de modélisation visuelle pour concevoir des workflows.

1. Sur la page d'orchestration PAI Flow, faites glisser les nœuds depuis le volet de gauche vers le canevas et connectez-les pour concevoir votre workflow.

2. Une fois la conception du workflow terminée, cliquez sur un nœud pour le configurer dans le panneau de droite.

   Type de nœud	Nœud	Description du nœud
   Source/Target	Read table	Lit les données des tables MaxCompute. Par défaut, lit les données de la table du projet actuel.
   	Read OSS Data	Lit des fichiers ou des dossiers à partir d'un chemin d'accès OSS Bucket.
   	Read CSV file	Lit les fichiers CSV depuis OSS, HTTP et HDFS.
   	Write table	Écrit les données d'entrée dans MaxCompute.
   Traitement des données RAG	Analyse et découpage du texte RAG	Lit et analyse les fichiers texte (HTML, PDF, Markdown, Text, etc.) à partir du répertoire d'entrée, génère des blocs de texte continus dont la taille ne dépasse pas la taille de bloc spécifiée et les enregistre au format JSONline dans le chemin de sortie spécifié.
   	Génération de vecteurs RAG	Charge tous les fichiers de documents analysés et découpés (au format JSONline) à partir du répertoire spécifié, puis utilise un modèle Embedding pour générer des vecteurs de texte.
   	Synchronisation de l'index de la base de connaissances RAG	Synchronise les données d'entrée avec l'index de la base de connaissances cible.

   Remarque

   Lors de la configuration des chemins d'accès aux fichiers, vous pouvez inclure des variables dans le chemin, par exemple : https://examplebucket.oss-cn-hangzhou.aliyuncs.com/${variable}/example.csv. Lors de la configuration des variables, vous pouvez utiliser des paramètres de planification comme variables pour lire ou écrire dans différents chemins de stockage lors de la planification récurrente.

3. Une fois le développement des nœuds terminé, configurez les scheduling settings pour PAI Flow dans la barre d'outils de droite afin de garantir que le PAI Flow soit planifié périodiquement après son déploiement dans l'environnement de production.

   Remarque

   Lors de la configuration des paramètres de planification, le groupe de ressources de planification prend uniquement en charge les groupes de ressources Serverless.

Publier un PAI Flow

Après avoir débogué le PAI Flow et configuré les paramètres de planification, publiez le workflow PAI Flow. Le workflow s'exécute alors périodiquement selon la planification que vous avez configurée.

1. Cliquez sur Save dans la barre d'outils supérieure pour enregistrer le PAI Flow.

2. Après avoir enregistré les modifications, cliquez sur le bouton dans la barre d'outils supérieure pour ouvrir le panneau de déploiement (Déploiement d'une tâche). Cliquez ensuite sur Start Release Production. La tâche est ensuite déployée selon le processus de vérification du déploiement.

Autres opérations

Après avoir publié le PAI Flow, cliquez sur Go to operation and maintenance dans le panneau de publication pour accéder à la page Tâches récurrentes, où vous pouvez consulter l'état de sa planification et de son exécution.