Data Map de DataWorks offre une visualisation topologique et une gestion du cycle de vie complet des ressources IA via un hub de métadonnées unifié, améliorant ainsi l'efficacité de la gouvernance des ressources. Cette rubrique explique comment afficher les ressources IA dans Data Map.
Contexte
Data Map intègre les métadonnées des ressources IA de PAI pour prendre en charge la recherche et la gestion globales de vos ressources IA principales. Une interface unifiée vous permet de découvrir et de gérer efficacement ces ressources, et d'utiliser le service de lignée pour suivre l'origine, l'utilisation et l'évolution des données et des modèles.
Le service de lignée des ressources IA fournit un moyen intuitif de suivre le cycle de vie des données et des modèles, ce qui vous aide à gérer et à optimiser vos ressources IA. La page de détails de chaque objet de ressource IA offre un point d'entrée pour consulter et analyser ses informations de lignée.
Par exemple, un graphique de lignée typique des ressources IA montre la chaîne complète allant des fichiers d'entrée, tels que les chemins de stockage Object Storage Service (OSS), et des jeux de données, tels que les tables MaxCompute, en passant par une tâche d'entraînement de modèle PAI dans Model Gallery, qui génère des fichiers de sortie, tels que des fichiers d'adaptateur de modèle et des fichiers de jeu de données étiquetés, un modèle IA et un service de modèle en ligne.
Voici les principaux cas d'utilisation du service de lignée des ressources IA :
Gouvernance des ressources IA : Des informations détaillées sur la lignée des ressources vous aident à comprendre l'origine et l'utilisation de vos ressources IA. Cela contribue non seulement à améliorer la qualité des données et des modèles, mais garantit également que vos pratiques IA respectent les exigences de conformité et soutient une gestion des données et une prise de décision plus précises.
Traçabilité des modèles : Dans le contexte des pratiques d'IA responsable, il est essentiel de maintenir la transparence des modèles IA. Le service de lignée des ressources IA vous permet de suivre les jeux de données, les méthodes d'ingénierie des fonctionnalités et les processus d'ajustement des paramètres utilisés lors de l'entraînement des modèles. Cette traçabilité est indispensable pour répondre aux exigences réglementaires, valider les résultats expérimentaux et effectuer des audits de modèles.
Dépannage et optimisation : Lorsqu'un service IA rencontre des problèmes de performance, les informations de lignée des ressources peuvent vous aider à identifier rapidement la cause racine. Par exemple, si la précision des prédictions d'un modèle chute soudainement, la cause peut être un changement dans le traitement des données en amont. Grâce au graphique de lignée, vous pouvez identifier et résoudre rapidement ces problèmes.
Amélioration de l'utilisation des ressources : Comprendre les dépendances entre les tâches vous permet d'allouer plus efficacement les ressources de calcul, d'éviter les calculs redondants et de réduire les coûts. Lors d'expériences à grande échelle, la compréhension des dépendances entre les tâches et les données grâce aux informations de lignée vous aide à identifier quelles tâches peuvent s'exécuter en parallèle, permettant ainsi une utilisation et un traitement plus efficaces des ressources.
Amélioration de l'efficacité de la collaboration : Au sein des grandes organisations, plusieurs équipes peuvent partager la même infrastructure de recherche. Des informations claires sur la lignée des tâches favorisent la collaboration interéquipes et accélèrent le processus d'innovation.
Prérequis
Vous devez créer un espace de travail pour la nouvelle version de Data Studio. Sélectionnez l'une des éditions suivantes en fonction de vos besoins :
Si vous avez créé un espace de travail PAI, vous pouvez rechercher et afficher les types correspondants de ressources IA. Lors de la création de l'espace de travail, vous devez sélectionner Create AI Workspace with Same Name.
Édition Standard de DataWorks : Pour utiliser les services standard de lignée des ressources IA, vous devez activer l'édition Standard de DataWorks.
Édition Professionnelle de DataWorks : Si vous avez besoin de capacités de reporting de lignée pour les tâches d'entraînement de modèles Deep Learning Containers (DLC) et les tâches de workflow, vous devez activer l'édition Professionnelle de DataWorks.
Ressources IA prises en charge
DataWorks vous permet de rechercher et d'afficher les détails des métadonnées des ressources IA suivantes dans Data Map :
Collecter les ressources IA
Après avoir activé PAI pour votre espace de travail, Data Map collecte automatiquement les informations sur les ressources depuis votre espace de travail IA.
Rechercher des ressources IA
Utilisez la fonction de recherche pour afficher les informations de base et la lignée de toutes les ressources IA dans l'espace de travail actuel.
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sur la page qui s'affiche, cliquez sur Go to Data Map.
Cliquez sur l'icône
dans le volet de navigation de gauche pour accéder à la page Search.Dans la section Type sur le côté gauche de la page, sélectionnez le type de ressource IA que vous souhaitez afficher, et saisissez des mots-clés dans la zone de recherche pour trouver les ressources IA correspondantes.
Afficher la lignée des ressources IA
La page de recherche dans Data Map de DataWorks vous permet d'afficher la lignée des ressources IA. Vous pouvez également accéder à PAI pour afficher les détails des ressources IA.
La fonction de lignée des jeux de données dans Data Map fournit des informations de lignée agrégées par version. Vous pouvez afficher la lignée de toutes les versions d'une ressource IA. La lignée de version agrégée consolide les informations de plusieurs versions, et vous pouvez afficher la lignée d'une version spécifique ou de toutes les versions.
Lignée des jeux de données
Génération et reporting de la lignée
Lorsque vous générez un jeu de données ou effectuez des opérations sur un jeu de données via les méthodes suivantes, le système déclenche automatiquement la génération et le reporting de la lignée.
Méthode 1 : Enregistrer un chemin de stockage en tant que jeu de données
Lorsque vous enregistrez un chemin de stockage en tant que jeu de données, les informations de lignée suivantes sont générées. Le système reporte automatiquement les informations de lignée suivantes.
Data Source | Description |
Lorsque la source de données du jeu de données enregistré est OSS, un enregistrement de lignée d'OSS vers le jeu de données est généré. | |
|
Méthode 2 : Enregistrer une table de données en tant que jeu de données
Lorsque la source de données du jeu de données enregistré est une table MaxCompute, un enregistrement de lignée de la table MaxCompute vers le jeu de données est généré. Les informations de lignée sont structurées comme suit :
Si vous générez une table MaxCompute via plusieurs tâches SQL et enregistrez la table en tant que jeu de données PAI, les informations de lignée de ce jeu de données vous permettent de remonter à toutes les tâches SQL associées qui ont généré la table.
Méthode 3 : Étiqueter un jeu de données
Lorsque vous étiquetez un jeu de données dans iTAG, et que la création d'une tâche d'étiquetage est effectuée, le système reporte automatiquement les informations de lignée suivantes.
Afficher la lignée des jeux de données
Vous pouvez afficher la lignée des jeux de données via les points d'entrée suivants.
Point d'entrée 1 : Afficher la lignée des jeux de données dans Data Map
Vous pouvez afficher les informations de lignée des jeux de données dans Data Map. Procédez comme suit :
-
Accédez à la page de liste des jeux de données.
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sur la page qui s'affiche, cliquez sur Go to Data Map.
Cliquez sur l'icône
dans le volet de navigation de gauche pour accéder à la page Search.Dans la section Type sur le côté gauche de la page, sélectionnez Dataset. Utilisez les options Data Source Type, Workspace et autres dans la section Filter Conditions pour obtenir la liste des jeux de données que vous souhaitez afficher.
-
Affichez la lignée du jeu de données.
Dans la liste des jeux de données, repérez le jeu de données cible, puis cliquez sur View Lineage à droite pour afficher ses informations de lignée.
Sur la page de détails de la lignée, le côté gauche affiche le nœud de fichier OSS associé en amont, et le côté droit met en évidence en orange le nœud central du jeu de données actuel et ses informations de version.
-
Sur la page de détails de la lignée du jeu de données, vous pouvez effectuer les opérations suivantes :
Lineage Time Range : Dans la zone ①, sélectionnez une plage de temps de lignée pour afficher la lignée du jeu de données sur les derniers jours.
Dataset Vers. : Dans la zone ②, changez la version du jeu de données pour afficher la lignée de la version correspondante.
Autres opérations : Cliquez avec le bouton droit sur le jeu de données, et sélectionnez View Details (accédez à PAI pour afficher les détails du jeu de données) ou View Lineage dans le menu contextuel.
Point d'entrée 2 : Afficher la lignée des jeux de données dans PAI
Dans PAI, vous pouvez afficher les informations de lignée d'un jeu de données dans la section de détails d'une version spécifiée. Procédez comme suit :
Connectez-vous à la console PAI. Basculez vers la région cible. Dans le volet de navigation de gauche, choisissez Workspaces, et cliquez sur le nom de l'espace de travail cible pour y accéder.
Dans le volet de navigation de gauche, choisissez .
Repérez le jeu de données que vous avez créé dans la section Basic Dataset de l'onglet Custom Dataset.
-
Cliquez sur le nom du jeu de données, et dans la section de détails d'une version spécifiée, cliquez sur View Lineage pour accéder à la page Bloodline analysis de PAI, où vous pouvez afficher la lignée de la version actuelle du jeu de données.
RemarqueSur la page d'analyse de la lignée de PAI, cliquez avec le bouton droit sur n'importe quel nœud du graphique de lignée, et sélectionnez View Lineage pour accéder à Data Map et afficher la lignée amont et aval du nœud.
Lignée des modèles IA
Génération et reporting de la lignée
Lorsque vous générez un modèle IA ou effectuez des opérations sur un modèle IA via les méthodes suivantes, le système déclenche automatiquement la génération et le reporting de la lignée.
Méthode 1 : Exécuter une tâche d'entraînement de modèle
Une fois qu'une tâche d'entraînement de modèle soumise dans Model Gallery est terminée, un enregistrement de lignée entre le modèle et la tâche d'entraînement est généré. Le système reporte automatiquement les informations de lignée suivantes.
Méthode 2 : Register Model
Après avoir enregistré un modèle sur la page de gestion des modèles, un enregistrement de lignée du chemin de stockage du modèle vers le modèle est généré. Le système reporte automatiquement les informations de lignée suivantes.
Méthode 3 : Déployer un service de modèle
Après avoir déployé un modèle enregistré sur EAS, un enregistrement de lignée du modèle vers le service de modèle est généré. Le système reporte automatiquement les informations de lignée suivantes.
Afficher la lignée des modèles IA
Vous pouvez afficher la lignée des modèles IA via les points d'entrée suivants.
Point d'entrée 1 : Afficher la lignée des modèles IA dans Data Map
Vous pouvez afficher les informations de lignée des modèles IA dans Data Map. Procédez comme suit :
-
Accédez à la page de liste des modèles IA.
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sur la page qui s'affiche, cliquez sur Go to Data Map.
Cliquez sur l'icône
dans le volet de navigation de gauche pour accéder à la page Search.Dans la section Type sur le côté gauche de la page, sélectionnez AI Model. Utilisez l'option Workspace dans la section Filter Conditions pour obtenir la liste des modèles IA que vous souhaitez afficher.
-
Affichez la lignée du modèle IA.
Dans la liste des modèles IA, repérez le modèle IA cible, puis cliquez sur View Lineage à droite pour afficher ses informations de lignée.
-
Sur la page de détails de la lignée du modèle IA, vous pouvez effectuer les opérations suivantes :
Lineage Time Range : Dans la zone ①, sélectionnez une plage de temps de lignée pour afficher la lignée du modèle IA sur les derniers jours.
AI Model Vers. : Dans la zone ②, changez la version du modèle IA pour afficher la lignée de la version correspondante.
Autres opérations : Cliquez avec le bouton droit sur le modèle IA, et sélectionnez View Details (accédez à PAI pour afficher les détails du modèle IA) ou View Lineage dans le menu contextuel.
Point d'entrée 2 : Afficher la lignée des modèles IA dans PAI
Dans PAI, vous pouvez afficher les informations de lignée d'un modèle IA dans la section de détails d'une version spécifiée. Procédez comme suit :
Connectez-vous à la console PAI. Basculez vers la région cible. Dans le volet de navigation de gauche, choisissez Workspaces, et cliquez sur le nom de l'espace de travail cible pour y accéder.
Dans le volet de navigation de gauche, choisissez .
Repérez le modèle que vous avez enregistré sur la page Model.
Cliquez sur le numéro de la dernière version pour accéder à la page d'informations Model Version.
-
Dans la section Version Overview, cliquez sur View Lineage pour accéder à la page Bloodline analysis de PAI, où vous pouvez afficher la lignée de la version actuelle du modèle IA.
RemarqueSur la page d'analyse de la lignée de PAI, cliquez avec le bouton droit sur n'importe quel nœud du graphique de lignée, et sélectionnez View Lineage pour accéder à Data Map et afficher la lignée amont et aval du nœud.
Lignée des tâches d'algorithme
Génération et reporting de la lignée
Lorsque vous exécutez des tâches associées via les méthodes suivantes, le système déclenche automatiquement la génération et le reporting de la lignée.
Pour les tâches soumises via l'entraînement distribué DLC, vous devez reporter manuellement les informations de lignée en intégrant un SDK et configurer les entrées et sorties en fonction de la tâche réelle. Cette approche convient aux utilisateurs disposant de solides compétences techniques et de pratiques commerciales matures. Sinon, la précision des informations de lignée peut être affectée. Pour utiliser cette fonctionnalité, contactez votre gestionnaire de compte pour être ajouté à la liste d'autorisation. Pour plus d'informations, consultez Créer une tâche d'entraînement de modèle.
Méthode 1 : Exécuter une Training Task (tâche de composant d'algorithme)
Une fois qu'une tâche d'entraînement de modèle soumise dans Model Gallery est terminée, un enregistrement de lignée entre le modèle et la tâche d'entraînement est généré. Le système reporte automatiquement les informations de lignée suivantes.
Méthode 2 : Exécuter une Workflow Task
Une fois qu'une tâche de workflow créée dans PAI est terminée, des relations de lignée sont générées entre les tables d'entrée ou les chemins de stockage, les modèles de sortie ou les jeux de données de sortie, et la tâche PAIFlow.
La lignée générée par les tâches de workflow PAI exécutées via les méthodes suivantes est automatiquement collectée et reportée :
Tâches soumises à l'aide de l'API OpenAPI PAIFlow. Pour plus d'informations, consultez Aperçu de l'API.
Tâches exécutées manuellement dans Designer. Pour plus d'informations, consultez Construire et déboguer un modèle.
Tâches déclenchées périodiquement via la planification périodique de DataWorks. Pour plus d'informations, consultez Planifier un pipeline PAI Designer avec DataWorks.
Méthode 3 : Exécuter une tâche d'entraînement distribué
Lorsque vous créez et exécutez une tâche d'entraînement distribué, des relations de lignée sont générées entre les chemins de stockage des tables d'entrée, les modèles de sortie ou les jeux de données de sortie, et la tâche DLC. Pour les tâches soumises via l'entraînement distribué DLC, vous pouvez reporter manuellement les informations de lignée.
Cette approche convient aux utilisateurs disposant de solides compétences techniques et de pratiques commerciales matures. Sinon, la précision des informations de lignée peut être affectée.
Afficher la lignée des tâches d'algorithme
Vous pouvez afficher la lignée des tâches d'algorithme via les points d'entrée suivants.
Point d'entrée 1 : Afficher la lignée des tâches d'algorithme dans Data Map
La fonction de lignée des tâches d'algorithme dans Data Map vous permet d'afficher la lignée d'une tâche. Vous pouvez effectuer les opérations suivantes pour afficher la lignée :
-
Accédez à la page de liste des tâches d'algorithme.
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sur la page qui s'affiche, cliquez sur Go to Data Map.
Cliquez sur l'icône
dans le volet de navigation de gauche pour accéder à la page Search.Dans la section Type sur le côté gauche de la page, sélectionnez Algorithm Task. Utilisez l'option Workspace dans la section Filter Conditions pour obtenir la liste des tâches d'algorithme que vous souhaitez afficher.
-
Affichez la lignée de la tâche d'algorithme.
Dans la liste des tâches d'algorithme, repérez la tâche d'algorithme cible, puis cliquez sur View Lineage à droite pour afficher ses informations de lignée.
-
Sur la page de détails de la lignée de la tâche d'algorithme, vous pouvez effectuer les opérations suivantes :
Lineage Time Range : Sélectionnez une plage de temps de lignée pour afficher la lignée de la tâche d'algorithme sur les derniers jours.
Autres opérations : Cliquez avec le bouton droit sur la tâche d'algorithme, et sélectionnez View Details (accédez à PAI pour afficher les détails de la tâche d'algorithme) ou View Lineage dans le menu contextuel.
Point d'entrée 2 : Afficher la lignée des tâches d'algorithme dans PAI
Dans PAI, vous pouvez afficher les informations de lignée d'une tâche d'algorithme dans la section des informations de base de la page de détails de la tâche. Procédez comme suit :
Connectez-vous à la console PAI. Basculez vers la région cible. Dans le volet de navigation de gauche, choisissez Workspaces, et cliquez sur le nom de l'espace de travail cible pour y accéder.
Dans le volet de navigation de gauche, choisissez .
Sur la page Tasks, repérez l'onglet où se trouve votre tâche d'algorithme (onglet Distributed Training (DLC), Algorithm Component Task ou Workflow Task).
Cliquez sur le nom de la tâche pour accéder à la page de détails de la tâche.
-
Dans la section Basic Information, cliquez sur View Lineage pour accéder à la page Bloodline analysis de PAI, où vous pouvez afficher la lignée de la tâche d'algorithme.
RemarqueSur la page d'analyse de la lignée de PAI, cliquez avec le bouton droit sur n'importe quel nœud du graphique de lignée, et sélectionnez View Lineage pour accéder à Data Map et afficher la lignée amont et aval du nœud.
Lignée des services de modèle
Génération et reporting de la lignée
Après avoir déployé un modèle enregistré sur EAS, le système établit automatiquement une relation de lignée entre le modèle et le service de modèle et reporte les informations de lignée.
Afficher la lignée des services de modèle
Vous pouvez afficher la lignée des services de modèle via les points d'entrée suivants.
Point d'entrée 1 : Afficher la lignée des services de modèle dans Data Map
La fonction de lignée des services de modèle dans Data Map vous permet d'afficher la lignée d'un service de modèle. Vous pouvez effectuer les opérations suivantes pour afficher la lignée :
-
Accédez à la page des services de modèle.
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sur la page qui s'affiche, cliquez sur Go to Data Map.
Cliquez sur l'icône
dans le volet de navigation de gauche pour accéder à la page Search.Dans la section Type sur le côté gauche de la page, sélectionnez Model Service. Utilisez les options Status et Resource Group Name dans la section Filter Conditions pour obtenir la liste des services de modèle que vous souhaitez afficher.
-
Affichez la lignée du service de modèle.
Dans la liste des services de modèle, repérez le service de modèle cible, puis cliquez sur View Lineage à droite pour afficher ses informations de lignée.
-
Sur la page de détails de la lignée du service de modèle, vous pouvez effectuer les opérations suivantes :
Lineage Time Range : Sélectionnez une plage de temps de lignée pour afficher la lignée du service de modèle sur les derniers jours.
Autres opérations : Cliquez avec le bouton droit sur le service de modèle, et sélectionnez View Details (accédez à PAI pour afficher les détails du service de modèle) ou View Lineage dans le menu contextuel.
Point d'entrée 2 : Afficher la lignée des services de modèle dans PAI
Dans PAI, vous pouvez afficher les informations de lignée d'un service de modèle dans la section des informations de base de la page de détails du service de modèle.
Connectez-vous à la console PAI. Basculez vers la région cible. Dans le volet de navigation de gauche, choisissez Workspaces, et cliquez sur le nom de l'espace de travail cible pour y accéder.
Dans le volet de navigation de gauche, choisissez .
Repérez l'onglet Inference Service sur la page Elastic Algorithm Service (EAS) pour le modèle que vous avez créé.
Cliquez sur le nom de la tâche pour accéder à la page de présentation de la tâche.
-
Dans la section Basic Information, cliquez sur View Lineage pour accéder à la page Bloodline analysis de PAI, où vous pouvez afficher la lignée du service de modèle.
RemarqueSur la page d'analyse de la lignée de PAI, cliquez avec le bouton droit sur n'importe quel nœud du graphique de lignée, et sélectionnez View Lineage pour accéder à Data Map et afficher la lignée amont et aval du nœud.