Le service de lignée des actifs IA est un service technique essentiel pour optimiser la gestion des actifs IA en entreprise. Il permet de suivre et de comprendre l'origine et l'évolution des données et des modèles, améliorant ainsi considérablement la transparence et l'efficacité de la gestion. Ce service offre également un soutien solide et des avantages concurrentiels aux entreprises du secteur de l'IA.
Présentation
Le service de lignée des actifs IA aide les entreprises à gérer et optimiser leurs actifs IA de manière efficace. Il permet de suivre et comprendre l'origine, l'utilisation et l'évolution des données et des modèles. Le service couvre divers actifs IA, notamment les jeux de données (versions), les pipelines de traitement des données, les tâches d'entraînement, les modèles (versions), les services de modèle et d'autres métadonnées. La page de détails de chaque actif fournit un point d'entrée pour consulter les informations de lignée, facilitant ainsi l'accès et l'analyse.
Le service de lignée des actifs IA convient aux scénarios d'application suivants :
Gestion des actifs IA : le service fournit des informations détaillées sur la lignée des actifs, permettant aux entreprises de mieux comprendre l'origine et l'utilisation de leurs actifs IA. Cela améliore la qualité des données et des modèles et garantit la conformité des pratiques IA de l'entreprise aux normes réglementaires, soutenant ainsi une gestion précise des données et une prise de décision éclairée.
Traçabilité des modèles : dans le contexte des pratiques d'IA responsable, il est crucial de maintenir la transparence des modèles IA. Le service permet aux entreprises de retracer les jeux de données, les méthodes d'ingénierie des fonctionnalités et les ajustements de paramètres utilisés lors de l'entraînement des modèles afin de respecter la conformité réglementaire, de vérifier les résultats des expériences et d'effectuer des audits de modèles.
Dépannage et optimisation : les informations de lignée permettent d'identifier rapidement la cause racine des problèmes de performance des services IA. Par exemple, une baisse soudaine de la précision des prédictions d'un modèle peut être attribuée à des modifications dans le traitement amont des données. Un graphique de lignée aide les entreprises à identifier et résoudre rapidement le problème.
Amélioration de l'utilisation des ressources : la compréhension des dépendances entre les tâches permet aux entreprises d'allouer les ressources de calcul de manière rationnelle. Cela évite les calculs redondants et réduit les coûts. Les informations de lignée aident également à identifier les dépendances entre les tâches et les données, permettant de déterminer quelles tâches peuvent être exécutées en parallèle lors d'expériences à grande échelle. Cela optimise l'utilisation des ressources et le traitement.
Amélioration de l'efficacité collaborative : au sein d'une grande organisation, plusieurs équipes peuvent partager la même infrastructure de recherche. Des informations de lignée claires facilitent la communication interéquipes et le partage des connaissances, accélérant ainsi le processus d'innovation.
Prérequis
Pour utiliser le service de lignée des actifs IA, activez DataWorks dans la console DataWorks.
DataWorks Standard Edition : si vous avez besoin du service de lignée des actifs IA standard, activez DataWorks Standard Edition.
DataWorks Professional Edition : si vous avez besoin des capacités de rapport de lignée pour les tâches d'entraînement Deep Learning Containers (DLC) et les tâches de pipeline, activez DataWorks Professional Edition.
Pour plus d'informations sur les éditions de DataWorks, consultez la rubrique DataWorks : Fonctionnalités par édition.
Méthode de rapport de lignée et point d'entrée**
Le rapport de lignée désigne l'enregistrement automatique ou manuel et la génération de diverses métadonnées liées aux modèles IA, ainsi que des relations entre ces métadonnées et les modèles, lors du développement, de l'entraînement, du déploiement et de la maintenance dans Platform for AI (PAI). Le rapport de lignée implique les opérations suivantes.
Créer un jeu de données
Les jeux de données prennent en charge la gestion des versions. Chaque version constitue un actif de lignée indépendant. Vous pouvez consulter les informations de lignée d'une version spécifique de jeu de données ainsi que ses relations amont et aval.
-
Structure des informations de lignée
-
Point d'entrée : Créer et gérer des jeux de données
Point d'entrée pour consulter les informations de lignée : dans la liste des jeux de données, localisez le jeu de données souhaité et cliquez sur son nom. Dans la section Version Details de la page de détails du jeu de données, cliquez sur View Lineage pour afficher les informations de lignée.
Prétraiter les données
Point d'entrée : si vous exécutez une tâche d'analyse des données dans un environnement de production basé sur le moteur MaxCompute dans DataWorks, et que l'entrée et la sortie sont une table MaxCompute ou un chemin OSS, vous pouvez également consulter et analyser les informations de lignée. Par exemple, vous obtenez une table MaxCompute après avoir exécuté plusieurs tâches SQL et enregistré cette table en tant que jeu de données PAI. Vous pouvez retracer les tâches ayant généré la table grâce aux informations de lignée.
Point d'entrée pour consulter les informations de lignée : dans la liste des jeux de données, localisez le jeu de données souhaité et cliquez sur son nom. Dans la section Version Details de la page de détails du jeu de données, cliquez sur View Lineage pour afficher les informations de lignée.
Créer une tâche d'étiquetage
Lors de la création d'une tâche d'étiquetage des données dans iTAG, vous devez spécifier un jeu de données d'entrée. Une fois la tâche d'étiquetage créée, le système affiche automatiquement les informations de lignée selon la structure suivante.
-
Structure des informations de lignée
-
Point d'entrée
-
Créer une tâche d'étiquetage
Dans le volet de navigation de gauche de la PAI console, cliquez sur Data Preparation > Intelligent Labeling (iTAG) pour accéder à la page d'étiquetage intelligent. Dans la zone Quick Start , cliquez sur la carte Create Task pour créer une tâche d'étiquetage.
-
Exporter les données de résultat d'étiquetage
Sur la page d'étiquetage intelligent iTAG, cliquez sur Go to Management Page dans le coin supérieur droit.
Dans la liste des tâches, cliquez sur Get Labeling Results dans la colonne Actions. Dans la boîte de dialogue, configurez les options suivantes :
Data Format : sélectionnez
csvExport to Dataset : sélectionnez Yes
OSS Output Path : spécifiez le chemin de sortie
Cliquez sur OK.
-
Point d'entrée pour consulter les informations de lignée : dans la liste des jeux de données étiquetés, localisez le jeu de données étiqueté souhaité et cliquez sur le nom du jeu de données source. Dans la section Version Details de la page de détails du jeu de données, cliquez sur View Lineage pour afficher les informations de lignée.
Créer une tâche de pipeline
Vous pouvez considérer une tâche de pipeline comme un actif indépendant. Lors de la soumission d'une tâche de pipeline dans Machine Learning Designer, si le pipeline contient le composant Read Table, Read File Data, Model Register ou Dataset Register, le système rapporte automatiquement les informations de lignée selon la structure suivante après l'exécution de la tâche.
-
Structure des informations de lignée
-
Point d'entrée : Créer un pipeline
Sur la page de détails du pipeline, ajoutez les composants pertinents en fonction de vos besoins métier. Dans cet exemple, les composants Read File Data et Dataset Register sont ajoutés.
-
Point d'entrée pour consulter les informations de lignée : dans la liste des tâches de pipeline, localisez la tâche de pipeline souhaitée et cliquez sur son nom. Dans la section Basic Information de la page de détails du pipeline, cliquez sur View Lineage pour afficher les informations de lignée.
La page d'analyse de lignée affiche un diagramme de flux de données : de gauche à droite, un nœud de fichier OSS
dataset_input/, un nœud PAI Flow et un nœud de jeu de donnéesd_prod_20241119l424/v2, indiquant que les données circulent d'OSS via PAI Flow vers un jeu de données PAI. L'en-tête de la page propose trois options à basculer : Hide Sibling Nodes on Expand, Enable Thumbnail et Enable Cycle Detection.
Créer une tâche d'entraînement de modèle
Model Gallery
Après l'exécution de la tâche d'entraînement de modèle que vous avez soumise dans Model Gallery, le système affiche automatiquement les informations de lignée selon la structure suivante.
-
Structure des informations de lignée
-
Point d'entrée : Entraîner un modèle
Dans le volet de navigation de gauche, choisissez Quick Start > Model Gallery. Localisez un modèle prenant en charge l'entraînement et cliquez sur le bouton Train sur la carte du modèle.
Point d'entrée pour consulter les informations de lignée : dans la liste des modèles, localisez le modèle souhaité et cliquez sur son nom. Dans la liste des versions du modèle sur la page de détails du modèle, sélectionnez la version de modèle souhaitée et cliquez sur le numéro de version. Dans le panneau Model Version , cliquez sur View Lineage pour afficher les informations de lignée.
DLC
Lors de la soumission d'une tâche d'entraînement de modèle, vous pouvez rapporter manuellement les informations de lignée et configurer les entrées et sorties en fonction de vos besoins métier. Cette solution convient aux utilisateurs disposant de compétences techniques avancées et d'un métier bien établi. Sinon, la précision des informations de lignée pourrait être affectée. Si vous avez des questions, contactez votre gestionnaire commercial pour être ajouté à la liste blanche d'accès à la fonctionnalité.
Enregistrer un modèle
Les modèles prennent en charge la gestion des versions. Chaque version constitue un actif de lignée indépendant. Vous pouvez consulter les informations de lignée d'une version spécifique de modèle ainsi que ses relations amont et aval.
-
Structure des informations de lignée
-
Point d'entrée : Enregistrer un modèle
Dans le volet de navigation de gauche de la PAI console, choisissez AI Asset Management > Models pour accéder à la page de gestion des modèles, puis cliquez sur Register New Model.
RemarqueVous pouvez enregistrer un modèle manuellement. Après l'exécution d'une tâche d'entraînement soumise dans Model Gallery, le modèle généré sera également automatiquement enregistré en tant que modèle dans l'espace de travail actuel. Pour plus d'informations, consultez la rubrique Model Gallery.
Point d'entrée pour consulter les informations de lignée : dans la liste des modèles, localisez le modèle souhaité et cliquez sur son nom. Dans la liste des versions du modèle sur la page de détails du modèle, sélectionnez la version de modèle souhaitée et cliquez sur le numéro de version. Dans le panneau Model Version , cliquez sur View Lineage pour afficher les informations de lignée.
Déployer un service de modèle
Les modèles prennent en charge la gestion des versions. Chaque version constitue un actif de lignée indépendant. Vous pouvez consulter les informations de lignée d'une version spécifique de modèle ainsi que ses relations amont et aval.
-
Structure des informations de lignée
-
Point d'entrée : Enregistrer un modèle
Choisissez AI Asset Management > Models. Sur la page Model , localisez le modèle souhaité et cliquez sur Deploy in EAS dans la colonne Actions .
-
Sur l'onglet Events de la page Workspace Details , cliquez sur Create Event Rule . Dans le panneau Create Event Rule , définissez le paramètre Event Type sur Models et sélectionnez Version Approved dans la liste déroulante.
Cliquez sur Create Event Rule . Dans le panneau de droite, définissez Event Type sur Model et sélectionnez l'événement Model Version Approved . Configurez Rule Name , Rule Description , Event Scope et Event Target (par exemple, en activant DingTalk Notification et en saisissant l'URL Webhook) selon vos besoins.
Lorsque la valeur du paramètre Version Approval Status pour une version de modèle spécifique passe de Pending à Approved , le service de modèle est automatiquement mis à jour.
Dans le volet de navigation de gauche, choisissez AI Asset Management > Models . Ouvrez la liste des versions du modèle pour consulter le statut d'approbation de chaque version (par exemple, la version 0.6.0 affiche Approved ).
-
Point d'entrée pour consulter les informations de lignée : dans la liste des services de modèle, localisez le service de modèle souhaité et cliquez sur son nom. Sur l'onglet Overview de la page de détails du service de modèle, cliquez sur View Lineage dans la section Basic Information pour afficher les informations de lignée.
RemarqueSi un service dans Elastic Algorithm Service (EAS) possède plusieurs versions, le service correspond à la même instance EAS dans les informations de lignée. Pour analyser une version spécifique du service, mettez à jour la valeur VersionId du service pour localiser la version.