DataWorks Data Map ofrece visualización topológica y gestión del ciclo de vida completo para los activos de IA mediante un centro de metadatos unificado, lo que mejora la eficiencia en la gobernanza de activos. Este tema describe cómo consultar los activos de IA en Data Map.
Contexto
Data Map integra los metadatos de los activos de IA de PAI para admitir la búsqueda y gestión global de sus activos de IA principales. Una interfaz unificada le permite descubrir y gestionar estos recursos de forma eficiente. Además, puede usar el servicio de linaje para rastrear el origen, el uso y la evolución de los datos y modelos.
El servicio de linaje de activos de IA proporciona una manera intuitiva de rastrear el ciclo de vida de los datos y modelos, lo cual le ayuda a gestionar y optimizar sus activos de IA. La página de detalles de cada objeto de activo de IA incluye un punto de entrada para consultar y analizar su información de linaje.
Por ejemplo, un gráfico de linaje típico muestra la cadena completa desde los archivos de entrada (como las rutas de almacenamiento de Object Storage Service (OSS)) y los conjuntos de datos (como las tablas de MaxCompute), pasando por una tarea de entrenamiento de modelos de PAI en Model Gallery. Esta tarea genera archivos de salida, como archivos adaptadores de modelos y archivos de conjuntos de datos etiquetados, un modelo de IA y un servicio de modelo en línea.
A continuación se presentan los principales casos de uso del servicio de linaje de activos de IA:
Gobernanza de activos de IA: la información detallada del linaje de activos le ayuda a comprender el origen y el uso de sus activos de IA. Esto no solo mejora la calidad de los datos y modelos, sino que también garantiza que sus prácticas de IA cumplan con los requisitos normativos y respalda una gestión de datos y toma de decisiones más precisas.
Trazabilidad de modelos: en el contexto de Responsible AI practices, mantener la transparencia de los modelos de IA es fundamental. El servicio de linaje de activos de IA le permite rastrear los conjuntos de datos, los métodos de ingeniería de características y los procesos de ajuste de parámetros utilizados en el entrenamiento de modelos. Esta trazabilidad es esencial para cumplir con los requisitos regulatorios, validar resultados experimentales y llevar a cabo auditorías de modelos.
Solución de problemas y optimización: cuando un servicio de IA presenta problemas de rendimiento, la información de linaje de activos le ayuda a localizar rápidamente la causa raíz. Por ejemplo, si la precisión de predicción de un modelo disminuye repentinamente, la causa podría ser un cambio en el procesamiento de datos ascendente. Con el gráfico de linaje, puede identificar y resolver estos problemas con rapidez.
Mejora en la utilización de recursos: comprender las dependencias entre tareas le permite asignar los recursos de cómputo de manera más efectiva, evitar cálculos redundantes y reducir costos. En experimentos a gran escala, entender las dependencias de tareas y datos mediante la información de linaje le ayuda a identificar qué tareas se pueden ejecutar en paralelo, lo que permite una utilización y un procesamiento de recursos más eficientes.
Mayor eficiencia en la colaboración: en organizaciones grandes, varios equipos pueden compartir la misma infraestructura para investigación. La información clara del linaje de tareas fomenta la colaboración entre equipos y acelera el proceso de innovación.
Requisitos previos
Debe create a workspace for the new version of Data Studio. Seleccione una de las siguientes ediciones según sus necesidades:
Si cuenta con created a PAI workspace, puede buscar y consultar los tipos correspondientes de activos de IA. Al crear el espacio de trabajo, debe seleccionar Create AI Workspace with Same Name.
DataWorks Standard Edition: para usar los servicios estándar de linaje de activos de IA, debe activar DataWorks Standard Edition.
DataWorks Professional Edition: si necesita capacidades de informes de linaje para tareas de entrenamiento de modelos de Deep Learning Containers (DLC) y tareas de flujo de trabajo, debe activar DataWorks Professional Edition.
Activos de IA compatibles
DataWorks le permite buscar y consultar los detalles de metadatos de los siguientes activos de IA en Data Map:
Recopilar activos de IA
Después de habilitar PAI para su espacio de trabajo, Data Map recopila automáticamente la información de los activos de su espacio de trabajo de IA.
Buscar activos de IA
Utilice la función de búsqueda para consultar la información básica y el linaje de todos los activos de IA en el espacio de trabajo actual.
Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Data Map.
Haga clic en el icono
en el panel de navegación izquierdo para ir a la página Search.En la sección Type, ubicada en el lado izquierdo de la página, seleccione el AI asset type que desea consultar e introduzca palabras clave en el cuadro de búsqueda para encontrar los activos de IA correspondientes.
Consultar el linaje de activos de IA
La página de búsqueda de DataWorks Data Map le permite consultar el linaje de los activos de IA. También puede ir a PAI para ver los detalles de los activos de IA.
La función de linaje de conjuntos de datos en Data Map proporciona información agregada del linaje de versiones. Puede consultar el linaje de todas las versiones de un activo de IA. El linaje de versiones agregadas consolida la información de varias versiones, por lo que puede ver el linaje de una versión específica o de todas ellas.
Linaje de conjuntos de datos
Generación y reporte de linaje
Cuando genera un conjunto de datos o realiza operaciones sobre él mediante los siguientes métodos, el sistema activa automáticamente la generación y el reporte del linaje.
Método 1: Registrar una ruta de almacenamiento como conjunto de datos
Al registrar una ruta de almacenamiento como conjunto de datos, se genera la siguiente información de linaje. El sistema reporta esta información automáticamente.
Data Source | Descripción |
Cuando el origen de datos del conjunto de datos registrado es OSS, se genera un registro de linaje de OSS al conjunto de datos. | |
|
Método 2: Registrar una tabla de datos como conjunto de datos
Cuando el origen de datos del conjunto de datos registrado es una MaxCompute table, se genera un registro de linaje de la tabla de MaxCompute al conjunto de datos. La información de linaje se estructura de la siguiente manera:
Si genera una tabla de MaxCompute mediante varias tareas SQL y registra la tabla como un conjunto de datos de PAI, la información de linaje de este conjunto de datos le permite rastrear todas las tareas SQL relacionadas que generaron la tabla.
Método 3: Etiquetar un conjunto de datos
Cuando etiqueta un conjunto de datos en iTAG y se crea el Create a labeling job, el sistema reporta automáticamente la siguiente información de linaje.
Consultar el linaje de conjuntos de datos
Puede consultar el linaje de conjuntos de datos a través de los siguientes puntos de entrada.
Punto de entrada 1: Consultar el linaje de conjuntos de datos en Data Map
Siga estos pasos para consultar la información de linaje de conjuntos de datos en Data Map:
-
Vaya a la página de lista de conjuntos de datos.
Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Data Map.
Haga clic en el icono
en el panel de navegación izquierdo para ir a la página Search.En la sección Type, ubicada en el lado izquierdo de la página, seleccione Dataset. Utilice las opciones Data Source Type, Workspace y otras disponibles en la sección Filter Conditions para obtener la lista de conjuntos de datos que desea consultar.
-
Consulte el linaje del conjunto de datos.
En la lista de conjuntos de datos, busque el conjunto de datos de destino y haga clic en View Lineage en el lado derecho para consultar su información de linaje.
En la página de detalles de linaje, el lado izquierdo muestra el nodo de archivo de OSS asociado ascendente. El lado derecho resalta en naranja el nodo central del conjunto de datos actual y su información de versión.
-
En la página de detalles de linaje del conjunto de datos, puede realizar las siguientes operaciones:
Lineage Time Range: en el área ①, seleccione un intervalo de tiempo de linaje para consultar el linaje del conjunto de datos durante los últimos días.
Versión del conjunto de datos Vers.: en el área ②, cambie la versión del conjunto de datos para consultar el linaje de la versión correspondiente.
Otras operaciones: haga clic con el botón secundario en el conjunto de datos y seleccione View Details (para ir a PAI y consultar los detalles del conjunto de datos) o View Lineage en el menú contextual.
Punto de entrada 2: Consultar el linaje de conjuntos de datos en PAI
En PAI, puede consultar la información de linaje de un conjunto de datos en la sección de detalles de una versión específica. Siga estos pasos:
Inicie sesión en la PAI console. Cambie a la región de destino. En el panel de navegación izquierdo, elija Workspaces y haga clic en el nombre del espacio de trabajo de destino para acceder a él.
En el panel de navegación izquierdo, elija .
Busque el conjunto de datos que creó en la sección Basic Dataset, dentro de la pestaña Custom Dataset.
-
Haga clic en el nombre del conjunto de datos y, en la sección de detalles de una versión específica, haga clic en View Lineage para ir a la página Bloodline analysis de PAI, donde puede consultar el linaje de la versión actual del conjunto de datos.
NotaEn la página de análisis de linaje de PAI, haga clic con el botón secundario en cualquier nodo del gráfico de linaje y seleccione View Lineage para ir a Data Map y consultar el linaje ascendente y descendente del nodo.
Linaje de modelos de IA
Generación y reporte de linaje
Cuando genera un modelo de IA o realiza operaciones sobre él mediante los siguientes métodos, el sistema activa automáticamente la generación y el reporte del linaje.
Método 1: Ejecutar una tarea de entrenamiento de modelos
Una vez que finaliza una tarea de model training enviada en Model Gallery, se genera un registro de linaje entre el modelo y la tarea de entrenamiento. El sistema reporta automáticamente la siguiente información de linaje.
Método 2: Register Model
Después de register a model en la página de gestión de modelos, se genera un registro de linaje desde la ruta de almacenamiento del modelo hasta el modelo. El sistema reporta automáticamente la siguiente información de linaje.
Método 3: Desplegar un servicio de modelo
Después de deploy a registered model to EAS, se genera un registro de linaje desde el modelo hasta el servicio de modelo. El sistema reporta automáticamente la siguiente información de linaje.
Consultar el linaje de modelos de IA
Puede consultar el linaje de modelos de IA a través de los siguientes puntos de entrada.
Punto de entrada 1: Consultar el linaje de modelos de IA en Data Map
Siga estos pasos para consultar la información de linaje de modelos de IA en Data Map:
-
Vaya a la página de lista de modelos de IA.
Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Data Map.
Haga clic en el icono
en el panel de navegación izquierdo para ir a la página Search.En la sección Type, ubicada en el lado izquierdo de la página, seleccione AI Model. Utilice la opción Workspace en la sección Filter Conditions para obtener la lista de modelos de IA que desea consultar.
-
Consulte el linaje del modelo de IA.
En la lista de modelos de IA, busque el modelo de destino y haga clic en View Lineage en el lado derecho para consultar su información de linaje.
-
En la página de detalles de linaje del modelo de IA, puede realizar las siguientes operaciones:
Lineage Time Range: en el área ①, seleccione un intervalo de tiempo de linaje para consultar el linaje del modelo de IA durante los últimos días.
AI Model Vers.: en el área ②, cambie la versión del modelo de IA para consultar el linaje de la versión correspondiente.
Otras operaciones: haga clic con el botón secundario en el modelo de IA y seleccione View Details (para ir a PAI y consultar los detalles del modelo de IA) o View Lineage en el menú contextual.
Punto de entrada 2: Consultar el linaje de modelos de IA en PAI
En PAI, puede consultar la información de linaje de un modelo de IA en la sección de detalles de una versión específica. Siga estos pasos:
Inicie sesión en la PAI console. Cambie a la región de destino. En el panel de navegación izquierdo, elija Workspaces y haga clic en el nombre del espacio de trabajo de destino para acceder a él.
En el panel de navegación izquierdo, elija .
Busque el modelo que registró en la página Model.
Haga clic en el número de la versión más reciente para ir a la página de información de Model Version.
-
En la sección Version Overview, haga clic en View Lineage para ir a la página Bloodline analysis de PAI, donde puede consultar el linaje de la versión actual del modelo de IA.
NotaEn la página de análisis de linaje de PAI, haga clic con el botón secundario en cualquier nodo del gráfico de linaje y seleccione View Lineage para ir a Data Map y consultar el linaje ascendente y descendente del nodo.
Linaje de tareas de algoritmo
Generación y reporte de linaje
Cuando ejecuta tareas relacionadas mediante los siguientes métodos, el sistema activa automáticamente la generación y el reporte del linaje.
Para las tareas enviadas mediante el entrenamiento distribuido de DLC, debe reportar manualmente la información de linaje al integrar un SDK y configurar las entradas y salidas según la tarea real. Este método está diseñado para usuarios con sólidas capacidades técnicas y prácticas empresariales maduras; de lo contrario, la precisión de la información de linaje podría verse afectada. Para usar esta función, comuníquese con su administrador de cuenta y solicite que lo agreguen a la lista de permitidos. Para obtener más información, consulte Create a model training job.
Método 1: Ejecutar una Training Task (tarea de componente de algoritmo)
Una vez que finaliza una tarea de model training enviada en Model Gallery, se genera un registro de linaje entre el modelo y la tarea de entrenamiento. El sistema reporta automáticamente la siguiente información de linaje.
Método 2: Ejecutar una Workflow Task
Cuando finaliza una tarea de flujo de trabajo creada en PAI, se generan relaciones de linaje entre las tablas o rutas de almacenamiento de entrada, los modelos o conjuntos de datos de salida y la tarea de PAIFlow.
El linaje generado por las tareas de flujo de trabajo de PAI ejecutadas mediante los siguientes métodos se recopila y reporta automáticamente:
Tareas enviadas mediante PAIFlow openapi. Para obtener más información, consulte API overview.
Tareas ejecutadas manualmente en Designer. Para obtener más información, consulte Build and debug a model.
Tareas activadas periódicamente mediante la programación periódica de DataWorks. Para obtener más información, consulte Schedule a PAI Designer pipeline with DataWorks.
Método 3: Ejecutar una tarea de entrenamiento distribuido
Cuando create and run a distributed training task, se generan relaciones de linaje entre las rutas de almacenamiento de la tabla de entrada, los modelos o conjuntos de datos de salida y la tarea de DLC. Para las tareas enviadas mediante el entrenamiento distribuido de DLC, puede reportar manualmente la información de linaje.
Este método es adecuado para usuarios con sólidas capacidades técnicas y prácticas empresariales maduras. De lo contrario, la precisión de la información de linaje podría verse afectada.
Consultar el linaje de tareas de algoritmo
Puede consultar el linaje de tareas de algoritmo a través de los siguientes puntos de entrada.
Punto de entrada 1: Consultar el linaje de tareas de algoritmo en Data Map
La función de linaje de tareas de algoritmo en Data Map le permite consultar el linaje de una tarea. Realice las siguientes operaciones para ver el linaje:
-
Vaya a la página de lista de tareas de algoritmo.
Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Data Map.
Haga clic en el icono
en el panel de navegación izquierdo para ir a la página Search.En la sección Type, ubicada en el lado izquierdo de la página, seleccione Algorithm Task. Utilice la opción Workspace en la sección Filter Conditions para obtener la lista de tareas de algoritmo que desea consultar.
-
Consulte el linaje de la tarea de algoritmo.
En la lista de tareas de algoritmo, busque la tarea de destino y haga clic en View Lineage en el lado derecho para consultar su información de linaje.
-
En la página de detalles de linaje de la tarea de algoritmo, puede realizar las siguientes operaciones:
Lineage Time Range: seleccione un intervalo de tiempo de linaje para consultar el linaje de la tarea de algoritmo durante los últimos días.
Otras operaciones: haga clic con el botón secundario en la tarea de algoritmo y seleccione View Details (para ir a PAI y consultar los detalles de la tarea de algoritmo) o View Lineage en el menú contextual.
Punto de entrada 2: Consultar el linaje de tareas de algoritmo en PAI
En PAI, puede consultar la información de linaje de una tarea de algoritmo en la sección de información básica de la página de detalles de la tarea. Siga estos pasos:
Inicie sesión en la PAI console. Cambie a la región de destino. En el panel de navegación izquierdo, elija Workspaces y haga clic en el nombre del espacio de trabajo de destino para acceder a él.
En el panel de navegación izquierdo, elija .
En la página Tasks, busque la pestaña donde se encuentra su tarea de algoritmo (pestaña Distributed Training (DLC), Algorithm Component Task o Workflow Task).
Haga clic en el nombre de la tarea para ir a la página de detalles de la tarea.
-
En la sección Basic Information, haga clic en View Lineage para ir a la página Bloodline analysis de PAI, donde puede consultar el linaje de la tarea de algoritmo.
NotaEn la página de análisis de linaje de PAI, haga clic con el botón secundario en cualquier nodo del gráfico de linaje y seleccione View Lineage para ir a Data Map y consultar el linaje ascendente y descendente del nodo.
Linaje de servicios de modelo
Generación y reporte de linaje
Después de deploy a registered model to EAS, el sistema establece automáticamente una relación de linaje entre el modelo y el servicio de modelo, y reporta la información de linaje.
Consultar el linaje de servicios de modelo
Puede consultar el linaje de servicios de modelo a través de los siguientes puntos de entrada.
Punto de entrada 1: Consultar el linaje de servicios de modelo en Data Map
La función de linaje de servicios de modelo en Data Map le permite consultar el linaje de un servicio de modelo. Realice las siguientes operaciones para ver el linaje:
-
Vaya a la página de servicios de modelo.
Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Data Map.
Haga clic en el icono
en el panel de navegación izquierdo para ir a la página Search.En la sección Type, ubicada en el lado izquierdo de la página, seleccione Model Service. Utilice las opciones Status y Resource Group Name en la sección Filter Conditions para obtener la lista de servicios de modelo que desea consultar.
-
Consulte el linaje del servicio de modelo.
En la lista de servicios de modelo, busque el servicio de destino y haga clic en View Lineage en el lado derecho para consultar su información de linaje.
-
En la página de detalles de linaje del servicio de modelo, puede realizar las siguientes operaciones:
Lineage Time Range: seleccione un intervalo de tiempo de linaje para consultar el linaje del servicio de modelo durante los últimos días.
Otras operaciones: haga clic con el botón secundario en el servicio de modelo y seleccione View Details (para ir a PAI y consultar los detalles del servicio de modelo) o View Lineage en el menú contextual.
Punto de entrada 2: Consultar el linaje de servicios de modelo en PAI
En PAI, puede consultar la información de linaje de un servicio de modelo en la sección de información básica de la página de detalles del servicio de modelo.
Inicie sesión en la PAI console. Cambie a la región de destino. En el panel de navegación izquierdo, elija Workspaces y haga clic en el nombre del espacio de trabajo de destino para acceder a él.
En el panel de navegación izquierdo, elija .
Busque la pestaña Inference Service en la página Elastic Algorithm Service (EAS) correspondiente al modelo que creó.
Haga clic en el nombre de la tarea para ir a la página de descripción general de la tarea.
-
En la sección Basic Information, haga clic en View Lineage para ir a la página Bloodline analysis de PAI, donde puede consultar el linaje del servicio de modelo.
NotaEn la página de análisis de linaje de PAI, haga clic con el botón secundario en cualquier nodo del gráfico de linaje y seleccione View Lineage para ir a Data Map y consultar el linaje ascendente y descendente del nodo.