O Data Map do DataWorks oferece visualização topológica e gerenciamento completo do ciclo de vida de ativos de IA por meio de um hub de metadados unificado, aumentando a eficiência da governança de ativos. Este tópico descreve como visualizar ativos de IA no Data Map.
Contexto
O Data Map integra metadados de ativos de IA do PAI para permitir a pesquisa global e o gerenciamento dos seus principais ativos de IA. Uma interface unificada permite descobrir e gerenciar esses recursos com eficiência, além de utilizar o serviço de linhagem para rastrear a origem, o uso e a evolução de dados e modelos.
O serviço de linhagem de ativos de IA fornece uma maneira intuitiva de acompanhar o ciclo de vida de dados e modelos, ajudando você a gerenciar e otimizar seus ativos de IA. A página de detalhes de cada objeto de ativo de IA oferece um ponto de entrada para visualizar e analisar suas informações de linhagem.
Por exemplo, um gráfico típico de linhagem de ativos de IA mostra a cadeia completa desde arquivos de entrada, como caminhos de armazenamento do Object Storage Service (OSS), e conjuntos de dados, como tabelas do MaxCompute, passando por uma tarefa de treinamento de modelo do PAI na Model Gallery. Essa tarefa gera arquivos de saída, como arquivos de adaptador de modelo e arquivos de conjunto de dados rotulados, um modelo de IA e um serviço de modelo online.
Os principais casos de uso do serviço de linhagem de ativos de IA incluem:
Governança de ativos de IA: Informações detalhadas sobre a linhagem de ativos ajudam a compreender a origem e o uso dos seus ativos de IA. Isso não apenas melhora a qualidade dos dados e modelos, mas também garante que suas práticas de IA atendam aos requisitos de conformidade, apoiando um gerenciamento de dados e uma tomada de decisão mais precisos.
Rastreabilidade de modelos: No contexto das Práticas de IA Responsável, manter a transparência dos modelos de IA é fundamental. O serviço de linhagem de ativos de IA permite rastrear os conjuntos de dados, métodos de engenharia de features e processos de ajuste de parâmetros usados no treinamento de modelos. Essa rastreabilidade é essencial para atender a requisitos regulatórios, validar resultados experimentais e realizar auditorias de modelos.
Solução de problemas e otimização: Quando um serviço de IA apresenta problemas de desempenho, as informações de linhagem de ativos ajudam a localizar rapidamente a causa raiz. Por exemplo, se a precisão da previsão de um modelo cair repentinamente, a causa pode ser uma alteração no processamento de dados upstream. Com o gráfico de linhagem, você identifica e resolve esses problemas rapidamente.
Melhoria na utilização de recursos: Compreender as dependências entre tarefas permite alocar recursos de computação de forma mais eficaz, evitar cálculos redundantes e reduzir custos. Em experimentos de grande escala, entender as dependências de tarefas e dados por meio das informações de linhagem ajuda a identificar quais tarefas podem ser executadas em paralelo, possibilitando uma utilização e um processamento de recursos mais eficientes.
Aumento da eficiência na colaboração: Em grandes organizações, várias equipes podem compartilhar a mesma infraestrutura para pesquisa. Informações claras sobre a linhagem de tarefas promovem a colaboração entre equipes e aceleram o processo de inovação.
Pré-requisitos
Crie um workspace para a nova versão do Data Studio. Selecione uma das seguintes edições conforme suas necessidades:
Se você já criou um workspace do PAI, poderá pesquisar e visualizar os tipos correspondentes de ativos de IA. Ao criar o workspace, selecione Create AI Workspace with Same Name.
DataWorks Standard Edition: Para usar os serviços padrão de linhagem de ativos de IA, ative o DataWorks Standard Edition.
DataWorks Professional Edition: Se precisar de recursos de relatório de linhagem para tarefas de treinamento de modelo e tarefas de fluxo de trabalho do Deep Learning Containers (DLC), ative o DataWorks Professional Edition.
Ativos de IA compatíveis
O DataWorks permite pesquisar e visualizar os detalhes de metadados dos seguintes ativos de IA no Data Map:
Coletar ativos de IA
Após habilitar o PAI para seu workspace, o Data Map coleta automaticamente as informações de ativos do seu workspace de IA.
Pesquisar ativos de IA
Use o recurso de pesquisa para visualizar as informações básicas e a linhagem de todos os ativos de IA no workspace atual.
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Clique no ícone
no painel de navegação à esquerda para acessar a página Search.Na seção Type no lado esquerdo da página, selecione o tipo de ativo de IA que deseja visualizar e insira palavras-chave na caixa de pesquisa para encontrar os ativos de IA correspondentes.
Visualizar linhagem de ativos de IA
A página de pesquisa no Data Map do DataWorks permite visualizar a linhagem de ativos de IA. Você também pode navegar até o PAI para ver os detalhes do ativo de IA.
O recurso de linhagem de conjuntos de dados no Data Map fornece informações agregadas de linhagem de versões. É possível visualizar a linhagem de todas as versões de um ativo de IA. A linhagem de versão agregada consolida informações de múltiplas versões, permitindo que você visualize a linhagem de uma versão específica ou de todas elas.
Linhagem de conjuntos de dados
Geração e relatório de linhagem
Ao gerar um conjunto de dados ou executar operações nele pelos métodos abaixo, o sistema aciona automaticamente a geração e o relatório de linhagem.
Método 1: Registrar um caminho de armazenamento como conjunto de dados
Ao registrar um caminho de armazenamento como um conjunto de dados, o sistema gera e reporta automaticamente as seguintes informações de linhagem.
Data Source | Descrição |
Quando a fonte de dados do conjunto de dados registrado é o OSS, o sistema gera um registro de linhagem do OSS para o conjunto de dados. | |
|
Método 2: Registrar uma tabela de dados como conjunto de dados
Quando a fonte de dados do conjunto de dados registrado é uma tabela do MaxCompute, o sistema gera um registro de linhagem da tabela do MaxCompute para o conjunto de dados. As informações de linhagem são estruturadas da seguinte forma:
Se você gerar uma tabela do MaxCompute por meio de várias tarefas SQL e registrá-la como um conjunto de dados do PAI, as informações de linhagem desse conjunto de dados permitirão rastrear todas as tarefas SQL relacionadas que geraram a tabela.
Método 3: Rotular um conjunto de dados
Ao rotular um conjunto de dados no iTAG e criar a Criar uma tarefa de rotulagem, o sistema reporta automaticamente as seguintes informações de linhagem.
Visualizar linhagem de conjuntos de dados
É possível visualizar a linhagem de conjuntos de dados pelos seguintes pontos de entrada.
Entrada 1: Visualizar linhagem de conjuntos de dados no Data Map
Visualize as informações de linhagem de conjuntos de dados diretamente no Data Map seguindo os passos abaixo:
-
Acesse a página da lista de conjuntos de dados.
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Clique no ícone
no painel de navegação à esquerda para acessar a página Search.Na seção Type no lado esquerdo da página, selecione Dataset. Utilize as opções Data Source Type, Workspace e outras na seção Filter Conditions para obter a lista de conjuntos de dados desejada.
-
Visualize a linhagem do conjunto de dados.
Na lista de conjuntos de dados, localize o conjunto de dados alvo e clique em View Lineage no lado direito para ver suas informações de linhagem.
Na página de detalhes da linhagem, o lado esquerdo exibe o nó de arquivo OSS associado upstream, enquanto o lado direito destaca em laranja o nó central do conjunto de dados atual e suas informações de versão.
-
Na página de detalhes da linhagem do conjunto de dados, execute as seguintes operações:
Lineage Time Range: Na área ①, selecione um intervalo de tempo de linhagem para visualizar a linhagem do conjunto de dados nos últimos dias.
Dataset Vers.: Na área ②, alterne a versão do conjunto de dados para visualizar a linhagem da versão correspondente.
Outras operações: Clique com o botão direito no conjunto de dados e selecione View Details (navega até o PAI para ver os detalhes do conjunto de dados) ou View Lineage no menu de contexto.
Entrada 2: Visualizar linhagem de conjuntos de dados no PAI
No PAI, visualize as informações de linhagem de um conjunto de dados na seção de detalhes de uma versão específica. Siga os passos abaixo:
Faça login no PAI console. Mude para a região desejada. No painel de navegação à esquerda, escolha Workspaces e clique no nome do workspace alvo para acessá-lo.
No painel de navegação à esquerda, escolha .
Localize o conjunto de dados criado na seção Basic Dataset na aba Custom Dataset.
-
Clique no nome do conjunto de dados e, na seção de detalhes de uma versão específica, clique em View Lineage para acessar a página Bloodline analysis do PAI, onde é possível visualizar a linhagem da versão atual do conjunto de dados.
NotaNa página de análise de linhagem do PAI, clique com o botão direito em qualquer nó do gráfico de linhagem e selecione View Lineage para navegar até o Data Map e visualizar a linhagem upstream e downstream do nó.
Linhagem de modelos de IA
Geração e relatório de linhagem
Ao gerar um modelo de IA ou executar operações nele pelos métodos abaixo, o sistema aciona automaticamente a geração e o relatório de linhagem.
Método 1: Executar uma tarefa de treinamento de modelo
Após a conclusão de uma tarefa de treinamento de modelo enviada na Model Gallery, o sistema gera um registro de linhagem entre o modelo e a tarefa de treinamento e reporta automaticamente as seguintes informações.
Método 2: Register Model
Após registrar um modelo na página de gerenciamento de modelos, o sistema gera um registro de linhagem do caminho de armazenamento do modelo para o modelo e reporta automaticamente as seguintes informações.
Método 3: Implantar um serviço de modelo
Depois de implantar um modelo registrado no EAS, o sistema gera um registro de linhagem do modelo para o serviço de modelo e reporta automaticamente as seguintes informações.
Visualizar linhagem de modelos de IA
Visualize a linhagem de modelos de IA pelos seguintes pontos de entrada.
Entrada 1: Visualizar linhagem de modelos de IA no Data Map
Consulte as informações de linhagem de modelos de IA no Data Map seguindo estes passos:
-
Acesse a página da lista de modelos de IA.
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Clique no ícone
no painel de navegação à esquerda para acessar a página Search.Na seção Type no lado esquerdo da página, selecione AI Model. Use a opção Workspace na seção Filter Conditions para obter a lista de modelos de IA desejada.
-
Visualize a linhagem do modelo de IA.
Na lista de modelos de IA, localize o modelo alvo e clique em View Lineage no lado direito para ver suas informações de linhagem.
-
Na página de detalhes da linhagem do modelo de IA, execute as seguintes operações:
Lineage Time Range: Na área ①, selecione um intervalo de tempo de linhagem para visualizar a linhagem do modelo de IA nos últimos dias.
AI Model Vers.: Na área ②, alterne a versão do modelo de IA para visualizar a linhagem da versão correspondente.
Outras operações: Clique com o botão direito no modelo de IA e selecione View Details (navega até o PAI para ver os detalhes do modelo de IA) ou View Lineage no menu de contexto.
Entrada 2: Visualizar linhagem de modelos de IA no PAI
No PAI, visualize as informações de linhagem de um modelo de IA na seção de detalhes de uma versão específica. Siga os passos abaixo:
Faça login no PAI console. Mude para a região desejada. No painel de navegação à esquerda, escolha Workspaces e clique no nome do workspace alvo para acessá-lo.
No painel de navegação à esquerda, escolha .
Encontre o modelo registrado na página Model.
Clique no número da versão mais recente para acessar a página de informações da Model Version.
-
Na seção Version Overview, clique em View Lineage para acessar a página Bloodline analysis do PAI, onde é possível visualizar a linhagem da versão atual do modelo de IA.
NotaNa página de análise de linhagem do PAI, clique com o botão direito em qualquer nó do gráfico de linhagem e selecione View Lineage para navegar até o Data Map e visualizar a linhagem upstream e downstream do nó.
Linhagem de tarefas de algoritmo
Geração e relatório de linhagem
Ao executar tarefas relacionadas pelos métodos abaixo, o sistema aciona automaticamente a geração e o relatório de linhagem.
Para tarefas enviadas via treinamento distribuído DLC, reporte manualmente as informações de linhagem integrando um SDK e configure as entradas e saídas com base na tarefa real. Essa abordagem é adequada para usuários com forte capacidade técnica e práticas de negócios maduras. Caso contrário, a precisão das informações de linhagem pode ser afetada. Para usar esse recurso, entre em contato com seu gerente de conta para ser adicionado à lista de permissões. Para mais informações, consulte Criar uma tarefa de treinamento de modelo.
Método 1: Executar uma Training Task (tarefa de componente de algoritmo)
Após a conclusão de uma tarefa de treinamento de modelo enviada na Model Gallery, o sistema gera um registro de linhagem entre o modelo e a tarefa de treinamento e reporta automaticamente as seguintes informações.
Método 2: Executar uma Workflow Task
Após a conclusão de uma tarefa de fluxo de trabalho criada no PAI, o sistema gera relações de linhagem entre as tabelas de entrada ou caminhos de armazenamento, modelos de saída ou conjuntos de dados de saída e a tarefa PAIFlow.
O sistema coleta e reporta automaticamente a linhagem gerada por tarefas de fluxo de trabalho do PAI executadas pelos métodos abaixo:
Tarefas enviadas usando a OpenAPI do PAIFlow. Para mais informações, consulte Lista de operações por função.
Tarefas executadas manualmente no Designer. Para mais informações, consulte Construir e depurar um modelo.
Tarefas acionadas periodicamente por meio do agendamento periódico do DataWorks. Para mais informações, consulte Agendar um pipeline do PAI Designer com o DataWorks.
Método 3: Executar uma tarefa de treinamento distribuído
Ao criar e executar uma tarefa de treinamento distribuído, o sistema gera relações de linhagem entre os caminhos de armazenamento da tabela de entrada, modelos de saída ou conjuntos de dados de saída e a tarefa DLC. Para tarefas enviadas via treinamento distribuído DLC, reporte as informações de linhagem manualmente.
Essa abordagem é indicada para usuários com forte capacidade técnica e práticas de negócios maduras. Caso contrário, a precisão das informações de linhagem pode ser comprometida.
Visualizar linhagem de tarefas de algoritmo
Visualize a linhagem de tarefas de algoritmo pelos seguintes pontos de entrada.
Entrada 1: Visualizar linhagem de tarefas de algoritmo no Data Map
O recurso de linhagem de tarefas de algoritmo no Data Map permite visualizar a linhagem de uma tarefa. Execute as operações abaixo para visualizar a linhagem:
-
Acesse a página da lista de tarefas de algoritmo.
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Clique no ícone
no painel de navegação à esquerda para acessar a página Search.Na seção Type no lado esquerdo da página, selecione Algorithm Task. Use a opção Workspace na seção Filter Conditions para obter a lista de tarefas de algoritmo desejada.
-
Visualize a linhagem da tarefa de algoritmo.
Na lista de tarefas de algoritmo, localize a tarefa alvo e clique em View Lineage no lado direito para ver suas informações de linhagem.
-
Na página de detalhes da linhagem da tarefa de algoritmo, execute as seguintes operações:
Lineage Time Range: Selecione um intervalo de tempo de linhagem para visualizar a linhagem da tarefa de algoritmo nos últimos dias.
Outras operações: Clique com o botão direito na tarefa de algoritmo e selecione View Details (navega até o PAI para ver os detalhes da tarefa de algoritmo) ou View Lineage no menu de contexto.
Entrada 2: Visualizar linhagem de tarefas de algoritmo no PAI
No PAI, visualize as informações de linhagem de uma tarefa de algoritmo na seção de informações básicas da página de detalhes da tarefa. Siga os passos abaixo:
Faça login no PAI console. Mude para a região desejada. No painel de navegação à esquerda, escolha Workspaces e clique no nome do workspace alvo para acessá-lo.
No painel de navegação à esquerda, escolha .
Na página Tasks, encontre a aba onde sua tarefa de algoritmo está localizada (aba Distributed Training (DLC), Algorithm Component Task ou Workflow Task).
Clique no nome da tarefa para acessar a página de detalhes da tarefa.
-
Na seção Basic Information, clique em View Lineage para acessar a página Bloodline analysis do PAI, onde é possível visualizar a linhagem da tarefa de algoritmo.
NotaNa página de análise de linhagem do PAI, clique com o botão direito em qualquer nó do gráfico de linhagem e selecione View Lineage para navegar até o Data Map e visualizar a linhagem upstream e downstream do nó.
Linhagem de serviços de modelo
Geração e relatório de linhagem
Depois de implantar um modelo registrado no EAS, o sistema estabelece automaticamente uma relação de linhagem entre o modelo e o serviço de modelo, reportando as informações de linhagem.
Visualizar linhagem de serviços de modelo
Visualize a linhagem de serviços de modelo pelos seguintes pontos de entrada.
Entrada 1: Visualizar linhagem de serviços de modelo no Data Map
O recurso de linhagem de serviços de modelo no Data Map permite visualizar a linhagem de um serviço de modelo. Execute as operações abaixo para visualizar a linhagem:
-
Acesse a página de serviços de modelo.
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Clique no ícone
no painel de navegação à esquerda para acessar a página Search.Na seção Type no lado esquerdo da página, selecione Model Service. Use as opções Status e Resource Group Name na seção Filter Conditions para obter a lista de serviços de modelo desejada.
-
Visualize a linhagem do serviço de modelo.
Na lista de serviços de modelo, localize o serviço alvo e clique em View Lineage no lado direito para ver suas informações de linhagem.
-
Na página de detalhes da linhagem do serviço de modelo, execute as seguintes operações:
Lineage Time Range: Selecione um intervalo de tempo de linhagem para visualizar a linhagem do serviço de modelo nos últimos dias.
Outras operações: Clique com o botão direito no serviço de modelo e selecione View Details (navega até o PAI para ver os detalhes do serviço de modelo) ou View Lineage no menu de contexto.
Entrada 2: Visualizar linhagem de serviços de modelo no PAI
No PAI, visualize as informações de linhagem de um serviço de modelo na seção de informações básicas da página de detalhes do serviço de modelo.
Faça login no PAI console. Mude para a região desejada. No painel de navegação à esquerda, escolha Workspaces e clique no nome do workspace alvo para acessá-lo.
No painel de navegação à esquerda, escolha .
Encontre a aba Inference Service na página Elastic Algorithm Service (EAS) referente ao modelo criado.
Clique no nome da tarefa para acessar a página de visão geral da tarefa.
-
Na seção Basic Information, clique em View Lineage para acessar a página Bloodline analysis do PAI, onde é possível visualizar a linhagem do serviço de modelo.
NotaNa página de análise de linhagem do PAI, clique com o botão direito em qualquer nó do gráfico de linhagem e selecione View Lineage para navegar até o Data Map e visualizar a linhagem upstream e downstream do nó.