O Data Catalog é um workspace unificado de metadados para análise de dados. Ele centraliza metadados de sources como MaxCompute, Hologres e DLF. Assim, você prepara tabelas e gerencie visualizações sem sair do DataWorks e mantém o foco na análise.
Acessar o recurso
Faça login no DataWorks DataAnalysis, mude para a região de destino e clique em Go to DataAnalysis.
Se Switch to New DataAnalysis aparecer na barra de navegação, clique nela para mudar para a nova versão.
Se Return to Legacy DataAnalysis aparecer na barra de navegação, você já está na nova versão.
Adicionar um catálogo de dados
Se você nunca usou a análise de dados, siga as instruções para novos usuários. Caso contrário, siga as instruções para usuários existentes.
Adicionar um catálogo de dados como novo usuário
Crie uma árvore de catálogo personalizada com base nas suas necessidades para melhorar a experiência. Siga estas etapas:
No Data Catalog, encontre o tipo de source de dados a ser adicionado e clique no ícone
ao lado do nome para abrir a página Add Data Catalog.-
Na página Add Data Catalog, encontre a instância ou source de dados e clique em Operation na coluna Add para adicioná-la ao Data Catalog.
Se não precisar mais dela, remova-a.
Adicionar um catálogo de dados como usuário existente
Adicione ao Data Catalog os catálogos recomendados pelo sistema e as sources de dados já adicionadas a um workspace. Após adicioná-los, visualize rapidamente suas tabelas, inspecione schemas de tabelas e gere SQL de consulta.
Clique no ícone no canto superior direito do catálogo.
DataMap - Metadata: Metadados de tabela coletados no Data Map. Cada source de dados ou recurso de computação pode ser adicionado como um conjunto de dados.
DataMap - Data Album: data albums de tabelas temáticas reunidas no Data Map. Cada álbum de dados pode ser adicionado como um conjunto de dados.
My Favorites: Tabelas que adicionei aos Favoritos no Data Catalog.
My MaxCompute Tables: Todas as tabelas do MaxCompute nas quais a conta atual é a proprietária.
Public Data: O DataWorks fornece o public datasets, que você pode usar para gerar rapidamente instruções SQL de teste para EMR Spark SQL, MaxCompute e Hologres.
Adicione até 12 conjuntos de dados. Remova quaisquer conjuntos de dados que não sejam mais necessários.
Gerencie o Data Catalog
As informações a seguir se aplicam apenas ao Data Catalog para novos usuários.
Gerencie objetos de dados como tabelas, visualizações, tabelas externas, recursos e funções com o Data Catalog.
MaxCompute: Gerencie um catálogo de dados MaxCompute.
Hologres: Gerencie um catálogo de dados Hologres.
DLF: Gerencie um catálogo DLF.
Gerar SQL de consulta
Gere rapidamente um SQL de consulta a partir de uma tabela. Em seguida, configure e execute a consulta. Para mais informações, consulte Crie uma consulta SQL.
Encontre a source de dados de destino na lista do Data Catalog. Clique nos ícones
à esquerda em sequência e localize a tabela a ser consultada em Tables.Clique com o botão direito na tabela de destino e selecione Generate SQL File for Query.
Modifique o script SQL de consulta gerado na página de edição de SQL.
Após fazer alterações, clique em Run Configuration no lado direito da página de edição de SQL. Defina Computing Resource, Script Parameters e outras informações e execute a consulta.
Apêndice
Identidade de autenticação e autorização do MaxCompute
Visualize os dados do MaxCompute no Data Catalog como um usuário RAM ou função RAM. Para isso, obtenha primeiro as permissões necessárias do MaxCompute. Se a source de dados ou projeto do MaxCompute adicionado usar o modelo de três camadas, conceda também ao usuário ou função RAM permissão para que visualize metadados do Schema.
Se um projeto do MaxCompute contiver vários Schemas, conceda permissões de metadados para todos eles. Assim, você poderá visualizar a lista completa de Schemas na página de detalhes do projeto no Data Catalog.
-
Autorizar usuários RAM:
GRANT DESCRIBE ON SCHEMA <SchemaName> TO USER RAM$<AlibabaCloudAccountName>:<RAMUserName>; -
Autorizar funções RAM:
GRANT DESCRIBE ON SCHEMA <SchemaName> TO USER `RAM$<AlibabaCloudAccountName>:role/<RAMRoleName>`;