O catálogo de dados oferece dois tipos de diretórios — o diretório padrão e o diretório dedicado — para ajudar você a organizar e gerencie os ativos de dados visíveis no DataWorks. O diretório padrão agrupa ativos como engines, bancos de dados, tabelas e datasets por tipo de source de dados, além de permitir operações como criação de datasets e instalação de dados abertos. Já o diretório dedicado é baseado no Gravitino totalmente gerenciado e oferece conexões diretas a serviços de metadados externos.
Acessar o catálogo de dados
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
No painel de navegação à esquerda, clique em Data Map e, em seguida, clique em Data Catalog para abrir a página do catálogo de dados.
Após acessar a página do catálogo de dados, você pode alternar entre as abas Default Directory e Dedicated Directory. O layout da página e as operações comuns descritas neste tópico referem-se à aba Default Directory. Para entender o posicionamento e as diferenças entre os dois tipos de diretórios, consulte a seção a seguir.
Diretório padrão e diretório dedicado
O diretório padrão e o diretório dedicado atendem a finalidades distintas e não se substituem. Escolha entre eles de acordo com seu cenário de negócio:
Diretório padrão: projetado para agregação e governança. Os metadados de diversas fontes de dados são agregados no Data Map por meio da coleta de metadados, possibilitando recuperação e governança unificadas. A atualização dos metadados ocorre de forma manual ou periódica, com base nas tarefas de coleta, e a organização segue o workspace e o escopo de coleta. Este diretório é mais indicado para agregar, recuperar e governar metadados coletados de forma centralizada.
Diretório dedicado: voltado para acesso direto a serviços externos. Fornecido com base no service Gravitino totalmente gerenciado, ele permite acessar diretamente os metadados atuais em serviços de metadados externos entre clouds, tenants ou data lakes. Os metadados são organizados por espaço de metadados, sendo adequado para acesso direto entre ambientes e isolamento de metadados externos por espaço. Antes de utilizar o diretório dedicado, é necessário alocar cotas do service de metadados em um grupo de recursos serverless por assinatura. Para mais informações, consulte Dedicated Directory.
Os dois tipos de diretórios podem ser usados em conjunto. Para recuperar e governar centralmente no Data Map os metadados gerenciados pelo diretório dedicado, utilize a coleta de metadados para sincronizá-los com o diretório padrão.
Layout da página
O diretório padrão utiliza um layout de dois painéis:
-
Árvore de catálogo à esquerda: Exibe os ativos que você pode acessar, agrupados por tipo de source de dados. Na cloud pública, a árvore mostra por padrão o grupo DataSet (que contém os ativos de dados dos seus workspaces do DataWorks), além de grupos para cada source de dados de engine (como MaxCompute, Hologres, DLF, Hive, MySQL). Se o seu tenant tiver o PAI ativado, um grupo de catálogo do PAI também aparece; se você tiver ativado o Open Data, o grupo DataWorks OpenData é exibido na parte inferior da árvore.
NotaOs tipos de source de dados efetivamente visíveis na árvore dependem das engines vinculadas ao seu tenant e dos metadados já coletados. O escopo visível pode variar entre tenants e workspaces.
Painel de detalhes à direita: Renderiza o conteúdo com base no nó selecionado na árvore à esquerda. Ao selecionar o nó raiz de uma source de dados, a visão geral da engine é exibida; ao selecionar um banco de dados ou catálogo, as tabelas correspondentes são listadas; ao selecionar uma tabela ou dataset, a página de detalhes correspondente é incorporada (o conteúdo é idêntico ao da página metadata details).
Operações comuns
Navegar pelos ativos: Expanda um nó de source de dados, banco de dados ou catálogo na árvore à esquerda para acessar suas tabelas e datasets. Ao clicar no nome de uma tabela ou dataset, o painel à direita exibe os detalhes correspondentes.
Pesquisar no catálogo: Utilize a caixa de pesquisa no topo da árvore de catálogo para localizar um objeto pelo nome do nó.
Crie um dataset: Em Catalogs, clique em DataSet. Após acessar a lista de datasets do workspace, clique em Create Dataset e siga o assistente para crie datasets como OSS ou NAS. Para mais informações, consulte Manage datasets.
Utilizar dados abertos: Quando o grupo DataWorks OpenData aparece na árvore, é possível navegar pelos datasets abertos disponíveis e instale-os. Para mais informações, consulte Manage open data.
Usar o diretório dedicado: Alterne para a aba Dedicated Directory para conectar-se diretamente a serviços de metadados externos entre clouds, tenants ou data lakes com base no service Gravitino totalmente gerenciado. Para mais informações, consulte Dedicated Directory.