O Data Catalog centraliza metadados do MaxCompute, Hologres, DLF e outras fontes. Com ele, você cria tabelas, gerencia views e prepara dados sem sair do DataWorks.
Principais recursos
Gerenciamento unificado: Gerencie e pesquise tabelas, views, funções e resources de várias fontes de dados de forma centralizada.
-
Criação rápida de tabelas: Crie schemas de tabelas diretamente no DataWorks, sem alternar entre consoles.
Criação baseada em DDL: Use instruções DDL nativas para obter controle flexível e preciso.
Criação visual: Crie tabelas por meio de uma interface baseada em formulários.
Criação assistida pelo Copilot: Descreva seus requisitos em linguagem natural e permita que a IA gere o schema da tabela.
Sincronização com um clique: Inicie tarefas de sincronização de dados entre fontes como MaxCompute e Hologres.
Exploração rápida: Visualize schemas de tabelas para compreender seus dados rapidamente.
Catálogos de dados compatíveis
A tabela a seguir lista os tipos de fontes de dados compatíveis e como adicioná-los.
|
Catálogo de dados |
Do workspace |
Da conta |
|
MaxCompute (projetos internos e externos) |
|
|
|
Hologres (bancos de dados internos e externos) |
|
|
|
DLF Catalog (DLF 1.0, DLF 2.0, DLF 2.5 e versões posteriores) |
|
|
|
Hive (EMR Hive) |
|
|
|
Lindorm |
|
|
|
AnalyticDB MySQL |
|
|
|
AnalyticDB PostgreSQL |
|
|
|
StarRocks |
|
|
|
AI Catalog (datasets de IA e modelos de IA) |
Lê automaticamente do workspace de IA com o mesmo nome do workspace atual do DataWorks. |
|
Autenticação e autorização
O método de acesso do Data Catalog a uma fonte de dados depende da forma como ela foi adicionada:
Para fontes de dados vinculadas ao workspace, o Data Catalog usa a identidade configurada na fonte de dados para acessar metadados.
Para fontes de dados no nível da conta, o Data Catalog usa sua identidade pessoal para acessar metadados.
-
Para visualizar dados do MaxCompute no Data Catalog com um usuário RAM ou função RAM, obtenha primeiro as permissões necessárias do MaxCompute. Se o modelo Layer 3 estiver ativado para a fonte de dados ou projeto do MaxCompute, conceda também ao usuário RAM ou à função RAM permissão para visualizar metadados de schema.
NotaSe um projeto do MaxCompute contiver vários schemas, conceda permissões de metadados para todos eles a fim de visualizar a lista completa na página de detalhes do projeto.
-
Conceder permissões a um usuário RAM:
GRANT DESCRIBE ON SCHEMA <schema_name> TO USER RAM$<alibaba_cloud_account_name>:<ram_user_name>; -
Conceder permissões a uma função RAM:
GRANT DESCRIBE ON SCHEMA <schema_name> TO USER `RAM$<alibaba_cloud_account_name>:role/<ram_role_name>`;
-
Acessar o Data Catalog
Este recurso está disponível apenas em workspaces que usam Use Data Studio (New Version).
Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace e escolha na coluna Actions.
No painel de navegação à esquerda, clique em
para abrir o Data Catalog.
Adicionar um catálogo de dados
Para adicionar um catálogo de dados:
No Data Catalog, localize o tipo de fonte de dados a ser adicionado e clique em
ao lado do nome correspondente.Na página Add Data Catalog, localize a instância de destino e clique em Add na coluna Operation.
Um catálogo de dados no nível do workspace é visível para todos os membros do workspace.
Um catálogo de dados no nível da conta é visível apenas para você.
Ao adicionar a partir da sua conta, o sistema lista apenas as instâncias na mesma região do workspace do DataWorks às quais você tem acesso.
Gerenciar catálogos de dados
Ocultar um catálogo de dados
Para ocultar catálogos de dados irrelevantes:
Na árvore de diretórios à esquerda, localize o catálogo de dados e clique em
no canto superior direito.-
Na janela pop-up, clique em
ao lado do nome de um mecanismo para ocultar seus catálogos de dados.NotaPara reexibir, clique no espaço vazio ao lado do nome do mecanismo na janela pop-up.
Remover um catálogo de dados
Para remover um catálogo de dados desnecessário:
Na árvore de diretórios à esquerda, localize o catálogo de dados de destino e clique em Remove ou Disassociate Data Catalog na coluna Operation.
Criar e gerenciar objetos de dados
Expanda um catálogo para criar ou gerenciar seus objetos de dados. A tabela a seguir contém links para a documentação relacionada.
|
Catálogo de dados |
Descrição |
Referências |
|
MaxCompute |
Crie e gerencie objetos de dados como tabelas, views, tabelas externas, resources e funções. |
|
|
Hologres |
Crie e gerencie objetos de dados como tabelas e views. |
|
|
DLF Catalog |
Crie e gerencie metadados de tabelas no banco de dados. |
|
|
Hive |
Crie e gerencie objetos de dados de tabela. |
|
|
AnalyticDB MySQL |
Crie e gerencie objetos de dados de tabela. |
|
|
AnalyticDB PostgreSQL |
Crie e gerencie objetos de dados de tabela. |
|
|
StarRocks |
Crie e gerencie objetos de dados de tabela e view. |
|
|
AI Catalog |
Gerencie metadados de datasets e modelos no AI Catalog. |