O Data Catalog oferece uma interface unificada para gerenciar e trabalhar com metadados do Hive. Este tópico descreve como criar e gerenciar objetos de dados de tabelas no Data Catalog.
Abra a página do Hive Data Catalog
Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha na coluna Actions.
No painel de navegação à esquerda, clique no ícone
. Na árvore do catálogo Data Directory, clique em Hive para abrir a página de gerenciamento do Hive Data Catalog.
Crie um Hive Data Catalog
A página de gerenciamento do Hive Data Catalog permite adicionar uma fonte de dados do Hive existente como um conjunto de dados à lista do catálogo.
Clique no ícone
à direita do Hive Data Catalog para abrir a página Add Instance.-
Na aba DataWorks Data Source, adicione a fonte de dados do Hive à lista do catálogo.
Para gerenciar EMR compute resources bound in the new Data Development interface no workspace atual, localize a fonte de dados do cluster EMR correspondente na aba DataWorks Data Source. Na coluna Operation, clique em Add para adicioná-la.
Como alternativa, na aba DataWorks Data Source, selecione várias fontes de dados do Hive e clique em Batch Add abaixo da lista para adicioná-las em lote.
Gerencie o Hive Data Catalog
É possível adicionar e gerenciar tabelas do Hive no Hive Data Catalog.
Crie uma tabela
Clique no ícone
à esquerda do Hive Data Catalog para localizar a opção Table.À direita de Table, clique no ícone
para abrir a página Create Table.-
Gere as informações básicas e os campos da tabela de uma das seguintes formas:
-
Criar uma tabela com o Copilot:
Na barra de ferramentas superior da página, clique em Copilot table creation para abrir o Copilot Chat.
Insira uma instrução para criar a tabela em linguagem natural, como
Create a user table.Clique em Generate and Replace. O sistema gera um nome padrão para a tabela e as informações dos campos com base na sua instrução.
-
Se o nome da tabela e os campos atenderem aos seus requisitos, clique em Accept.
NotaCaso precise alterar alguma informação da tabela, clique em Accept e edite manualmente as informações geradas.
-
Criar uma tabela manualmente:
Crie a tabela com base nas descrições dos parâmetros.
Parâmetro
Descrição da configuração
Informações básicas
Especifique o Table Name, a Table Description e outras informações.
Informações de campos
Edite os campos e as anotações de campo.
Edição manual: Acima da lista de campos, clique em Insert. Após especificar o número de linhas a inserir, edite o Field Name, o Data Type e outras informações.
Edição inteligente com o Copilot:Acima da lista de campos, clique em Generate Field ou Generate field descriptions. Com base no nome e na descrição da tabela inseridos, o sistema gera os campos e as descrições correspondentes.
-
-
Opcional: configure as informações de partição.
Para criar uma tabela particionada, na área Partition Field, especifique o número de linhas de campos de partição a adicionar (com suporte a várias partições) e clique em Insert. Em seguida, na lista de campos de partição, configure o Field Name, o Data Type e outras informações relacionadas da partição.
-
Opcional: configure as configurações avançadas.
Parâmetro
Descrição da configuração
Tipo de tabela
Apenas Internal Table.
Local de armazenamento
Especifique o diretório de armazenamento da tabela, como
/user/hive/warehouse/hive_work.Formato de armazenamento
Os formatos de armazenamento suportados são CSV, PARQUET, ORC, AVRO, JSON e SELE_DEFINE. Com base no formato selecionado, o sistema define automaticamente os formatos de entrada e saída de dados, além dos métodos de serialização e desserialização.
CSV: Arquivo de texto delimitado por vírgulas, ideal para estruturas de dados simples.
PARQUET: Formato de armazenamento colunar com alta taxa de compressão, indicado para análises de big data.
ORC: Formato de armazenamento colunar otimizado, com alto desempenho e suporte a tipos de dados complexos.
AVRO: Formato binário com suporte à evolução de schema, adequado para estruturas de dados dinâmicas.
JSON: Suporta estruturas aninhadas e é ideal para dados semiestruturados.
SELE_DEFINE: Permite lógica personalizada de serialização e desserialização.
Após configurar, clique em Publish na barra de ferramentas superior para criar a tabela.
Gerencie tabelas
Depois de criar uma tabela no Hive Data Catalog, clique no ícone
à esquerda e, em seguida, em Table para abrir a página Table.
-
Visualize as tabelas.
Na página Table, consulte as informações básicas de todas as tabelas. Clique no nome de uma tabela para ver seus Details, Basic information e informações de DDL.
-
Exclua uma tabela.
Na página Table, localize a tabela a excluir. Na coluna Operation, clique em Delete.
ImportanteNão é possível recuperar tabelas excluídas. Prossiga com cautela.
Visualize ou remova um Hive Data Catalog
Se não precisar mais de um Hive Data Catalog, visualize-o ou remova-o.
-
Visualize o catálogo de dados.
Depois de adicionar uma fonte de dados do Hive ao Hive Data Catalog, clique no ícone
à esquerda para ver as fontes de dados do Hive adicionadas.Clique em uma fonte de dados do Hive para consultar todas as informações de Database.
-
Desvincule um projeto.
Caso não precise mais gerenciar um Hive Data Catalog, clique com o botão direito nele e selecione Disassociate Data Catalog.