O gerenciamento de metadados é uma parte essencial na construção de um data lake. Uma gestão centralizada e eficiente maximiza o valor dos seus ativos de dados. Este tópico descreve como gerencie bancos de dados, tabelas e funções no Data Lake Formation (DLF).
Bancos de dados
Crie um banco de dados
Faça login no console do Data Lake Formation (DLF).
No painel de navegação à esquerda, selecione .
Clique em na aba Database, selecione os Catalogs desejados e clique em Create Database.
-
Configure os parâmetros do banco de dados e clique em OK.
Parâmetro
Descrição
Catalog
Selecione o catálogo de dados onde você deseja crie o banco de dados.
Name
Insira um nome para o banco de dados.
Description
Opcional. Insira uma descrição para o banco de dados.
Select the path.
Especifique um caminho do Object Storage Service (OSS) para armazenar os metadados. Armazenar metadados no OSS garante segurança e confiabilidade dos dados, além de simplificar o gerenciamento e a manutenção.
NotaApenas buckets do OSS que utilizam Standard storage são suportados. Caso não exista um bucket de Standard storage na região atual, crie um no console do OSS.
Visualize detalhes do banco de dados
Clique em na aba Database.
Na lista de bancos de dados, clique em no nome de um banco de dados para visualize suas Basic Information.
Clique em nas abas correspondentes para visualize as Tables, Functions, Data Permission, Overview e Storage Rule do banco de dados.
Edite um banco de dados
Clique em na aba Database e selecione os Catalogs desejados.
Na coluna Actions do banco de dados, clique em Modify.
-
Modifique as informações e clique em Update.
Description: Insira uma descrição para o banco de dados.
Select the path.: Insira o local do banco de dados.
Exclua um banco de dados
Clique em na aba Database e selecione os Catalogs desejados.
Na coluna Actions do banco de dados, clique em Delete.
Na caixa de diálogo de confirmação, clique em Delete.
O DLF cria o banco de dados
default, que não pode ser excluído. Recomendamos o uso de outros bancos de dados para ambientes de produção.A exclusão de um banco de dados no console do DLF remove seus metadados, mas não apaga os dados armazenados no OSS. Para exclua os dados subjacentes, execute a operação
Drop Databaseno E-MapReduce ou MaxCompute.
Tabelas
Crie uma tabela
Após crie um banco de dados, clique em na aba Data Table. Selecione os Catalogs e o Database Name desejados e clique em Create Table.
-
Configure os parâmetros da tabela e clique em OK.
Parâmetro
Descrição
Table Name
Insira um nome para a tabela.
Catalog
Selecione o catálogo de dados para a tabela.
Database:
Selecione um banco de dados dentro do catálogo de dados.
Table Description
Opcional. Insira uma descrição para a tabela.
Data Storage Location
Selecione o local de armazenamento para os dados da tabela.
O local de armazenamento padrão recomendado é
oss://[database_location]/[table_name].Format and Serialization
Selecione o formato de dados da tabela. Os formatos suportados incluem Avro, CSV, JSON, Parquet e ORC.
Delimiter
Opcional. Se você selecionar o formato CSV, especifique um delimitador.
Common Column
Defina manualmente as colunas e as chaves de partição da tabela. Especifique o nome, o tipo de dados e a descrição de cada uma.
Partition Key Column
Visualize detalhes da tabela
Clique em na aba Data Table.
Na lista de tabelas, clique em no nome de uma tabela para visualize suas Basic Information.
-
Clique em nas abas correspondentes para visualize a Data Permission, Overview, Version Management e Storage Rule da tabela.
Para mais informações sobre a Overview de uma tabela, consulte Table - data overview.
Edite uma tabela
Clique em na aba Data Table e selecione os Catalogs e o Database Name desejados.
Na coluna Actions da tabela, clique em Modify.
Modifique as informações da tabela e clique em Update.
Exclua uma tabela
Clique em na aba Data Table e selecione os Catalogs e o Database Name desejados.
Na coluna Actions da tabela, clique em Delete.
Na caixa de diálogo de confirmação, clique em Delete.
A exclusão de uma tabela no console do DLF remove seus metadados, mas não apaga os dados armazenados no OSS. Para exclua os dados subjacentes, execute a operação Drop Table no E-MapReduce ou MaxCompute.
Funções
Crie uma função
No painel de navegação à esquerda, selecione .
Clique em na aba Function. Selecione os Catalogs e o Database Name desejados e clique em Create Function.
-
Configure os parâmetros da função e clique em OK.
Parâmetro
Descrição
Function Name
Insira um nome para a função.
Function Type
Apenas JAVA é suportado.
Catalog
Selecione o catálogo de dados para a função.
Database:
Selecione um banco de dados dentro do catálogo de dados.
Class Name
Opcional. Insira o nome da classe.
Resource URI
Opcional. Clique em Add e insira o Type e a URI. Os tipos de resource suportados são JAR, FILE e ARCHIVE.
Visualize detalhes da função
Clique em na aba Function e selecione os Catalogs e o Database Name desejados.
Na lista de funções, clique em no nome de uma função para visualize suas Informações Básicas.
Edite uma função
Clique em na aba Function e selecione os Catalogs e o Database Name desejados.
Na coluna Actions da função, clique em Modify.
Modifique o Class Name e clique em OK.
Exclua uma função
Clique em na aba Function e selecione os Catalogs e o Database Name desejados.
Na coluna Actions da função, clique em Delete.
Na caixa de diálogo de confirmação, clique em Delete.