O catálogo de dados oferece uma interface unificada para gerenciar metadados do MaxCompute, incluindo tabelas, visualizações, tabelas externas, recursos e funções.
Limites
Para visualizar dados do MaxCompute no catálogo de dados com um usuário RAM ou função RAM, obtenha primeiro as permissões necessárias do MaxCompute. Se o modelo Layer 3 estiver ativado para a fonte de dados ou projeto, conceda também ao usuário ou função RAM permissão para visualizar metadados de schema.
Nota
Se um projeto do MaxCompute contiver múltiplos schemas, conceda permissões de metadados para todos os schemas a fim de visualizar a lista completa de schemas na página de detalhes do projeto.
-
Conceder permissões a um usuário RAM:
GRANT DESCRIBE ON SCHEMA <Schema_Name> TO USER RAM$<Alibaba_Cloud_Account_Name>:<RAM_User_Name>;
-
Conceder permissões a uma função RAM:
GRANT DESCRIBE ON SCHEMA <Schema_Name> TO USER `RAM$<Alibaba_Cloud_Account_Name>:role/<RAM_Role_Name>`;
Após ativar o recurso de schema para um projeto do MaxCompute, você pode {{XREF_0}} e {{XREF_1}}.
Acessar o catálogo de dados do MaxCompute
Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha na coluna Actions.
No painel de navegação à esquerda, clique no ícone
. Na árvore DATA CATALOG, clique em MaxCompute.
Criar um catálogo de dados do MaxCompute
Adicione projetos existentes do MaxCompute ao catálogo de dados.
Clique no ícone ao lado do catálogo de dados do MaxCompute.
-
Adicione um projeto do MaxCompute utilizando um dos métodos a seguir.
|
Fonte de destino
|
Método
|
|
Um {{XREF_2}} no workspace atual
|
Na aba DataWorks Data Source, localize a fonte de dados de destino e clique em Add. Para adicionar várias fontes de dados simultaneamente, selecione-as e clique em Batch Add.
|
|
Um {{XREF_3}} criado no console do MaxCompute
|
Na aba MaxCompute-Project, localize o projeto de destino e clique em Add. Para adicionar vários projetos simultaneamente, selecione-os e clique em Batch Add. Também é possível clicar em Create Project para adicionar manualmente um novo projeto do MaxCompute.
Configurações de projeto interno: {{XREF_4}}. Operações de projeto externo: {{XREF_5}}.
Importante
A sincronização de metadados leva de 10 a 20 segundos. Após criar um projeto, aguarde um momento e atualize manualmente a lista para visualizar os dados mais recentes.
|
Gerenciar um catálogo de dados do MaxCompute
Adicione e gerencie schemas, tabelas, visualizações e outros objetos de dados no catálogo de dados do MaxCompute.
|
Objeto do MaxCompute
|
Visualizar
|
Criar
|
|
Schema
|
Suportado
|
Suportado
|
|
Table
|
Suportado
|
Suportado
|
|
External Table
|
Suportado
|
Suportado
|
|
Object Table
|
Suportado
|
Suportado
|
|
View
|
Suportado
|
Suportado
|
|
Materialized View
|
Suportado
|
Suportado
|
|
Delta Live Materialized View
|
Suportado
|
Suportado
|
|
Resource
|
Suportado
|
Não suportado
|
|
Function
|
Suportado
|
Não suportado
|
Nota
O nível de schema é exibido somente após a ativação do recurso de schema para o MaxCompute. {{XREF_6}}.
Gerenciar schemas
-
Crie um schema.
Clique no ícone
à direita do projeto do MaxCompute. Na caixa de diálogo Create Schema, insira um nome e pressione Enter.
-
Visualize um schema.
Após adicionar um schema a um projeto do MaxCompute, clique no ícone
à esquerda do projeto para visualizá-lo.
-
Exclua um schema.
Caso não precise mais de um schema, clique com o botão direito nele e selecione Delete.
Gerenciar tabelas
Criar uma tabela
À direita do schema, clique em para acessar a página Create Table.
-
É possível criar uma tabela das seguintes maneiras.
-
Criar uma tabela usando o Copilot:
Na barra de ferramentas, clique em Use Copilot to Create Table para abrir a interface do Copilot Chat.
Insira uma instrução para criar uma tabela. Por exemplo, Create a daily aggregate table for product sales.
Clique em Generate and Replace. O sistema gera um nome de tabela e informações de campos com base na sua instrução.
-
Se o nome da tabela e os campos atenderem às suas expectativas, clique em Accept.
Nota
Você pode clicar em Accept e editar manualmente as informações da tabela gerada.
-
Criar uma tabela manualmente:
Crie uma tabela utilizando os parâmetros a seguir.
|
Parâmetro
|
Descrição
|
|
Informações básicas
|
Especifique um Table Name personalizado, Lifecycle e outras informações.
|
|
Informações de campo
|
Edite as informações de campo e anotação.
-
Edição manual: Clique em Insert acima da lista de campos. Especifique o número de linhas e edite as informações de campo e anotação.
-
Edição inteligente com Copilot: Clique em Generate Fields ou Generate Field Descriptions acima da lista de campos. O sistema gera campos e comentários com base no nome e na descrição da tabela.
|
|
Configurações avançadas
|
O Table Type é definido como Internal Table por padrão. Você pode configurar as Cluster Properties.
|
Após concluir a configuração, clique em Publish na barra de ferramentas superior e conclua o processo de publicação para criar a tabela.
Gerenciar uma tabela
-
Visualize uma tabela.
Após criar uma tabela, clique no ícone
à esquerda do projeto e clique em Table para visualizar informações básicas. Clique no nome de uma tabela para ver detalhes como Fields e DDL.
-
Execute operações na tabela.
Clique com o botão direito em uma tabela interna. Selecione Generate SQL Query Statement, Import Data, Request Permission s, {{XREF_7}} ou {{XREF_8}}.
-
Dê um clique duplo em uma tabela interna para abrir sua página de detalhes. Clique em Edit no canto superior direito. Na página de edição, modifique o Lifecycle e a Table Description, ou adicione, modifique ou exclua campos.
Importante
Antes de modificar um nome de campo, excluir um campo ou alterar um tipo de campo, execute o seguinte comando em um {{XREF_9}} para ativar a evolução de schema: setproject odps.schema.evolution.enable=true.
Para excluir um campo, selecione a linha correspondente, clique com o botão direito e selecione Delete.
Após atualizar a tabela, clique em Publish novamente para que as alterações entrem em vigor.
-
Exclua uma tabela.
Clique com o botão direito na tabela que deseja excluir e selecione Delete.
Importante
Esta operação não pode ser desfeita. Proceda com cautela.
Gerenciar tabelas externas
Criar uma tabela externa
À direita do schema, clique em para acessar a página Create External Table.
-
Crie uma tabela externa utilizando um dos métodos a seguir.
-
Criar uma tabela usando o Copilot:
Na barra de ferramentas, clique em Use Copilot to Create Table para abrir a interface do Copilot Chat.
Insira uma instrução para criar uma tabela. Por exemplo, Create a daily aggregate table for product sales.
Clique em Generate And Replace. O sistema gera um nome de tabela e informações de campos com base na sua instrução.
-
Se o nome da tabela e os campos atenderem às suas expectativas, clique em Accept.
Nota
Você pode clicar em Accept e editar manualmente as informações da tabela gerada.
-
Criar uma tabela manualmente:
Crie uma tabela externa utilizando os parâmetros a seguir.
|
Parâmetro
|
Descrição
|
|
Informações básicas
|
Especifique um Table Name personalizado, Lifecycle e outras informações.
|
|
Informações de campo
|
Edite as informações de campo e anotação.
-
Edição manual: Clique em Insert acima da lista de campos. Especifique o número de linhas e edite as informações de campo e anotação.
-
Edição inteligente com Copilot: Clique em Generate Fields ou Generate Field Descriptions acima da lista de campos. O sistema gera campos e comentários com base no nome e na descrição da tabela.
|
|
Configurações avançadas
|
O Table Type é definido como Externa Table por padrão. Configure o Storage Location e o Storage Format do OSS.
-
Storage Location: oss://<OSS_Bucket_Name>/
Nota
Você pode obter o nome do bucket do OSS em {{XREF_10}}.
-
Storage Format: Vários formatos são suportados, como CSV, ORC e TEXTFILE.
|
Clique em Publish na barra de ferramentas para criar a tabela.
Gerenciar uma tabela externa
-
Visualize uma tabela externa.
Após criar uma tabela externa, clique no ícone
à esquerda do projeto e clique em Externa Table para visualizar suas informações básicas. Clique no nome de uma tabela para ver detalhes como Fields e DDL.
-
Operações em tabelas externas.
Dê um clique duplo na tabela externa para abrir sua página de detalhes. Clique em Edit no canto superior direito. Na página de edição, modifique o Lifecycle e a Table Description, ou adicione, modifique ou exclua campos.
Importante
Antes de modificar um nome de campo, excluir um campo ou alterar um tipo de campo, execute o seguinte comando em um {{XREF_11}} para ativar a evolução de schema: setproject odps.schema.evolution.enable=true.
Para excluir um campo, selecione a linha correspondente, clique com o botão direito e selecione Delete.
Após atualizar a tabela, clique em Publish novamente para que as alterações entrem em vigor.
-
Exclua uma tabela externa.
Clique com o botão direito na tabela externa que deseja excluir e selecione Delete.
Gerenciar tabelas de objetos
Gerencie tabelas de objetos apenas em projetos do MaxCompute com o {{XREF_12}}.
Gerenciar uma tabela de objetos
-
Visualize uma tabela de objetos.
Após criar uma OBJECT TABLE em um projeto do MaxCompute, clique no ícone
à esquerda do projeto e clique em Object Table para visualizar informações básicas. Clique no nome de uma tabela para ver detalhes como Fields e DDL.
-
Execute operações em uma tabela de objetos.
Clique com o botão direito em uma tabela de objetos. Selecione Generate SQL Query Statement, Request Permissions, {{XREF_14}} ou {{XREF_15}}.
-
Exclua uma tabela de objetos.
Clique com o botão direito na tabela de objetos que deseja excluir e selecione Delete.
Importante
Esta operação não pode ser desfeita. Proceda com cautela.
Gerenciar visualizações
Criar uma visualização
À direita do schema, clique em para abrir a página Create View.
Modifique o comando conforme descrito em {{XREF_16}}. Altere view_name para o nome da visualização que deseja criar. Após a palavra-chave AS, adicione a instrução de consulta para a fonte de dados da visualização.
Clique em Publish na parte superior da página para criar a visualização.
Gerenciar uma visualização
-
Visualize os detalhes de uma visualização.
Após criar uma visualização, clique no ícone
à esquerda do projeto e clique em View para exibir informações básicas. Clique no nome de uma visualização para ver detalhes como Fields e DDL.
-
Opere uma visualização.
Dê um clique duplo na visualização para abrir sua página de detalhes. Clique em Edit no canto superior direito. Modifique a visualização alterando a instrução de consulta da fonte de dados após a palavra-chave AS.
-
Exclua uma visualização.
Clique com o botão direito na visualização que deseja excluir e selecione Delete.
Gerenciar visualizações materializadas
Criar uma visualização materializada
À direita do schema, clique em para abrir a página Create Materialized View.
Modifique o comando conforme descrito em {{XREF_17}}. Substitua view_name pelo nome da visualização materializada que deseja criar. Após a instrução AS, adicione a instrução de consulta para a fonte de dados da visualização materializada.
Clique em Publish na parte superior da página para criar a visualização materializada.
Gerenciar uma visualização materializada
-
Visualize uma visualização materializada.
Após criar uma visualização materializada, clique no ícone
à esquerda do projeto e clique em Materialized View. Clique no nome de uma visualização materializada para ver detalhes como Fields e DDL.
-
Exclua uma visualização materializada.
Clique com o botão direito na visualização materializada que deseja excluir e selecione Delete.
Gerenciar visualizações materializadas delta live
Criar uma visualização materializada dinâmica
-
À direita do schema, clique em para abrir a página Create Delta Live Vaterialized View. Principais parâmetros de configuração:
|
Parâmetro
|
Descrição
|
|
Data Generation SQL
|
Insira o Data Generation SQL com base no comando em {{XREF_18}}. Clique em Precompile para verificar a sintaxe SQL.
Importante
Uma tabela não particionada deve ter uma chave primária.
|
|
Field Details
|
Detalhes dos campos analisados após uma pré-compilação bem-sucedida.
|
|
Primary Key Field Information
|
Após a pré-compilação, o sistema lê os campos de chave primária elegíveis e os exibe na lista suspensa. Selecione um ou mais campos de chave primária.
|
|
Partition Field Information
|
Após a pré-compilação, o sistema lê os campos de partição elegíveis e os exibe na lista suspensa. Selecione campos de partição para particionar a visualização materializada dinâmica. Vários campos de partição são suportados.
|
|
Tuning Parameters
|
Configure pares chave-valor de parâmetros para gerar no TBLPROPERTIES do DDL.
|
|
Data Refresh Policy
|
-
Configuração de atualização de visualização materializada Delta Live não particionada: Uma visualização materializada dinâmica não particionada é criada se você não especificar um campo de partição.
-
Para visualizações materializadas dinâmicas no MaxCompute, o modo de atualização é definido como atualização incremental por padrão. A propriedade da tabela é TBLPROPERTIES("refresh_mode"="incremental").
-
Os métodos de agendamento de atualização suportados são MaxCompute Auto Refresh e DataWorks Scheduled Refresh.
-
Configuração de atualização de visualização materializada Delta Live particionada: Uma visualização materializada dinâmica particionada é criada se você especificar um campo de partição.
-
Atualização de partição: Configure definições como o método de agendamento de atualização, se deve atualizar dados automaticamente, a época de agendamento e a duração da atualização.
-
Atualizar dados históricos de partição: Configure se deve atualizar dados em partições que concluíram seu ciclo de atualização.
|
Clique em Publish na parte superior da página para criar a visualização materializada dinâmica.
Gerenciar uma visualização materializada dinâmica
Publique em um ambiente de desenvolvimento ou produção. Em um workspace de modo padrão, publique objetos em ambientes diferentes.
-
Visualize uma visualização materializada dinâmica.
Após criar uma visualização materializada dinâmica, clique no ícone
à esquerda do projeto e clique em Delta Live Materialized View para visualizar informações básicas. Clique no nome de uma visualização para ver detalhes como Fields e instrução DDL.
-
Exclua uma visualização materializada dinâmica.
Clique com o botão direito na visualização materializada dinâmica que deseja excluir e selecione Delete.
Gerenciar objetos de dados de recursos
Gerenciar recursos
Após {{XREF_19}} no Gerenciamento de Recursos do DataWorks, clique no ícone
à esquerda do projeto do MaxCompute e clique em Resource para visualizar informações básicas. Clique no nome de um recurso para ver detalhes como tamanho de armazenamento.
Gerenciar funções
Após {{XREF_20}} no Gerenciamento de Recursos do DataWorks, clique no ícone
à esquerda do projeto do MaxCompute e clique em Function para visualizar informações básicas. Clique no nome de uma função para ver detalhes como tamanho de armazenamento.
Visualizar e remover um catálogo de dados do MaxCompute
Visualize ou remova um catálogo de dados do MaxCompute quando ele não for mais necessário.
-
Visualize um projeto.
Após adicionar um projeto ao catálogo de dados, clique no ícone
à esquerda do catálogo para visualizá-lo.
Passe o mouse sobre o projeto do MaxCompute para visualizar seu uso de armazenamento e informações relacionadas.
-
Remova um projeto.
Para remover um projeto do MaxCompute, clique com o botão direito nele e selecione Remove.