MaxCompute:Criar e usar tabelas do MaxCompute

Observações

• Princípios de operação de tabelas

  Siga os requisitos operacionais básicos do MaxCompute ao gerenciar tabelas. Por exemplo, não é possível excluir campos de uma tabela após a criação. Para mais informações, consulte Usage limits on table operations.

• Alterações nas propriedades físicas da tabela

  Altere as propriedades físicas de uma tabela do MaxCompute executando comandos SQL do MaxCompute. Para mais informações, consulte Table operations. Devido aos controles de permissão do DataWorks, um usuário RAM pode encontrar erros ao executar comandos de operação de tabela. Para mais detalhes, consulte MaxCompute data permission control details.

• Latência na atualização de metadados

  Operações de metadados podem sofrer atrasos. Caso não encontre uma tabela após criá-la ou atualizá-la, ou se ela continuar aparecendo mesmo após a exclusão, use o recurso refresh the table metadata no Data Map para sincronizar manualmente as alterações.

Pré-requisitos

Você vinculou um bound a MaxCompute compute engine.

Acessar o DataStudio

Faça login no console do DataWorks. Na região desejada, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

Criar uma tabela do MaxCompute

Formas de criar uma tabela

Crie tabelas na página Table Management ou dentro de um workflow específico.

• Criar pelo Table Management

  No painel de navegação à esquerda do DataStudio, escolha Table Management e clique no ícone para criar uma tabela. Se o módulo Table Management não estiver visível no painel de navegação, consulte Customize module display in DataStudio para adicioná-lo.

• Criar dentro de um workflow

  O DataWorks usa workflows para organizar e gerenciar códigos. Crie tabelas relacionadas ao seu negócio dentro de um workflow. Caso ainda não tenha um, create one primeiro. Se já possuir um workflow, clique com o botão direito nele e escolha Create Table > MaxCompute > Table.

  Importante

  Se o botão não for encontrado, verifique se há um mecanismo de computação MaxCompute vinculado ao workspace.

Configurar informações básicas da tabela

Após criar a tabela, a aba do editor de tabela será aberta. Nela, configure as informações da tabela usando o modo DDL ou a interface visual.

• Configurar a tabela no modo DDL

  Clique no ícone na aba do editor de tabela e use uma standard MaxCompute table creation statement para gerar o schema da tabela do MaxCompute. Após gerar o schema com uma instrução DDL, o DataWorks preenche automaticamente os campos de configuração na aba do editor. Esta abordagem é ideal para usuários que preferem escrever código.

  Importante

  • O nome da tabela é definido antes da abertura da aba do editor. Não altere o nome da tabela na instrução DDL; caso contrário, ocorrerá um erro.

  • O modo DDL suporta apenas a definição das propriedades físicas da tabela. Edite as propriedades de negócio na aba do editor de tabela depois que a instrução preencher a interface.

• Configurar a tabela pela interface visual

  Siga os guias na aba do editor de tabela para configurar suas propriedades. Este método é conveniente para quem prefere uma interface visual. O exemplo abaixo demonstra como configurar uma tabela usando a interface visual.

  1. Configure as propriedades gerais. Os principais parâmetros estão descritos abaixo.

     Parâmetro	Descrição
     Display name	Nome de exibição da tabela.
     Theme	No DataWorks, temas funcionam como pastas e permitem categorizar tabelas por finalidade de negócio. Defina temas de nível 1 e nível 2 para organizar as tabelas. Nota Esses temas ajudam a organizar e localizar tabelas na página Table Management. Se não houver temas adequados disponíveis, crie um novo. Para mais informações, consulte Define table themes.

  2. Projete o Physical Model. Os parâmetros estão descritos abaixo.

     Parâmetro	Descrição
     Level	Camada de data warehouse da tabela. Os níveis definem as camadas do data warehouse, geralmente divididas em Operational Data Store (ODS), Dimension (DIM), Data Warehouse Detail (DWD), Data Warehouse Summary (DWS) e Application Data Service (ADS). Atribua a tabela a um nível apropriado conforme sua finalidade de negócio. Nota Também é possível personalizar os níveis. Para mais informações, consulte Level management.
     Category	Define a categoria física da tabela, oferecendo uma classificação mais detalhada sob a perspectiva de negócio. Categorias comuns incluem Basic Business, Advanced Business e Other. Nota Categorias físicas também podem ser personalizadas. Para mais informações, consulte Category management.
     Lifecycle	Ciclo de vida da tabela. Para mais detalhes sobre o ciclo de vida de uma tabela do MaxCompute, consulte Lifecycle. Para informações sobre operações de ciclo de vida em uma tabela do MaxCompute, consulte Lifecycle operations.
     Partition type	Especifica se a tabela é particionada ou não particionada. Para mais informações sobre tabelas particionadas e não particionadas no MaxCompute, consulte Partition.
     Table type	Indica se a tabela é interna ou externa. Tabelas internas gerenciam seus próprios dados dentro do MaxCompute, o que geralmente resulta em consultas mais rápidas. Tabelas externas referenciam dados armazenados fora do MaxCompute, economizando espaço de armazenamento. Para mais informações sobre tabelas internas e externas no MaxCompute, consulte Table.

  3. Projete o Schema. A página de design do schema divide-se em duas seções: definição de campos e definição de partições. A seção de definição de campos oferece os botões Add Field, Move Up e Move Down na parte superior. Adicione um campo clicando no link + Add Field. A seção de definição de partições inclui parâmetros adicionais para Date Partition Format (por exemplo, yyyymmdd) e Date Partition Granularity. Os principais parâmetros estão descritos abaixo.

     Parâmetro	Descrição
     Data type	Tipo de dado do campo. Selecione apenas tipos suportados pelo MaxCompute na lista suspensa. Para mais informações sobre tipos de dados do MaxCompute, consulte Data type editions.
     Field security level	Nível de segurança do campo. Este parâmetro fica visível somente se o controle de acesso baseado em rótulos estiver ativado para o projeto MaxCompute. Para mais informações sobre níveis de segurança de campos no MaxCompute, consulte Label-based access control.
     Primary key	Chave primária de negócio da tabela. O MaxCompute não impõe chaves primárias; esta configuração serve apenas para fins de gestão de negócio.

Confirmar e implantar a tabela do MaxCompute

Após definir o schema da tabela, confirme-a nos ambientes de desenvolvimento e produção.

Gravar e exportar dados em tabelas do MaxCompute

Esta seção descreve como importar e exportar dados da sua tabela do MaxCompute.

Gravar dados em uma tabela do MaxCompute

Use uma data synchronization task ou uma MaxCompute node para gravar dados em uma tabela do MaxCompute. O DataWorks também suporta uploading local data para uma tabela do MaxCompute.

Exportar dados de uma tabela do MaxCompute

Após consultar dados no DataStudio, exporte-os para um arquivo local clicando no botão Download no painel de resultados. Por padrão, é possível baixar no máximo 10.000 registros por vez. Administradores de tenant podem alterar esse limite na página Data Query and Analysis Control no Security Center.

Consultar dados em uma tabela do MaxCompute

Use uma ODPS SQL node ou o recurso ad hoc query para consultar dados em uma tabela do MaxCompute executando SQL statements.

Permissões padrão

Workspaces em basic mode não suportam controle de permissão granular nem isolamento entre ambientes de desenvolvimento e produção. Os exemplos a seguir consideram um workspace em standard mode.

Comportamento de acesso a dados

No DataStudio, consulte dados em outros projetos prefixando o nome da tabela com o nome do projeto. A tabela a seguir descreve métodos de acesso entre projetos e as contas utilizadas em diferentes ambientes.

select col1 from projectname_dev.tablename;

select col1 from projectname.tablename;

select col1 from tablename;

Visualizar ativos de dados do MaxCompute

Visualize ativos de dados do MaxCompute das seguintes formas.

Visualizar tabelas de produção em um tenant

O módulo Tenant Tables no DataStudio lista todas as tabelas de produção na região atual pertencentes à sua conta Alibaba Cloud.

Visualizar metadados

Acesse o Data Map para visualizar os detalhes e metadados de uma tabela do MaxCompute.

Visualizar linhagem da tabela

Na página de detalhes da tabela no Data Map, visualize a linhagem upstream e downstream da tabela.

Gerenciar tabelas do MaxCompute em lote

Gerencie várias tabelas do MaxCompute simultaneamente das seguintes maneiras.

Excluir tabelas do MaxCompute em lote

Transferir propriedade de tabelas em lote

Acesse My Data no Data Map para transferir a propriedade de múltiplas tabelas de sua responsabilidade.

Modificar o ciclo de vida de tabelas em lote

Acesse My Data no Data Map para modificar o ciclo de vida de múltiplas tabelas sob sua gestão.