DataWorks:Criar uma tabela interna do Hologres

Pré-requisitos

• Adicione um recurso de computação do Hologres ao seu workspace e associe-o ao Data Studio. Para mais informações, consulte Data Studio (legacy): Associate a Hologres computing resource.

• Tenha a função de Workspace Administrator ou Development. Para mais detalhes sobre como conceder funções, consulte Gerencie permissões em serviços no nível do workspace.

Contexto

O Hologres oferece suporte a dois tipos de tabelas: internas e externas. A lista a seguir descreve as diferenças entre elas:

• Uma tabela interna armazena dados diretamente do MaxCompute. Sincronize dados de uma tabela de origem do MaxCompute para uma tabela interna do Hologres para permitir consultas e análises rápidas. Esse método proporciona melhor desempenho de consulta em comparação ao uso de tabelas externas.

• Uma tabela externa não armazena dados diretamente. Em vez disso, mapeia uma tabela de origem do MaxCompute para acelerar consultas e análises de dados. Essa abordagem evita redundância de dados e elimina a necessidade de importação e exportação, garantindo resultados de consulta ágeis.

Como plataforma de desenvolvimento e processamento de dados, o DataWorks fornece uma interface visual prática para a criação de tabelas. Também é possível criar tabelas diretamente no Hologres por meio de instruções DDL. Para mais informações, consulte CREATE TABLE.

Limitações

Este recurso está disponível apenas nas regiões China (Shanghai) e China (Beijing).

Procedimento

1. Acesse a página do Data Studio.

   Faça login no console do DataWorks. Na região desejada, clique em Data Integration > Data Integration no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.

2. Crie um Workflow.

   Se já existir um Workflow, pule esta etapa.

   1. Passe o mouse sobre o ícone e selecione Create Workflow.

   2. Na caixa de diálogo Create Workflow, insira um Workflow Name.

   3. Clique em Create.

3. Crie uma tabela interna do Hologres.

   1. Passe o mouse sobre o ícone e selecione Create Table > Hologres > Table.

   2. Na caixa de diálogo Create Table, defina o Table Type como Internal Table e configure o mecanismo, o caminho e o nome da tabela.

      Defina Engine Type como Hologres e clique em Create após concluir a configuração.

4. Configure a tabela interna do Hologres.

   Na página de edição da tabela interna do Hologres, configure as informações da tabela.

   1. Configure as propriedades básicas.

      A tabela a seguir descreve as propriedades básicas da tabela.

      Parâmetro	Descrição
      Storage Mode	Modo de armazenamento da tabela no Hologres. O valor padrão é armazenamento orientado a colunas. Column-oriented Storage: Aplicável a cenários OLAP. Adequado para consultas complexas, junções de dados, varreduras, filtros e agregações. O desempenho de gravação e atualização é inferior ao das tabelas com armazenamento orientado a linhas. Row-oriented Storage: Aplicável a cenários KV (chave-valor). Indicado para consultas pontuais baseadas em chave primária e varreduras. Mais eficiente para operações de gravação e atualização. Hybrid Row-column Storage: Destinado a cenários que exigem tanto armazenamento orientado a colunas quanto a linhas. Suporta consultas pontuais eficientes e análises OLAP simultaneamente. Este modo gera maior sobrecarga de armazenamento e de sincronização interna de dados. Nota Para mais informações sobre formatos de armazenamento, consulte o parâmetro orientation em CREATE TABLE.
      Lifecycle	Ciclo de vida da tabela, em segundos. O ciclo de vida padrão é permanente. Nota O ciclo de vida é calculado a partir do momento em que os dados são gravados pela primeira vez na tabela. Quando o ciclo de vida expira, os dados da tabela são limpos dentro de um período aleatório.
      Binlog	Especifica se o Binlog deve ser ativado para a tabela. Se o Binlog estiver ativado, será necessário especificar seu ciclo de vida. O ciclo de vida padrão do Binlog é permanente. Nota Apenas o Hologres V0.9 e versões posteriores suportam Binlog no nível de tabela. Para mais informações sobre o Binlog, consulte Subscribe to Hologres binlogs.

   2. Configure as informações de negócio.

      Nota

      As informações de negócio de uma tabela servem apenas para fins de gerenciamento com base nos requisitos de negócio e não envolvem implementação de lógica subjacente.

      Parâmetro	Descrição
      Tema	Pasta de nível 1 e pasta de nível 2 às quais a tabela pertence. Classifique tabelas com base em finalidades de negócio e agrupe tabelas do mesmo tipo na mesma pasta. Nota Temas de nível 1 e nível 2 representam apenas a estrutura de pastas apresentada no DataWorks e destinam-se a ajudar no gerenciamento das tabelas.
      Layer	Camada física do data warehouse à qual a tabela pertence. As camadas definem e gerenciam a hierarquia de um data warehouse. Camadas típicas incluem staging, compartilhada e analítica. Atribua a tabela à camada apropriada conforme sua finalidade de negócio. Nota Clique no ícone para personalizar camadas. Para mais informações, consulte Table management.
      Physical Category	Categoria física da tabela. Fornece uma classificação mais detalhada sob a perspectiva de negócio. Categorias comuns incluem camada básica de negócio, camada avançada de negócio, entre outras. Nota Clique no ícone para personalizar categorias físicas. Para mais informações, consulte Category management.

   3. Configure a estrutura da tabela.

      Parâmetro	Descrição
      Field Design	Adicione e defina as colunas da tabela. Para mais informações sobre os tipos de dados suportados pelo Hologres, consulte Data types overview.
      Storage Design	Defina o design de armazenamento para as colunas da tabela. Distribution Column: Especifica a política de distribuição da tabela. Os dados são distribuídos aos shards com base na coluna de distribuição, e as computações e varreduras subsequentes ocorrem por shard. Segment key: Geralmente, especifica-se uma coluna fortemente correlacionada com tempo como chave de segmento. Quando uma consulta inclui a chave de segmento na condição de filtro, o sistema localiza rapidamente a posição de armazenamento dos dados correspondentes. Ideal para dados sensíveis ao tempo, como logs e dados de tráfego. Clustering Key: Cria um índice clusterizado nas colunas especificadas. O Hologres ordena os dados com base nesse índice para acelerar consultas de intervalo e filtro nas colunas indexadas. Dictionary Encoding Columns: Constrói um mapeamento de dicionário para os valores nas colunas especificadas. A codificação por dicionário converte comparações de strings em comparações numéricas, acelerando consultas GROUP BY, filtros e outras. Bitmap Column: Coluna com codificação bitmap que permite filtragem rápida por igualdade nos dados dentro dos arquivos de armazenamento. Recomenda-se criar codificação bitmap para dados utilizados em condições de filtro de igualdade. Para mais informações sobre opções de design de armazenamento, consulte CREATE TABLE.
      Partition	Defina as colunas de partição para a tabela. Nota Se uma tabela particionada possuir chave primária, esta deverá incluir as colunas de partição.

5. Envie e implante a tabela interna do Hologres.

   Após definir a estrutura da tabela, envie-a para o ambiente de desenvolvimento e para o ambiente de produção. A tabela torna-se visível no projeto do mecanismo correspondente somente após o envio bem-sucedido.

   Nota

   Se o seu workspace estiver no modo básico, basta enviar a tabela para o ambiente de produção. Para mais informações sobre as diferenças entre workspaces nos modos básico e padrão, consulte Workspace mode differences.

   Operação	Descrição
   Load from Development Environment	Carrega informações da tabela de desenvolvimento a partir do ambiente de desenvolvimento e as exibe na página atual. Nota Esta operação só está disponível após o envio da tabela para o ambiente de desenvolvimento. Após a execução, as informações da tabela no ambiente de desenvolvimento substituem as informações exibidas na página atual.
   Commit to Development Environment	Envia a tabela para o ambiente de desenvolvimento do DataWorks, criando-a no banco de dados Hologres correspondente a esse ambiente. Após o envio, visualize a estrutura da tabela no diretório Hologres do workflow correspondente (caminho selecionado durante a criação) no Data Studio.
   Load from Production Environment	Carrega informações da tabela de produção a partir do ambiente de produção e as exibe na página atual. Nota Esta operação só está disponível após o envio da tabela para o ambiente de produção. Após a execução, as informações da tabela no ambiente de produção substituem as informações exibidas na página atual.
   Commit to Production Environment	Envia a tabela para o ambiente de produção do DataWorks, criando-a no banco de dados Hologres correspondente a esse ambiente.

Próximas etapas

Após criar uma tabela interna do Hologres, execute as seguintes operações:

• Desenvolva dados relacionados ao Hologres. Para mais informações, consulte Hologres SQL node e Hologres syntax.

• Importe periodicamente dados do MaxCompute para uma tabela interna do Hologres usando uma tabela externa do Hologres:

  • Importe dados usando comandos. Para mais informações, consulte Import data from MaxCompute using SQL.

  • Importe dados utilizando a interface visual do DataWorks. Para mais informações, consulte Data synchronization from MaxCompute node.