DataWorks:Sincronização de dados a partir de nó do MaxCompute

Contexto

Ao usar um nó Data Synchronization from MaxCompute para consultar dados do MaxCompute no Hologres, crie primeiro uma tabela externa no Hologres. Essa tabela externa vincula a tabela de origem do MaxCompute (que contém os dados a sincronizar) a uma tabela interna do Hologres. A sincronização dos dados ocorre da tabela de origem para a tabela interna por meio desse vínculo. O schema da tabela externa deve corresponder ao da tabela de origem do MaxCompute. Também é possível usar instruções SQL para importar dados do MaxCompute para o Hologres. Para mais informações, consulte Importar dados do MaxCompute usando SQL.

Importar dados do MaxCompute para o Hologres oferece melhor desempenho do que consultar dados diretamente via tabela externa. Para mais detalhes sobre a criação de tabelas externas para consulta de dados do MaxCompute, consulte Nó de sincronização de schema de tabela do MaxCompute com um clique.

As operações descritas neste tópico usam a região China (Shanghai) como exemplo. A interface do usuário pode variar em outras regiões.

Pré-requisitos

• Você já associou um recurso de computação do MaxCompute.

• Você já associou um recurso de computação do Hologres.

Criar um nó de sincronização de dados de tabela

1. Faça login no console do DataWorks. Na região desejada, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Crie um Workflow.

   Se você já tiver um Workflow, ignore esta etapa.

   1. Passe o mouse sobre o ícone e selecione Create Workflow.

   2. Na caixa de diálogo Create Workflow, insira um Workflow Name.

   3. Clique em Create.

3. Crie um nó Data Synchronization from MaxCompute.

   1. Passe o mouse sobre o ícone e selecione Create Node > Hologres > Data Synchronization from MaxCompute.

      Como alternativa, localize o workflow desejado, clique com o botão direito e selecione Create Node > Hologres > Data Synchronization from MaxCompute.

   2. Na caixa de diálogo Create Node, insira um Name, selecione uma Engine Instance, um Node Type e um Path.

   3. Clique em OK para acessar a página de edição do nó.

4. Configure o nó.

   Na página de edição do nó, configure a tabela de origem do MaxCompute, a tabela de destino para armazenamento dos dados, a política de sincronização e as informações de código SQL.

   A página de configuração contém as seguintes seções: Hologres Target Data Source Settings (selecione uma Data Source e um Database), MaxCompute Source Table Selection (selecione External Table Source como uma nova tabela externa ou uma existente e especifique o External Server, MaxCompute Project, MaxCompute Schema, MaxCompute Table Name e Filter Condition), Hologres Target Table Settings (configure o Schema, Table Name e Table Description), Import GUC Parameter Settings (no formato set <GUC>=<values>;, com múltiplos parâmetros em linhas separadas) e Synchronization Settings (inclui as abas Synchronization Field, Partition Configurations e Index Configuration).

   1. Configure as informações da tabela de origem.

      Esta seção configura a tabela do MaxCompute de onde os dados serão sincronizados. Configure uma tabela externa do Hologres para mapear os dados da tabela de origem do MaxCompute. A tabela a seguir descreve os principais parâmetros.

      Parâmetro	Descrição
      Data Source	Instância do Hologres onde reside a tabela externa.
      Database	Banco de dados na instância do Hologres onde a tabela externa está armazenada.

   2. Seleção da tabela de origem do MaxCompute.

      Parâmetro

      Descrição

      Source of External Table

      Origem da tabela externa do Hologres. Essa tabela atua como vínculo entre a tabela de origem do MaxCompute e a tabela interna do Hologres para sincronizar os dados. Existing External Table: Selecione esta opção se a tabela externa para sincronização de dados com a tabela interna já existir. Selecione o schema e o nome da tabela externa existente. Create External Table: O nó Data Synchronization from MaxCompute exige uma tabela externa do Hologres para acelerar consultas aos dados da tabela do MaxCompute. Se ainda não tiver criado essa tabela, selecione esta opção. Esta opção requer a configuração do servidor para a nova tabela externa, além do nome do projeto e da tabela do MaxCompute. Nota Use diretamente o servidor externo odps_server já criado no Hologres. Para mais informações sobre o mecanismo subjacente, consulte postgres_fdw.

   3. Configure as definições da tabela de destino no Hologres.

      Esta seção cria uma tabela interna do Hologres para armazenar dados do MaxCompute.

      Parâmetro	Descrição
      Schema	Schema ao qual a tabela interna do Hologres pertence.
      Table Name	Nome da tabela interna do Hologres. Ao criar uma tabela interna, se já existir uma com o mesmo nome, o sistema adota o seguinte comportamento conforme o tipo: Tabela não particionada: A tabela interna existente e seus dados são excluídos, e o Hologres cria uma nova tabela. Tabela particionada: A tabela existente e seus dados não são excluídos. O Hologres cria novas tabelas de partição filhas com base nos valores de partição e importa os dados. Nota Se o schema da nova tabela for diferente do schema da tabela existente, o sistema retornará um erro.
      Table Description	Descrição da tabela interna do Hologres.

   4. Configure a política de sincronização.

      Defina nesta seção a política de sincronização dos dados da tabela do MaxCompute.

      Aba	Descrição
      Synchronization Field	Selecione as colunas da tabela do MaxCompute a sincronizar.
      Partition Configurations	Escolha as partições da tabela do MaxCompute para sincronização. Nota Atualmente, o Hologres suporta apenas a sincronização de partições de primeiro nível. Partições multinível em tabelas do MaxCompute são definidas como partições de primeiro nível no Hologres, enquanto as demais são mapeadas automaticamente para colunas regulares.
      Index Configuration	Crie índices na tabela interna do Hologres que armazena dados do MaxCompute para permitir consultas rápidas. Para mais informações sobre criação de índices, consulte Configurar índices de tabela.

   5. Gere o script SQL.

      O DataWorks analisa automaticamente a configuração de sincronização e gera instruções SQL para executar a tarefa atual. Use essas instruções para acessar a página de edição de código do Hologres e executar a sincronização via SQL.

      Nota

      • Não é possível editar o script SQL gerado. Quando a configuração da tarefa de sincronização for atualizada, atualize o script SQL para gerar novas instruções.

      • Para mais detalhes sobre como executar tarefas de sincronização usando SQL, consulte Importar dados do MaxCompute usando SQL.

5. Configure as propriedades de agendamento da tarefa.

   Para executar o nó periodicamente, clique em Scheduling no painel à direita e defina as propriedades de agendamento:

   • Defina as propriedades básicas de agendamento da tarefa. Para mais informações, consulte Configurar propriedades básicas.

   • Estabeleça o ciclo de agendamento, as propriedades de reexecução e as dependências. Para mais informações, consulte Configurar propriedades de tempo e Configurar dependências de agendamento do mesmo ciclo.

     Nota

     Defina o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

   • Ajuste as propriedades de recursos. Para mais informações, consulte Configurar propriedades de recursos. Para acessar uma fonte de dados MySQL pela internet pública ou por uma vpc, selecione um grupo de recursos para agendamento que tenha conectividade de rede com a fonte de dados MySQL. Para mais informações, consulte Soluções de conectividade de rede.

6. Salve e execute o nó.

   1. Na barra de ferramentas da página de edição do nó, clique no ícone para salvar a configuração do nó.

   2. Na barra de ferramentas da página de edição do nó, clique no ícone para sincronizar os dados do MaxCompute.

   Em workspaces no modo padrão, após enviar a tarefa, clique em Deploy Task no lado esquerdo da barra de ferramentas superior para implantar a tarefa no ambiente de produção. Para mais informações, consulte Implantar nós.

7. Visualize as tarefas agendadas.

   1. No canto superior direito do editor, clique em O&M Personnel para abrir o Operation Center do ambiente de produção.

   2. Verifique as tarefas agendadas em execução. Para mais informações, consulte Gerenciar tarefas agendadas.

   Para obter mais detalhes sobre tarefas agendadas, clique em Operation Center na barra de menu superior. Para mais informações, consulte Visão geral do Operation Center.

Próximos passos

Após concluir a sincronização de dados do MaxCompute, acesse a página Table Management do DataWorks para visualizar os detalhes dos dados. Para mais informações, consulte Gerenciar tabelas. Acesse também o Hologres e use o HoloWeb para consultar dados do MaxCompute. Para mais informações, consulte Consultar dados usando o HoloWeb.