O DataWorks oferece o nó de sincronização de dados do MaxCompute com um clique para transferir dados do MaxCompute para um banco de dados Hologres. Esse recurso permite consultar dados de tabelas do MaxCompute no Hologres de forma eficiente. Este tópico descreve como utilizar o nó de sincronização de dados do MaxCompute com um clique.
Contexto
Você também pode importar dados diretamente do MaxCompute para o Hologres usando instruções SQL, que geralmente oferecem melhor desempenho. Para mais informações, consulte Importar dados do MaxCompute usando instruções SQL.
Pré-requisitos
Um projeto do MaxCompute e uma instância do Hologres criados.
O projeto do MaxCompute e a instância do Hologres estão vinculados como recurso de computação do DataWorks e o teste de conectividade foi bem-sucedido.
Crie um nó de sincronização de dados do MaxCompute com um clique
Você já criou um nó de sincronização de dados do MaxCompute com um clique.
Configure o nó de sincronização
Acesse a página do editor do nó de sincronização de dados do MaxCompute com um clique para configurar os parâmetros.
Selecione uma tabela source do MaxCompute
Configure os seguintes parâmetros para a tabela de origem.
|
Parâmetro |
Descrição |
|
Project |
Nome do projeto do MaxCompute criado. |
|
Schema |
Schema do projeto do MaxCompute. |
|
Table name |
Nome da tabela source do MaxCompute. |
|
Filter condition |
O sistema gera automaticamente uma condição de filtro para a tabela particionada selecionada. Ajuste essa condição conforme necessário. Somente os dados que atendem à condição de filtro são sincronizados. Nota
A condição de filtro corresponde ao conteúdo após a cláusula |
Defina uma tabela de destino no Hologres
Configure os seguintes parâmetros para a tabela de destino.
|
Parâmetro |
Descrição |
|
Instance |
Instância do Hologres de destino. Após selecionar uma fonte de dados do Hologres na seção Select a data source, o sistema identifica automaticamente a instância específica. Nota
Clique em Pages for Managing Destination ao lado de Select a data source para abrir as páginas Holo console (instance monitoring), Slow Query, Active connection management, DB authorization e User Management. |
|
Database |
Banco de dados na instância do Hologres de destino. |
|
Schema |
O |
|
Table name |
Nome da tabela interna no Hologres. Se já existir uma tabela com o mesmo nome, aplicam-se as seguintes políticas:
|
|
Synchronization field |
Selecione os campos a sincronizar. |
|
Partition configuration |
Selecione as partições da tabela do MaxCompute a sincronizar. Nota
Atualmente, o Hologres suporta sincronização de dados apenas de partições de primeiro nível. Se uma tabela do MaxCompute tiver vários níveis de partição, o sistema os mapeará para um único nível no Hologres e converterá automaticamente os campos extras de partição em campos regulares. |
|
Index configuration |
Crie índices na tabela interna do Hologres para acelerar consultas nos dados sincronizados. Para mais informações sobre criação de índices, consulte CREATE TABLE. |
Configure parâmetros adicionais
|
Parâmetro |
Descrição |
|
GUC parameter |
Parâmetros GUC a definir antes de importar dados do MaxCompute. Para obter uma lista dos parâmetros GUC suportados, consulte GUC parameters. Outras instruções SQL não são suportadas. |
|
External server |
O valor padrão é |
|
SQL script |
|
Teste o nó de sincronização
Para testar o nó de sincronização, configure os parâmetros de teste de acordo com os requisitos de negócios.
-
Configure as definições de depuração do nó.
Na seção Run Configuration, no lado direito do editor, configure o Compute Resource e o Resource Group. A tabela a seguir descreve os parâmetros.
Parâmetro
Descrição
Compute Resource
Selecione o recurso de computação do Hologres vinculado.
Resource Group
Selecione o grupo de recursos aprovado no teste de conectividade ao vincular o recurso de computação do Hologres.
CUs for Scheduling
Este nó usa o valor padrão de CU. Nenhuma alteração é necessária.
Script parameter
Se houver uma variável definida na condição de filtro no formato ${Parameter Name}, especifique o Parameter name e o Parameter Value na seção Script Parameters. Durante a execução da tarefa, o sistema substitui a variável pelo valor especificado. Para mais informações, consulte Configuração de agendamento de nó.
Para testar o nó, clique em Save e, em seguida, em Run para iniciar a tarefa de sincronização.
Próximas etapas
Configuração de agendamento de nó: Se o nó precisar de execução periódica, configure a Scheduling Policy no painel Scheduling Settings, no lado direito do editor.
Publicação de nó: Para publicar uma tarefa no ambiente de produção, clique no ícone
para iniciar o processo. Os nós no diretório do projeto são agendados periodicamente somente após a publicação no ambiente de produção.Após a sincronização dos dados do MaxCompute, use o HoloWeb para consultar os dados na tabela do Hologres. Para mais informações, consulte HoloWeb.
Perguntas frequentes
Mensagem de erro:
get table columns occurs Invalid name:xxx.Solução: Verifique se o nome do projeto de origem está correto e não contém espaços ou outros caracteres inválidos.