Para carregar dados externos em um catálogo do Data Lake Formation (DLF), configure uma fonte de dados DLF 2.0 no DataWorks Data Integration. Essa abordagem oferece um caminho gerenciado e serverless para mover dados sem escrever código de ingestão personalizado. Este tópico descreve como adicionar uma fonte de dados DLF 2.0 e criar uma tarefa de sincronização.
Como funciona
O DataWorks Data Integration conecta-se ao DLF por meio de três componentes:
|
Componente |
Função |
|
Fonte de dados DLF 2.0 |
Armazena as credenciais de autenticação e os metadados do catálogo que o DataWorks utiliza para acessar o DLF. |
|
Grupo de recursos serverless |
Executa a movimentação dos dados. A conectividade de rede entre esse grupo de recursos e o DLF deve passar em um teste antes de salvar a fonte de dados. |
|
Tarefa de sincronização |
Define o fluxo de dados da source para as tabelas do catálogo DLF de destino. |
Pré-requisitos
Antes de começar, verifique se você possui:
Um workspace do DataWorks. Para criar um, consulte Criar um workspace.
Um catálogo Paimon do DLF. Para criar um, consulte Introdução ao DLF.
Conectividade de rede estabelecida entre um grupo de recursos serverless e o DLF. Caso a conectividade não esteja configurada, consulte os tópicos sobre Conectividade de rede antes de prosseguir.
-
Se você planeja usar um usuário do Resource Access Management (RAM) ou uma função RAM como identidade de acesso:
Conceda ao usuário RAM ou à função RAM as permissões necessárias para chamar as APIs REST exigidas.
No console do Data Lake Formation, conceda a permissão Data Editor nas tabelas a sincronizar.
Etapa 1: Adicionar uma fonte de dados DLF 2.0
-
Acesse a página Data Sources no DataWorks.
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região de destino.
No painel de navegação à esquerda, escolha More > Management Center. Selecione o workspace desejado na lista suspensa e clique em Go to Management Center.
No painel de navegação à esquerda da página SettingCenter, clique em Data Sources.
Na página Data Sources, clique em Add Data Source. Na caixa de diálogo, pesquise Data Lake Formation e clique em Data Lake Formation 2.0 (DLF 2.0).
-
Na página Add Data Lake Formation 2.0 (DLF 2.0) Data Source, configure os seguintes parâmetros.
Parâmetro
Descrição
Data Source Name
Nome da fonte de dados. Deve ser exclusivo no workspace, conter apenas letras, dígitos e sublinhados (
_) e começar com uma letra.Configuration Mode
O único valor válido é Alibaba Cloud Instance Mode.
Access Identity
Identidade usada pelo DataWorks para acessar o DLF. Opções: Alibaba Cloud Account, Alibaba Cloud RAM User ou Alibaba Cloud RAM Role.
DLF Catalog
Catálogo do DLF para conexão. Selecione um catálogo na mesma região do workspace do DataWorks.
Database Name
Banco de dados no catálogo DLF selecionado.
-
Na seção Connection Configuration, teste a conectividade de rede entre a fonte de dados e um grupo de recursos serverless.
Se o teste for bem-sucedido, clique em Complete Creation.
Caso o teste falhe, consulte os tópicos sobre Conectividade de rede para resolver o problema antes de salvar.
Etapa 2: Criar uma tarefa de sincronização
Após adicionar a fonte de dados DLF 2.0, configure uma tarefa de sincronização para mover os dados para o catálogo. Para obter instruções de configuração, consulte os tópicos sobre Sincronizar dados para o DLF 2.0.
Verificação e próximos passos
Após a execução da tarefa de sincronização, verifique o resultado no console do DLF: acesse seu catálogo e confirme se as tabelas de destino contêm os dados esperados.
Para saber mais sobre o gerenciamento de dados no DLF, consulte Introdução ao DLF.