:Mecanismo de armazenamento Delta Lake ou Apache Hudi baseado em DLF, ApsaraDB RDS ou Realtime Compute for Apache Flink e OSS

Sincronização em lote de tabela única

Na página DataStudio do console DataWorks, crie uma tarefa de sincronização em lote para ingerir dados no data lake.

1. Crie uma tarefa de sincronização em lote.

   1. Prepare uma source de dados ApsaraDB RDS for MySQL.

      Configure o ApsaraDB RDS for MySQL no DataWorks. Para mais informações, consulte Adicionar uma source de dados MySQL.

   2. Prepare uma source de dados OSS.

      Configure uma source de dados OSS no DataWorks. Para mais informações, consulte Adicionar uma source de dados OSS.

   3. Crie e execute uma tarefa de sincronização de dados.

      Na página DataStudio do console DataWorks, crie uma tarefa de sincronização em lote. Para mais informações, consulte Configuração de UI sem código. O conteúdo a seguir descreve os principais parâmetros que devem ser configurados.

      1. Configure as conexões de rede e os grupos de recursos.

         Parâmetro		Descrição
         Source	Source	Selecione MySQL.
         	Data Source Name	Selecione o nome da source de dados ApsaraDB RDS for MySQL criada.
         Resource Group	Resource Group	Selecione o grupo de recursos exclusivo para Data Integration.
         Destination	Destination	Selecione OSS.
         	Data Source Name	Selecione a source de dados OSS criada.

      2. Configure a tarefa.

         Na etapa Configure tasks, especifique os parâmetros Table e File name (including path).

         Parâmetro	Descrição
         Table	Selecione o nome da tabela criada no banco de dados ApsaraDB RDS.
         File name (including path)	O nome do arquivo deve seguir o formato <Diretório de arquivo criado no OSS>/<Nome do arquivo de dados a ser exportado para o OSS>. Exemplo: doc-test-01/datalake/anti.csv.

      3. Clique no ícone no canto superior esquerdo da página de configuração da tarefa de sincronização em lote para salvar a configuração e, em seguida, clique no ícone para executar a tarefa.

      4. Após a execução bem-sucedida da tarefa no DataWorks, verifique se os dados foram importados para o diretório do OSS.

2. Converta o formato dos dados do OSS e ingira-os no data lake.

   1. Faça login no console DLF. Na barra de navegação superior, selecione uma region.

   2. No painel de navegação à esquerda, escolha Data Ingestion > Ingestion Tasks.

   3. Na página Data Ingestion Tasks, clique em Create Ingestion Task. Na página exibida, selecione OSS Data Format Conversion e clique em Next.

      Nota

      Para converter o formato dos dados para Apache Hudi, defina Task Type como RDS Full Data Ingestion.

   4. Na página seguinte, configure os parâmetros descritos na tabela abaixo, mantenha os valores padrão dos demais parâmetros e clique em OK.

      OSS Data Format Conversion

      Seção	Parâmetro	Descrição	Exemplo
      Configure Data Source	OSS Storage Path	Diretório do OSS onde a source de dados está armazenada. Deve seguir o formato oss://<Nome do Bucket>/<Nome do diretório OSS>/.	oss:/doc-test-01/datalake/
      	Storage Format	Formato de dados da tabela de origem.	CSV
      Configure Destination Data Lake	Destination database	Banco de dados que armazena a tabela de destino.	datalake
      	Destination Table Name	Nome da tabela criada para o job.	anti_rds
      	Storage Format	Formato de dados da tabela de destino.	Delta
      	Data Lake Storage Location	Diretório do OSS onde os dados serão armazenados. Deve seguir o formato oss://<Nome do Bucket>/<Nome do diretório OSS>/.	oss:/doc-test-01/dlf/
      Configure Task Information	Task Instance Name	Nome da tarefa de ingestão de dados.	Conversão de Formato Delta para Ingestão de Dados do OSS
      	Maximum Resource Parallelism	Número máximo de nós workers que podem rodar simultaneamente. O DLF inicia nós workers para concluir a ingestão de dados.	20

      RDS Full Data Ingestion

      Seção	Parâmetro	Descrição	Exemplo
      Configure Data Source	Data Sources	Exibe instâncias RDS na mesma região e sob a mesma conta. Selecione a source de dados alvo na lista suspensa.	Nenhum
      	Table Path	Caminho da tabela de origem a ser sincronizada. Formato: <nome_do_banco>/<nome_da_tabela>.	Nenhum
      Configure Destination Data Lake	Destination database	Banco de dados que armazena a tabela de destino.	database_1
      	Destination Table Name	Nome da tabela criada para o job.	anti_rds
      	Storage Format	Formato de dados da tabela de destino.	Hudi
      	Data Lake Storage Location	Diretório do OSS onde os dados serão armazenados. Deve seguir o formato oss://<Nome do Bucket>/<Nome do diretório OSS>/.	oss:/doc-test-01/dlf/
      	Partition Information	Permite adicionar partições. Os dados gravados no data lake são usados como partição.	Nenhum
      Configure Task Information	Task Instance Name	Nome da tarefa de ingestão de dados.	Ingestão de Dados Completos no Formato Apache Hudi em Bancos Relacionais
      	Maximum Resource Parallelism	Número máximo de nós workers que podem rodar simultaneamente. O DLF inicia nós workers para concluir a ingestão de dados.	20

   5. Na página Data Ingestion Tasks do console DLF, localize a tarefa criada, clique em Run na coluna Actions e confirme com OK para iniciar a tarefa.

      1. Quando o progress da tarefa atingir 100%, a conversão de formato dos dados do OSS estará concluída.

      2. Clique na aba Database da página Metadata e selecione o nome do banco de dados de destino. Na aba Table List, verifique se a tabela foi criada.

Sincronização de banco de dados em tempo real

No módulo Data Integration do DataWorks, crie uma tarefa de sincronização de banco de dados em tempo real para ingerir dados no formato Apache Hudi no data lake. Para mais informações, consulte Sincronizar um banco de dados MySQL inteiro para um data lake OSS. O conteúdo a seguir descreve os principais parâmetros a serem configurados.

1. Prepare uma source de dados ApsaraDB RDS for MySQL.

   Configure o ApsaraDB RDS for MySQL no DataWorks. Para mais informações, consulte Adicionar uma source de dados MySQL.

2. Prepare uma source de dados OSS.

   Configure uma source de dados OSS no DataWorks. Para mais informações, consulte Adicionar uma source de dados OSS.

3. Na página da tarefa de sincronização, configure os seguintes parâmetros.

   1. Configure as conexões de rede e os grupos de recursos.

      Parâmetro		Descrição
      Source	Source	Selecione MySQL.
      	Data Source Name	Selecione o nome da source de dados ApsaraDB RDS for MySQL criada.
      Resource Group	Resource Group for Data Synchronization	Selecione o grupo de recursos exclusivo para Data Integration.
      Destination	Destination	Selecione OSS.
      	Data Source Name	Selecione a source de dados OSS criada.

   2. Selecione as tabelas das quais deseja sincronizar dados.

      • No lado esquerdo da página de configuração, especifique uma condição de filtro para buscar os bancos de dados e tabelas de origem.

      • No lado direito da página de configuração, visualize os bancos de dados e tabelas selecionados para sincronização.

      Siga as orientações abaixo para selecionar rapidamente os bancos e tabelas desejados, conforme a quantidade de fontes:

      • Para sincronizar dados de poucos bancos e tabelas, selecione-os manualmente durante a visualização das fontes e mova-os para a lista de selecionados. O sistema adicionará automaticamente uma condição de filtro no lado esquerdo da página.

      • Caso precise sincronizar dados de múltiplas fontes, bancos e tabelas, especifique manualmente uma condição de filtro para localizar os objetos desejados. Também é possível usar palavras-chave na caixa de busca no lado direito para encontrar, adicionar ou remover bancos e tabelas.

   3. Configure a tarefa de ingestão de dados.

      • OSS Storage Path: selecione o caminho do OSS onde os dados sincronizados serão armazenados.

      • Location For Creating Metadatabase: selecione DLF.

      • Prefix For Metadatabase Name: o sistema cria automaticamente um metadatabase com base no nome do banco de origem. Especifique um prefixo personalizado, que será adicionado automaticamente aos metadatabases e metatabelas criados.

      • Data Lake Format: selecione Hudi.

      • Partition Information

      Especifique as partições onde os dados sincronizados serão armazenados. Durante a execução da tarefa, os dados são gravados na partição correspondente com base no horário de escrita no OSS. Ao definir partições, observe os seguintes pontos:

      • Variáveis suportadas: ${yyyy}, ${MM}, ${dd} e ${HH}. A precisão temporal chega apenas à hora.

      • É possível concatenar variáveis com strings. Por exemplo, una variáveis com sublinhados (_) para formar uma string como ${yyyy}_${MM}_${dd}_${HH}.

      • Vários níveis de partição são permitidos, permitindo a escrita em tabelas multiparticcionadas. A hierarquia das partições deve respeitar a ordem especificada.

4. Clique em Complete e confirme com OK.

5. Localize a tarefa de sincronização criada e clique em Start na coluna Actions. Em seguida, acompanhe o status da tarefa.

6. Após o sucesso da sincronização, faça login no console DLF e escolha Metadata > Metadata no painel de navegação à esquerda. Na página Metadata, clique no nome do banco de dados recém-gerado. Na aba Table List, visualize as tabelas criadas.

Etapa 6: Analisar dados em um data lake com base no MaxCompute

Crie um projeto externo com base no projeto MaxCompute, no metadatabase DLF e no bucket OSS existentes. Esse projeto externo é mapeado para o projeto MaxCompute, vinculando-o ao OSS e ao DLF. Assim, o projeto MaxCompute pode analisar os dados do projeto externo. Apenas o proprietário do projeto MaxCompute ou usuários com a função Admin ou Super_Administrator podem criar projetos externos.

Nota

Atribua a função Super_Administrator no nível de tenant a um usuário na aba Users do console MaxCompute. Somente a conta da Alibaba Cloud ou um usuário RAM com a função Super_Administrator no nível de tenant pode atribuir funções. Para mais detalhes, veja a seção "Atribuir uma função a um usuário" em Realizar controle de acesso com base em funções no nível de projeto.

1. Crie um projeto externo no console DataWorks.

   1. Faça login no console DataWorks. Na barra de navegação superior, selecione a região China (Shanghai).

   2. No painel de navegação à esquerda do console DataWorks, escolha More > Lake and Warehouse Integration (Data Lakehouse).

   3. Na página Lake and Warehouse Integration (Data Lakehouse), clique em Start.

   4. Na página Create Data Lakehouse, configure os parâmetros. As tabelas a seguir detalham cada campo.

      Tabela 1. Parâmetros na etapa Create Data Warehouse

      Parâmetro	Descrição
      External Project Name	ext_dlf_delta
      MaxCompute Project	ms_proj1

      Tabela 2. Parâmetros na etapa Create Data Lake Connection

      Parâmetro		Descrição
      Heterogeneous Data Platform Type	Selecione Alibaba Cloud DLF + OSS na lista suspensa.	Nenhum
      Alibaba Cloud DLF + OSS	External Project Description	Nenhum
      	Region Where DLF Is Activated	cn-shanghai
      	DLF Endpoint	dlf-share.cn-shanghai.aliyuncs.com
      	DLF Database Name	datalake
      	DLF RoleARN	Nenhum

   5. Clique em Create. Na página seguinte, clique em Preview.

      Se for possível visualizar as informações das tabelas no banco de dados DLF, a operação foi bem-sucedida.

   Nota

   Esta etapa descreve a criação de um projeto externo via console DataWorks. Para criar um projeto externo usando comandos SQL, consulte Usar instruções SQL para gerenciar um projeto externo.

2. Na página Ad Hoc Query do console DataWorks, visualize as tabelas do projeto externo.

   Comando de exemplo:

   show tables in ext_dlf_delta;

   O resultado retornado é:

   ALIYUN$***@aliyun.com:anti_rds

   Nota

   Para mais informações sobre o recurso de consulta ad hoc fornecido pelo DataStudio do DataWorks, consulte Usar consultas ad hoc para executar SQL (Opcional).

3. Na página Ad Hoc Query do console DataWorks, consulte os dados das tabelas do projeto externo.

   Nota

   Se o resultado da consulta apresentar caracteres ilegíveis, resolva o problema seguindo as instruções da seção "Como lidar com erros de dados incorretos causados por problemas de configuração de codificação ou caracteres ilegíveis?" em FAQ sobre sincronização em lote.

   • Comando de exemplo:

     select * from ext_dlf_delta.anti_rds;

   • A figura a seguir mostra o resultado retornado.

Mecanismo de armazenamento Apache Hudi baseado em DLF, Realtime Compute for Apache Flink e OSS

Procedimento

1. Etapa 1: Conceder permissões ao MaxCompute para acessar o DLF e o OSS

   Conceda permissões de acesso ao DLF e ao OSS para a conta da Alibaba Cloud que gerencia o projeto MaxCompute.

2. Etapa 2: Criar um bucket e uma pasta no OSS

   Crie um bucket do OSS para servir como caminho de armazenamento unificado para os data lakes.

3. Etapa 3: Preparar os dados para ingestão nos data lakes

   Crie tabelas temporárias e prepare os dados a serem ingeridos nos data lakes no console Realtime Compute for Apache Flink.

4. Etapa 4: Adicionar uma source de dados ao DLF e criar um metadatabase

   Adicione uma source de dados ao DLF e crie um metadatabase.

5. Etapa 5: Criar e iniciar uma tarefa de extração de metadados no console DLF

   Crie uma tarefa de extração de metadados no console DLF para extrair dados de tabelas no diretório OSS para o data lake.

6. Etapa 6: Analisar dados em um data lake com base no MaxCompute

   Crie um projeto externo na página Lake and Warehouse Integration (Data Lakehouse) no console DataWorks para analisar os dados em um data lake.

Etapa 1: Conceder permissões ao MaxCompute para acessar o DLF e o OSS

A conta da Alibaba Cloud que gerencia o projeto MaxCompute não consegue acessar o DLF ou o OSS sem autorização. Utilize um dos métodos abaixo para autorizar a conta:

• Autorização com um clique: utilize este método se a mesma conta gerenciar o projeto MaxCompute, o DLF e o OSS. Recomendamos clicar em Authorize DLF and OSS para conceder as permissões rapidamente.

• Autorização personalizada: use esta opção caso contas diferentes gerenciem o projeto MaxCompute, o DLF e o OSS, ou se for necessária uma configuração manual. Para mais detalhes, consulte Autorização personalizada.

Etapa 2: Criar um bucket e uma pasta no OSS

Crie um bucket do OSS para servir como caminho de armazenamento unificado para os data lakes.

1. Faça login no console OSS.

2. No painel de navegação à esquerda, clique em Buckets. Na página Buckets, clique em Create Bucket.

3. No painel Create Bucket, configure o parâmetro Bucket Name, selecione uma região e clique em Create. Por exemplo, defina o parâmetro Bucket Name como mc-dlf-oss e selecione a região China (Shanghai) na lista suspensa Region.

   

4. Na página Buckets, clique no nome do bucket criado para acessar a página Objects.

5. No lado direito da página, clique em Create Directory. No painel Create Directory, especifique o Directory Name, como datalaketest, e clique em OK.

   

Etapa 3: Preparar os dados para ingestão nos data lakes

Utilize o conector Hudi para criar tabelas temporárias e preparar os dados a serem ingeridos nos data lakes no console Realtime Compute for Apache Flink. Para mais informações, consulte Job Flink SQL.

1. Acesse a lista de instâncias no console Realtime Compute for Apache Flink. Na barra de navegação superior, selecione a região onde a instância está localizada. Em seguida, clique no ID da instância.

2. No painel de navegação à esquerda, escolha Development > ETL. Clique em New para criar um rascunho de stream em branco e clique em Next.

3. Na caixa de diálogo New Draft, especifique as informações do job e clique em Create.

4. Insira os seguintes comandos no editor SQL. Para mais detalhes sobre a sintaxe, consulte Hudi (em descontinuação).

   -- Create a temporary table named datagen as the data source. 
   CREATE TEMPORARY TABLE datagen(
     id INT NOT NULL PRIMARY KEY NOT ENFORCED,
     data  STRING,
     ts TIMESTAMP(3)
   ) WITH (
     'connector' = 'datagen' ,
     'rows-per-second'='100' 
   );
   
   -- Create a temporary table named flink_hudi_tbl as the result table. The data store points to OSS and the data is stored in the Apache Hudi format.
   CREATE TEMPORARY TABLE flink_hudi_tbl (
     id INT NOT NULL PRIMARY KEY NOT ENFORCED,
     data STRING,
     ts TIMESTAMP(3)
   ) WITH (
     'connector' = 'hudi', 
     'oss.endpoint' = 'oss-cn-beijing-internal.aliyuncs.com', 
     'accessKeyId' = '${secret_values.ak_id}', 
     'accessKeySecret' = '${secret_values.ak_secret}', 
     'path' = 'oss://<yourOSSBucket>/<Custom storage location>',
     'table.type' = 'MERGE_ON_READ',
     'hive_sync.enable' = 'true',
     'hive_sync.mode' = 'hms',
     'hive_sync.db' = 'flink_hudi',
     'hive_sync.table' = 'flink_hudi_tbl',
     'dlf.catalog.region' = 'cn-beijing',
     'dlf.catalog.endpoint' = 'dlf-vpc.cn-beijing.aliyuncs.com'
   );
   
   -- Write data from the source table to the result table.
   INSERT INTO flink_hudi_tbl SELECT * from datagen;

   Parâmetros

   Parâmetro	Descrição
   oss.endpoint	Endpoint interno da região onde a instância Flink reside. Para mais informações sobre endpoints de cada região, consulte Regiões e Endpoints.
   accessKeyId	AccessKey ID da sua conta da Alibaba Cloud.
   accessKeySecret	AccessKey secret da sua conta da Alibaba Cloud.
   path	Caminho do bucket OSS.
   dlf.catalog.region	Região do Alibaba Cloud DLF. Para mais informações, consulte Data Lake Formation: Regiões e endpoints suportados.
   dlf.catalog.endpoint	Endpoint do DLF. Para mais informações, consulte Data Lake Formation: Regiões e endpoints suportados. Nota Recomendamos definir este parâmetro como o endpoint de virtual private cloud (VPC) do DLF. Se selecionar a região China (Hangzhou), defina como dlf-vpc.cn-hangzhou.aliyuncs.com.

5. Execute uma verificação de sintaxe e implante o rascunho. Para mais informações, consulte as Etapas 4 e 6 em Job Flink SQL.

   1. No canto superior direito da página SQL Editor, clique em Validate para verificar a sintaxe. Se a validação for aprovada, uma mensagem de success será exibida.

   2. No canto superior direito da página SQL Editor, clique em Deploy. Na caixa de diálogo Deploy draft, configure os parâmetros relevantes e clique em Confirm.

6. Inicie a implantação do rascunho e visualize o resultado. Para mais informações, consulte a Etapa 7 em Job Flink SQL.

   1. No painel de navegação à esquerda, clique em Deployments.

   2. Localize a implantação desejada e clique em Start na coluna Actions. Na caixa de diálogo Start Job, selecione Initial Mode e clique em Start. Quando o status da implantação mudar para RUNNING, a execução está ocorrendo conforme esperado.

   3. Na página Deployments, visualize o resultado da computação.

7. Após a implantação iniciar e rodar por algum tempo, faça login no console OSS e verifique os arquivos de dados gravados no diretório.

Etapa 4: Adicionar uma source de dados ao DLF e criar um metadatabase

Crie um metadatabase para gerenciar os dados dos data lakes no DLF.

1. Faça login no console DLF. Na barra de navegação superior, selecione uma região.

2. Crie um metadatabase, por exemplo, o metadatabase datalake.

   1. No painel de navegação à esquerda do console DLF, escolha Metadata > Metadata. Na aba Database da página Metadata, clique em Create Database.

   2. Na caixa de diálogo Create Database, configure os parâmetros. A tabela a seguir descreve cada um deles.

      Parâmetro	Descrição	Exemplo
      Catalog	Nome do catálogo de banco de dados onde os dados estão armazenados.	default
      Database Name	Nome do metadatabase de destino.	dlf_db
      Database Description	Descrição do metadatabase a ser criado.	Data lakehouse
      Select Path	Diretório do OSS onde o arquivo de dados será salvo. O diretório deve seguir o formato oss://<Nome do Bucket>/<Nome do diretório OSS>.	oss://doc-test-01/datalake/

   3. Clique em OK.

Etapa 5: Criar e iniciar uma tarefa de extração de metadados no console DLF

1. No painel de navegação à esquerda do console DLF, escolha Metadata > Metadata Discovery.

2. Na página Metadata Discovery, clique em Create Extraction Task na aba Extraction Task.

3. Na página Create Extraction Task, configure os parâmetros relevantes. Para mais informações, consulte Descoberta de metadados.

4. Clique em Save and Execute.

5. Visualize a tabela de metadados. Quando o execution progress da tarefa de extração atingir 100%, clique em Metadata no painel de navegação à esquerda. Na aba Table List, visualize os detalhes da tabela.

6. Consulte os dados da tabela. No painel de navegação à esquerda, clique em Data Exploration. Na página exibida, execute comandos SQL para consultar os dados da tabela.

Etapa 6: Analisar dados em um data lake com base no MaxCompute

Para mais informações, consulte a Etapa 6: Analisar dados em um data lake com base no MaxCompute neste tópico.

Referências

• Para utilizar o MaxCompute e clusters Hadoop na construção de uma solução de data lakehouse, consulte Suporte a Delta Lake ou Hudi em clusters Hadoop.