DataWorks:Sincronizar dados

Criar uma fonte de dados MySQL ( user_behavior_analysis_mysql)

Crie uma fonte de dados MySQL para sincronizar as informações básicas de usuários (ods_user_info_d) do banco de dados MySQL para o MaxCompute.

1. Acesse a página Data Sources.

   1. Faça login no console do DataWorks. Na região desejada, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

   2. No painel de navegação à esquerda, clique em Data Source.

2. Clique em Add Connection e, em seguida, pesquise e selecione MySQL como o tipo de fonte de dados.

3. Na página Create Mysql Data Source, configure os parâmetros. Para este tutorial, utilize os mesmos valores de exemplo tanto para o ambiente de desenvolvimento quanto para o de produção.

   A tabela a seguir descreve os principais parâmetros necessários para este tutorial. Mantenha todos os outros parâmetros com seus valores padrão.

   Parâmetro	Descrição
   Data Source Name	Insira um nome para a fonte de dados. Para este tutorial, insira user_behavior_analysis_mysql.
   Description	Esta é uma fonte de dados dedicada às experiências do tutorial do DataWorks. É possível ler dados de teste fornecidos pela plataforma ao configurar uma tarefa de sincronização em lote. Esta fonte de dados suporta apenas operações de leitura em cenários do Data Integration e não pode ser usada em outros módulos.
   Configuration Mode	Selecione User-created Data Store with Public IP Addresses.
   Connection Address	Endereço IP do host: rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com Porta: 3306
   Database Name	Insira o nome do banco de dados. Para este tutorial, insira workshop.
   Username	Insira o nome de usuário. Para este tutorial, insira workshop.
   Password	Insira a senha. Para este tutorial, insira workshop#2017.
   Authentication Method	Sem autenticação.

4. Na seção Connection Configuration, clique em Test Connectivity tanto para o ambiente de produção quanto para o de desenvolvimento e certifique-se de que o status de conectividade seja Connectable.

   Importante

   • Certifique-se de que o grupo de recursos esteja associado ao workspace e tenha acesso à rede pública configurado. Caso contrário, ocorrerão erros durante a sincronização subsequente de dados. Para etapas de configuração, consulte {{XREF_1}}.

   • Se nenhum grupo de recursos estiver disponível, siga as instruções na seção de configuração de conexão, clique em Go to Buy e em Associate Purchased Resource Group.

5. Clique em Complete Creation.

Criar uma fonte de dados HttpFile ( user_behavior_analysis_httpfile)

Os dados de log de acesso ao site dos usuários para este tutorial estão armazenados no OSS. É necessário criar uma fonte de dados HttpFile para sincronizar os logs de acesso ao site (user_log.txt) do OSS para o MaxCompute.

1. Na página Management Center, clique em Data Source no painel de navegação à esquerda.

2. Clique em Add Connection. Na caixa de diálogo Add Connection, pesquise e selecione Httpfile como o tipo de fonte de dados.

3. Na página Create Httpfile Data Source, configure os parâmetros. Para este tutorial, utilize os mesmos valores de exemplo tanto para o ambiente de desenvolvimento quanto para o de produção.

   A tabela a seguir descreve os principais parâmetros necessários para este tutorial. Mantenha todos os outros parâmetros com seus valores padrão.

   Parâmetro	Descrição
   Data Source Name	Insira um nome para a fonte de dados. Para este tutorial, insira user_behavior_analysis_httpfile.
   Description	Esta é uma fonte de dados dedicada às experiências do tutorial do DataWorks. É possível ler dados de teste fornecidos pela plataforma ao configurar uma tarefa de sincronização em lote. Esta fonte de dados suporta apenas operações de leitura em cenários do Data Integration e não pode ser usada em outros módulos.
   URL	Defina a URL como https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com tanto para o ambiente de desenvolvimento quanto para o de produção.

4. Na seção Connection Configuration, clique em Test Connectivity tanto para o ambiente de produção quanto para o de desenvolvimento e certifique-se de que o status de conectividade seja Connectable.

   Importante

   • Certifique-se de que o grupo de recursos esteja associado ao workspace e tenha acesso à rede pública configurado. Caso contrário, ocorrerão erros durante a sincronização subsequente de dados. Para etapas de configuração, consulte {{XREF_2}}.

   • Se nenhum grupo de recursos estiver disponível, siga as instruções na seção de configuração de conexão, clique em Go to Buy e em Associate Purchased Resource Group.

5. Clique em Complete Creation.

Configurar o nó inicial

1. Na página de orquestração do workflow, passe o mouse sobre o nó workshop_start e clique em Open Node.

2. No lado direito da página de edição do nó workshop_start, clique em Scheduling Configuration e configure os parâmetros. A tabela a seguir descreve os principais parâmetros necessários para este tutorial. Mantenha todos os outros parâmetros com seus valores padrão.

   Parâmetro de configurações de agendamento	Descrição
   Scheduling Type	Para este tutorial, defina como Dry Run.
   Resource Group	Para este tutorial, selecione o grupo de recursos serverless criado na etapa {{XREF_3}}.
   Configuração de dependência de nó	Como workshop_start é o nó inicial e não possui dependência upstream, clique em Using the Workspace Root Node para acionar a execução do workflow a partir do nó raiz do workspace. O nome do nó raiz do workspace é: workspace name_root.

Configurar o pipeline de sincronização de dados de usuário (ods_user_info_d)

1. Na página de orquestração do workflow, passe o mouse sobre o nó ods_user_info_d e clique em Open Node.

2. Configure a rede e os recursos do pipeline de sincronização.

   Parâmetro	Descrição
   Data source	Fonte de dados: MySQL. Nome da fonte de dados: user_behavior_analysis_mysql.
   My Resource Group	Selecione o grupo de recursos serverless adquirido na etapa {{XREF_4}}.
   Data going	Destino dos dados: MaxCompute(ODPS). Nome da fonte de dados: Selecione o recurso de computação MaxCompute associado na etapa {{XREF_5}}. Neste exemplo, é MaxCompute_Source.

3. Clique em The next Step para configurar a tarefa de sincronização.

   1. Configure Source and Destination

      A tabela a seguir descreve os principais parâmetros necessários para este tutorial. Mantenha todos os outros parâmetros com seus valores padrão.

      Seção	Parâmetro	Descrição
      Data source	Table	Selecione ods_user_info_d.
      	Shard Key	Defina a chave de divisão como a coluna uid. A coluna uid é a chave primária da tabela ods_user_info_d no MySQL.
      Data going	Tunnel Resource Group	O valor padrão para este tutorial é Public Transfer Resource. Se você possuir uma Tunnel Quota exclusiva, poderá selecioná-la na lista suspensa. Para mais informações sobre Tunnel Quota exclusiva, consulte {{XREF_6}}.
      	Table	Clique em Generate Destination Table Schema para criar rapidamente uma tabela do MaxCompute. Cole a seguinte instrução DDL na seção Table Creation Statement e clique em New Table. Esta tabela serve para receber dados de usuários da fonte. CREATE TABLE IF NOT EXISTS ods_user_info_d ( uid STRING COMMENT 'User ID', gender STRING COMMENT 'Gender', age_range STRING COMMENT 'Age range', zodiac STRING COMMENT 'Zodiac sign' ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
      	Partition Information	Para este tutorial, insira ${bizdate}. Isso é usado para atribuir um valor constante ao parâmetro bizdate durante a depuração e para atribuir valores dinamicamente ao parâmetro bizdate durante a execução agendada. Para mais informações sobre formatos de variáveis e métodos de configuração suportados pelo Data Studio, consulte {{XREF_7}}.

   2. Confirme o Field Mapping e o Channel.

      O DataWorks mapeia colunas entre a origem e o destino para gravar dados de colunas de origem específicas em colunas de destino específicas. Também permite configurar a concorrência de tarefas e políticas de tratamento de dados incorretos. Para este tutorial, defina a Policy for Dirty Data Records como Disallow Dirty Data Records e mantenha as outras configurações com seus valores padrão. Para mais informações, consulte {{XREF_8}}.

4. Configure os parâmetros de depuração.

   No lado direito da página de configuração da tarefa de sincronização em lote, clique em Run Configuration e configure os seguintes parâmetros. Estes parâmetros são usados para depuração em {{XREF_9}} com os parâmetros de Run Configuration.

   Parâmetro	Descrição
   Resource Group	Selecione o grupo de recursos serverless adquirido na etapa {{XREF_10}}.
   Script Parameters	Nenhuma configuração é necessária. O código de exemplo neste tutorial usa ${bizdate} para representar a data comercial. Ao depurar o workflow em {{XREF_11}}, defina o This operation value como uma constante específica (por exemplo, 20250223). A tarefa usará essa constante para substituir a variável definida na tarefa durante a execução.

5. (Opcional) Configure as definições de agendamento.

   Para este tutorial, mantenha as configurações de agendamento com seus valores padrão. Clique em Scheduling Configuration no lado direito da página de configuração da tarefa de sincronização em lote. Para descrições detalhadas dos parâmetros de configurações de agendamento, consulte {{XREF_12}}.

   • Scheduling Parameters: Para este tutorial, estes já foram configurados no nível do workflow. Os nós internos não precisam configurá-los separadamente e podem usá-los diretamente nas tarefas ou no código.

   • Scheduling Policy: Especifique o parâmetro Delayed execution time para atrasar a execução de nós filhos após o início do workflow. Para este tutorial, deixe este campo sem definição.

6. Na barra de ferramentas do nó, clique em Save.

Configurar o pipeline de sincronização de logs de usuário (ods_raw_log_d)

1. Na página de orquestração do workflow, passe o mouse sobre o nó ods_raw_log_d e clique em Open Node.

2. Configure a rede e os recursos do pipeline de sincronização.

   Parâmetro	Descrição
   Data source	Fonte de dados: HttpFile. Nome da fonte de dados: user_behavior_analysis_httpfile.
   My Resource Group	Selecione o grupo de recursos serverless adquirido na etapa {{XREF_13}}.
   Data going	Destino dos dados: MaxCompute(ODPS). Nome da fonte de dados: Selecione o recurso de computação MaxCompute associado na etapa {{XREF_14}}. Neste exemplo, é MaxCompute_Source.

3. Clique em The next Step para configurar a tarefa de sincronização.

   • Configure Source and Destination

     A tabela a seguir descreve os principais parâmetros necessários para este tutorial. Mantenha todos os outros parâmetros com seus valores padrão.

     Seção	Parâmetro	Descrição
     Data source	File Path	Para este tutorial, insira /user_log.txt.
     	File Type	Para este tutorial, selecione o tipo text.
     	Field Delimiter	Para este tutorial, insira |.
     	Advanced Configuration > Skip Header	Para este tutorial, selecione No para não pular o cabeçalho.
     Importante Após configurar a fonte de dados, clique em Confirm Data Structure para verificar se o arquivo de log pode ser lido corretamente.
     Data going	Tunnel Resource Group	O valor padrão para este tutorial é Public Transfer Resource. Se você possuir uma Tunnel Quota exclusiva, poderá selecioná-la na lista suspensa. Para mais informações sobre Tunnel Quota exclusiva, consulte {{XREF_15}}.
     	Table	Clique em Generate Destination Table Schema para criar rapidamente uma tabela do MaxCompute. Cole a seguinte instrução DDL na seção Table Creation Statement e clique em New Table. Esta tabela serve para receber dados de log de usuários da fonte. CREATE TABLE IF NOT EXISTS ods_raw_log_d ( col STRING ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
     	Partition Information	Para este tutorial, insira ${bizdate}. Isso é usado para atribuir um valor constante ao parâmetro bizdate durante a depuração e para atribuir valores dinamicamente ao parâmetro bizdate durante a execução agendada. Para mais informações sobre formatos de variáveis e métodos de configuração suportados pelo Data Studio, consulte {{XREF_16}}.

   • Confirme o Field Mapping e o Channel.

     O DataWorks mapeia colunas entre a origem e o destino para gravar dados de colunas de origem específicas em colunas de destino específicas. Também permite configurar a concorrência de tarefas e políticas de tratamento de dados incorretos. Para este tutorial, defina a Policy for Dirty Data Records como Disallow Dirty Data Records e mantenha as outras configurações com seus valores padrão. Para mais informações, consulte {{XREF_17}}.

4. Configure os parâmetros de depuração.

   No lado direito da página de configuração da tarefa de sincronização em lote, clique em Run Configuration e configure os seguintes parâmetros. Estes parâmetros são usados para depuração em {{XREF_18}} com os parâmetros de Run Configuration.

   Parâmetro	Descrição
   Resource Group	Selecione o grupo de recursos serverless adquirido na etapa {{XREF_19}}.
   Script Parameters	Nenhuma configuração é necessária. O código de exemplo neste tutorial usa ${bizdate} para representar a data comercial. Ao depurar o workflow em {{XREF_20}}, defina o This operation value como uma constante específica (por exemplo, 20250223). A tarefa usará essa constante para substituir a variável definida na tarefa durante a execução.

5. (Opcional) Configure as definições de agendamento.

   Para este tutorial, mantenha as configurações de agendamento com seus valores padrão. Clique em Scheduling Configuration no lado direito da página de configuração da tarefa de sincronização em lote. Para descrições detalhadas dos parâmetros de configurações de agendamento, consulte {{XREF_21}}.

   • Scheduling Parameters: Para este tutorial, estes já foram configurados no nível do workflow. Os nós internos não precisam configurá-los separadamente e podem usá-los diretamente nas tarefas ou no código.

   • Scheduling Policy: Especifique o parâmetro Delayed execution time para atrasar a execução de nós filhos após o início do workflow. Para este tutorial, deixe este campo sem definição.

6. Na barra de ferramentas do nó, clique em Save.