DataWorks:Criar um data warehouse empresarial com AnalyticDB for MySQL

Configurar uma fonte de dados do AnalyticDB for MySQL 3.0

1. 1. Log on to the DataWorks console. In the target region, click More > Management Center in the left-side navigation pane. Select a workspace from the drop-down list and click Go to Management Center.

   2. On the Workspace Management page, click Data Sources in the left-side navigation pane to open the data source page.

2. Na caixa de diálogo Add Connection, selecione AnalyticDB for MySQL (V3.0) como o tipo de fonte de dados.

3. Configure os parâmetros para a fonte de dados AnalyticDB for MySQL 3.0. Para mais informações, consulte Configurar uma fonte de dados AnalyticDB for MySQL 3.0.

   Nota

   • Para executar tarefas de nó do AnalyticDB for MySQL que acessam uma instância AnalyticDB for MySQL em um VPC, use um grupo de recursos serverless (recomendado) ou um grupo de recursos exclusivo para agendamento. Outros tipos de grupos de recursos não conseguem acessar a instância e causam tempos limite de conexão. Para mais informações sobre grupos de recursos serverless, consulte Usar grupos de recursos serverless.

   • O AnalyticDB for MySQL V2.0 usa o par de AccessKey da sua conta para autenticação.

   • O AnalyticDB for MySQL V3.0 usa nome de usuário e senha de banco de dados para autenticação. Após ativar um banco de dados V3.0, você deve primeiro criar um nome de usuário e senha no console.

4. Clique em Test Connectivity.

5. Após o teste de conectividade ser concluído com êxito, clique em Complete.

Configurar a lista de permissões para o AnalyticDB for MySQL 3.0

O AnalyticDB for MySQL V3.0 usa autenticação de nome de usuário e senha. Você deve configurar uma lista de permissões de cliente para permitir conexões de banco de dados.

Criar um workflow

1. Faça login no DataWorks console. Selecione uma região e, no painel de navegação esquerdo, escolha Data Development and O&M > DataStudio. Na lista suspensa, selecione seu workspace e clique em Data Analytics.

2. Na página Data Development, clique em Create > Create Workflow na barra de navegação superior. A página Create Workflow é aberta. Na caixa de diálogo, insira o Workflow Name e a Description.

3. Clique em Create.

Criar uma tarefa de sincronização em lote

1. No workflow, clique com o botão direito em Data Integration e escolha Create > Batch Sync.

2. Na caixa de diálogo Create Node, insira um Name e clique em Submission.

3. Configure o Data Source e o Destination.

4. Configure os mapeamentos de campos.

   Os campos de origem à esquerda e os campos de destino à direita são mapeados um para um. Clique em Add Row para adicionar um campo. Para remover um campo, passe o cursor sobre o campo e clique no ícone Delete.

5. Configure o controle de canal.

   Configure a taxa máxima de jobs e as regras para tratamento de dados sujos.

   Parâmetro	Descrição
   Expected Maximum Concurrency	O número máximo de threads simultâneos para leitura de dados da fonte ou gravação de dados no destino. No modo wizard, especifique o número de threads simultâneos na UI para controlar o grau de paralelismo da tarefa.
   Bandwidth Throttling	Defina uma taxa de sincronização para evitar que o banco de dados de origem seja sobrecarregado por velocidades excessivas de extração de dados. Defina uma taxa de extração de dados razoável com base na configuração do banco de dados de origem.
   Policy for Dirty Data Records	O número máximo de registros de dados sujos permitido.
   Distributed Execution	Selecione um grupo de recursos para executar a tarefa. Se você tiver um grande número de tarefas e ocorrer contenção de recursos no grupo de recursos padrão, considere adquirir um grupo de recursos serverless. Para mais informações, consulte Usar grupos de recursos serverless.

6. No painel direito, clique em Scheduling Settings para configurar as propriedades de agendamento do nó.

7. Após concluir a configuração, clique no ícone para Save o nó e, em seguida, clique no ícone para Submission a tarefa.

Criar uma tarefa de desenvolvimento de dados

1. No workflow, clique com o botão direito em Custom e escolha Create > AnalyticDB for MySQL.

2. Na caixa de diálogo Create Node, insira um Node Name para o nó e clique em Submission.

3. Selecione a fonte de dados adequada e escreva instruções SQL com base na sintaxe suportada pelo AnalyticDB for MySQL. Instruções Data Manipulation Language (DML) e Data Definition Language (DDL) são suportadas.

4. No painel direito, clique em Scheduling Settings para configurar as propriedades de agendamento do nó. No editor de nó, clique na seção Scheduling Dependencies para configurar as dependências. Clique em Parse Dependencies from Code para resolver automaticamente as dependências upstream. Você também pode pesquisar manualmente e adicionar saídas de nós upstream na seção Upstream Dependencies. Na seção Cross-cycle Dependencies, selecione Current Node, Level-1 Child Nodes ou Other Nodes conforme necessário. Na seção Current Node Output Name, confirme ou adicione as informações de saída do nó atual.

5. Após concluir a configuração, clique no ícone Save para salvar o nó. Em seguida, clique no ícone Run para executar as instruções SQL imediatamente.

Operações e manutenção

Após confirmar e implantar uma tarefa, ela é executada periodicamente com base em suas propriedades de agendamento. Clique em O&M no canto superior direito da página de edição de nó para visualizar o status de agendamento e execução da tarefa periódica. Para mais informações, consulte Gerenciar tarefas periódicas.

Gerenciamento de metadados

Acesse o DataWorks console e escolha Data Governance > DataMap para gerenciar metadados. Para mais informações, consulte Visão geral do Data Map.