No DataWorks, você pode usar nós MySQL para desenvolver, agendar periodicamente e integrar tarefas MySQL com outros jobs. Este tópico explica o processo de desenvolvimento.
Pré-requisitos
-
O fluxo de negócios já foi criado.
O Data Studio executa operações de desenvolvimento específicas por engine com base nos fluxos de negócios. Antes de criar um nó, crie primeiro um fluxo de negócios. Para mais informações, consulte Create a business flow.
-
Uma fonte de dados MySQL já foi adicionada.
Para acessar dados do seu banco de dados MySQL, adicione-o como uma fonte de dados MySQL no DataWorks. Para mais informações, consulte MySQL data source.
NotaOs nós MySQL suportam apenas fontes de dados MySQL adicionadas no modo de string de conexão.
(Opcional; obrigatório para usuários do Resource Access Management (RAM)) O usuário RAM utilizado para o desenvolvimento de tarefas foi adicionado ao workspace de destino e recebeu a função Development ou Workspace Administrator (que concede permissões amplas — atribua com cautela). Para mais informações sobre como adicionar membros e conceder permissões, consulte Add members to a workspace.
Limitações
Os nós MySQL suportam o desenvolvimento de tarefas apenas para fontes de dados MySQL adicionadas no modo de string de conexão no ambiente de produção. Para verificar o modo de uma fonte de dados, acesse a página Data source management conforme descrito em Configure a MySQL data source, localize a fonte de dados e clique em Modify na coluna Operation.
Os nós MySQL não suportam MySQL 8.0 ou versões posteriores.
Regiões suportadas: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta) e US (Virginia).
Conectividade de rede
-
Conectividade de rede
Seu banco de dados MySQL deve ter conectividade de rede com o serverless resource group (recommended) ou o exclusive resource group for scheduling. Para mais informações, consulte Network connectivity solutions.
-
Configure uma lista de permissões de endereços IP
Se o seu banco de dados MySQL for protegido por uma lista de permissões de endereços IP, adicione o bloco CIDR da VPC e os endereços IP públicos do serverless resource group (recommended) ou do exclusive resource group for scheduling à lista de permissões do banco de dados. Para mais informações, consulte Configure an IP address whitelist.
-
Teste a conectividade de rede
Teste a conectividade de rede ao adicionar uma fonte de dados no DataWorks. Para mais informações, consulte Test network connectivity.
Desenvolvimento de tarefas MySQL
-
Acesse a página Data Studio.
Faça login no DataWorks console. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.
-
Crie um Workflow.
Se você já tiver um Workflow existente, ignore esta etapa.
Passe o cursor sobre o ícone
e selecione Create Workflow.Na caixa de diálogo Create Workflow, insira um Workflow Name.
Clique em Create.
-
Crie um nó MySQL.
-
Passe o cursor sobre o ícone
e escolha .Como alternativa, localize seu workflow, clique com o botão direito no nome e escolha .
-
Na caixa de diálogo Create Node, insira um Name e selecione um Node Type e um Path.
NotaO nome do nó pode conter apenas letras maiúsculas e minúsculas, caracteres chineses, dígitos, sublinhados (_) e pontos (.). O nome não pode exceder 128 caracteres.
Clique em OK para abrir o editor do nó MySQL.
-
-
Use o nó MySQL para desenvolver uma tarefa MySQL.
-
Selecione uma fonte de dados.
Na lista suspensa Select DataSource, selecione a fonte de dados de destino. Se a fonte de dados necessária não estiver na lista, clique em New data source à direita e crie uma fonte de dados na página Data source management. Para mais informações, consulte Configure a MySQL data source.
NotaSe o seu workspace estiver no modo padrão, a lista suspensa exibirá apenas fontes de dados MySQL configuradas para os ambientes de desenvolvimento e produção.
Os nós MySQL suportam o desenvolvimento de tarefas apenas para fontes de dados MySQL adicionadas no modo de string de conexão no ambiente de produção. Para verificar o modo de uma fonte de dados, acesse a página Data source management conforme descrito em Configure a MySQL data source, localize a fonte de dados e clique em Modify na coluna Operation.
-
Selecione um grupo de recursos.
Na barra de ferramentas, clique no ícone
. Na caixa de diálogo Parameter, selecione um grupo de recursos para agendamento.NotaPara acessar uma fonte de dados pela internet pública ou por uma VPC, utilize o grupo de recursos para agendamento que passou no teste de conectividade com a fonte de dados. Para mais informações, consulte Network connectivity solutions.
Para alterar o grupo de recursos em uma execução específica, clique em Run with Parameters
e selecione um grupo de recursos diferente para agendamento.
-
Use instruções SQL para criar uma tarefa.
Escreva suas instruções SQL no editor SQL.
Por exemplo, a instrução a seguir consulta dados na tabela xc_emp.
select * from xc_emp;Após a execução da consulta, os resultados são retornados em uma tabela na aba Results. A tabela inclui as seguintes colunas: empno, aname, job, mgr, hiredate, sal, comm e deptno.
Se a tarefa falhar na execução, verifique a mensagem de erro e resolva o problema consultando FAQ: Task fails with "JDBC driver not supported" error.
-
Salve e execute as instruções SQL.
Na barra de ferramentas, clique no ícone
para salvar as instruções SQL e, em seguida, clique no ícone
para executar a tarefa.
-
-
Configure as propriedades de agendamento da tarefa.
Para executar o nó periodicamente, clique em Scheduling no painel à direita e configure as propriedades de agendamento:
Configure as propriedades básicas de agendamento da tarefa. Para mais informações, consulte Configure basic properties.
-
Configure o ciclo de agendamento, as propriedades de reexecução e as dependências. Para mais informações, consulte Configure time properties e Configure same-cycle scheduling dependencies.
NotaDefina o Rerun attribute e os Parent Nodes do nó antes de confirmá-lo.
Configure as propriedades de recursos. Para mais informações, consulte Configure resource properties. Para acessar uma fonte de dados MySQL pela internet pública ou por uma VPC, selecione um grupo de recursos para agendamento que tenha conectividade de rede com a fonte de dados MySQL. Para mais informações, consulte Network connectivity solutions.
-
Confirme e implante a tarefa.
Na barra de ferramentas, clique no ícone
para salvar o nó.Na barra de ferramentas, clique no ícone
para confirmar a tarefa.Na caixa de diálogo Commit Node, insira uma Change Description.
Clique em Determine.
Em um workspace no modo padrão, implante a tarefa no ambiente de produção após confirmá-la. Na barra de menus superior, clique em Deploy. Para mais informações, consulte Deploy tasks.
-
Visualize as tarefas agendadas.
No canto superior direito do editor, clique em O&M Personnel para abrir o Operation Center do ambiente de produção.
Visualize as tarefas agendadas em execução. Para mais informações, consulte Manage scheduled tasks.
Para ver mais detalhes sobre as tarefas agendadas, clique em Operation Center na barra de menus superior. Para mais informações, consulte Operation Center overview.
Perguntas frequentes: tarefa falha com o erro "JDBC driver not supported"
-
Descrição do problema
A tarefa falha com a mensagem de erro:
sql execute failed! JDBC driver not supported. -
Causa
Esse erro ocorre quando você seleciona uma fonte de dados MySQL que não foi criada no modo de string de conexão.
-
Solução
Selecione uma fonte de dados criada no modo de string de conexão. Para verificar o modo de uma fonte de dados, acesse a página Data source management conforme descrito em Configure a MySQL data source, localize a fonte de dados e clique em Modify na coluna Operation.
Perguntas frequentes: o teste de conectividade é aprovado, mas a tarefa falha
Possível causa 1: você selecionou o grupo de recursos incorreto para o teste de conectividade. Verifique se utilizou o grupo de recursos para agendamento no teste. Para mais informações, consulte Step 4: Test network connectivity.
Possível causa 2: você utilizou um grupo de recursos para agendamento no teste de conectividade, mas selecionou um diferente para executar a tarefa. Para resolver esse problema, clique em Run with Parameters
e selecione o grupo de recursos correto para agendamento.