AnalyticDB:Agendar SQL XIHE com o DataWorks

Objetivo

A definição de dependências entre tarefas é um recurso fundamental do agendamento. Este tutorial demonstra como criar duas tarefas dependentes do AnalyticDB for MySQL no DataWorks. A figura a seguir ilustra a relação entre as tabelas e as tarefas.

• Task 1

  Limpe a tabela orders filtrando os pedidos concluídos, onde o_orderstatus = 'F', e grave os resultados na tabela finished_orders.

• Task 2

  Consulte a tabela finished_orders para obter pedidos com preço total superior a 10.000, onde o_totalprice > 10000, e grave os resultados na tabela high_value_finished_orders.

Pré-requisitos

1. Conclua a configuração inicial, incluindo a criação de um cluster e a configuração de uma lista de permissões, seguindo as instruções em Quick start for the Data Warehouse Edition.

   Nota

   Certifique-se de que seu cluster do AnalyticDB for MySQL e o workspace do DataWorks estejam na mesma região.

   • Se você se conectar ao AnalyticDB for MySQL pelo DataWorks usando um endpoint público do AnalyticDB for MySQL, será necessário primeiro apply for a public endpoint e, em seguida, adicionar a DataWorks whitelist à AnalyticDB for MySQL whitelist.

   • Se a conexão com o AnalyticDB for MySQL pelo DataWorks ocorrer por meio de um endereço VPC para acessar o AnalyticDB for MySQL, adicione primeiro um exclusive resource group mode no DataWorks. Além disso, a VPC do grupo de recursos exclusivo deve ser a mesma do AnalyticDB for MySQL.

   • Este tutorial utiliza a tabela orders do . Após conectar-se ao banco de dados do AnalyticDB for MySQL, execute as instruções SQL a seguir para criar as tabelas necessárias.

     CREATE TABLE orders(
           o_orderkey bigint NOT NULL COMMENT'',
           o_custkey int NOT NULL COMMENT'',
           o_orderstatus varchar NOT NULL COMMENT'',
           o_totalprice decimal(15,2) NOT NULL COMMENT'',
           o_orderdate date NOT NULL COMMENT'',
           o_orderpriority varchar NOT NULL COMMENT'',
           o_clerkvar char NOT NULL COMMENT'',
           o_shippriority int NOT NULL COMMENT'',
           o_comment varchar NOT NULL COMMENT'',
           dummy varchar
       )DISTRIBUTED BY HASH(o_orderkey);
     CREATE TABLE finished_orders (
            o_orderkey bigint NOT NULL,
            o_totalprice decimal(15,2) NOT NULL,
            primary key (o_orderkey)
        )DISTRIBUTED BY HASH(o_orderkey);
     
     CREATE TABLE high_value_finished_orders (
           o_orderkey bigint NOT NULL,
           o_totalprice decimal(15,2) NOT NULL,
           PRIMARY KEY (`o_orderkey`)
       )
       DISTRIBUTED BY HASH(o_orderkey);

2. Create a workspace no DataWorks.

   Nota

   Selecione standard mode para o workspace.

Etapa 1: Adicionar uma source de dados do AnalyticDB for MySQL no DataWorks

Para obter instruções detalhadas, consulte AnalyticDB for MySQL 3.0 data source.

Por motivos de segurança, o DataWorks controla quais services podem estabelecer conexões. Adicione o endpoint e a porta do seu banco de dados AnalyticDB for MySQL a uma lista de permissões.

Na página Security Settings, na seção Sandbox Whitelist, clique em Add Sandbox Whitelist para adicionar o endpoint de conexão e a porta (como 3306) do AnalyticDB for MySQL à lista de permissões.

Etapa 2: Criar um nó do AnalyticDB for MySQL

Para obter instruções detalhadas, consulte AnalyticDB for MySQL.

Etapa 3: Configurar dependências de tarefas

O DataWorks aciona tarefas com base em time properties ou em uma same-cycle scheduling dependency, permitindo executar múltiplas tarefas em um horário especificado e em uma ordem específica.

Por exemplo, agende a tarefa finished_orders para execução diária às 02:00. Em seguida, configure a tarefa high_value_finished_orders para rodar somente após a conclusão bem-sucedida da tarefa finished_orders.

Etapa 4: Implantar nós

Após configurar as tarefas e suas dependências, implante-as. Para mais detalhes, consulte Deploy a node.

Depois de enviar os nós para implantação, visualize o status deles.

Quando a implantação for concluída com sucesso, acesse a página de O&M de tarefas para monitorar e gerenciar suas tarefas.