AnalyticDB:Usar o DataWorks para agendar trabalhos SQL do XIHE

Objetivos

O agendamento de tarefas requer dependências entre as tarefas. Neste tópico, duas tarefas do AnalyticDB for MySQL são criadas no DataWorks. A figura a seguir mostra a relação entre as tabelas e as tarefas.

• Tarefa 1

  Execute uma instrução que contenha a condição o_orderstatus = 'F' para filtrar os pedidos concluídos da tabela orders e, em seguida, grave os pedidos concluídos na tabela finished_orders.

• Tarefa 2

  Execute uma instrução que contenha a condição o_totalprice > 10000 para filtrar os pedidos cujo preço total seja superior a 10.000 da tabela finished_orders e, em seguida, grave os pedidos na tabela high_value_finished_orders.

Pré-requisitos

1. Um cluster do AnalyticDB for MySQL foi criado e uma whitelist foi configurada para o cluster. Para mais informações, consulte Processo de introdução à Data Warehouse Edition.

   Nota

   Certifique-se de que o cluster do AnalyticDB for MySQL esteja na mesma região que o DataWorks.

   • Se deseja se conectar ao AnalyticDB for MySQL a partir do DataWorks usando um endpoint público, é necessário solicitar um endpoint público e, em seguida, adicionar os endereços IP da whitelist do DataWorks à whitelist do AnalyticDB for MySQL.

   • Se deseja se conectar ao AnalyticDB for MySQL a partir do DataWorks usando um endpoint de Virtual Private Cloud (VPC), é necessário criar um grupo de recursos exclusivo no DataWorks. A VPC do grupo de recursos exclusivos deve ser a mesma do cluster do AnalyticDB for MySQL.

   • Neste tópico, a orders é usada como dados de teste. Após conectar-se a um banco de dados AnalyticDB for MySQL, você pode executar as seguintes instruções para criar as tabelas de teste:

     CREATE TABLE orders(
           o_orderkey bigint NOT NULL COMMENT'',
           o_custkey int NOT NULL COMMENT'',
           o_orderstatus varchar NOT NULL COMMENT'',
           o_totalprice decimal(15,2) NOT NULL COMMENT'',
           o_orderdate date NOT NULL COMMENT'',
           o_orderpriority varchar NOT NULL COMMENT'',
           o_clerkvar char NOT NULL COMMENT'',
           o_shippriority int NOT NULL COMMENT'',
           o_comment varchar NOT NULL COMMENT'',
           dummy varchar
       )DISTRIBUTED BY HASH(o_orderkey);
     CREATE TABLE finished_orders (
            o_orderkey bigint NOT NULL,
            o_totalprice decimal(15,2) NOT NULL,
            primary key (o_orderkey)
        )DISTRIBUTED BY HASH(o_orderkey);
     
     CREATE TABLE high_value_finished_orders (
           o_orderkey bigint NOT NULL,
           o_totalprice decimal(15,2) NOT NULL,
           PRIMARY KEY (`o_orderkey`)
       )
       DISTRIBUTED BY HASH(o_orderkey);

2. Um workspace foi criado no DataWorks. Para mais informações, consulte Criar um workspace.

   Nota

   Selecione o modo padrão para o workspace.

Etapa 1. Adicionar uma fonte de dados do AnalyticDB for MySQL no DataWorks

Para mais informações, consulte Fonte de dados do AnalyticDB for MySQL 3.0.

O DataWorks implementa controle de segurança nos serviços conectados. É necessário adicionar os endpoints e portas dos bancos de dados do AnalyticDB for MySQL à whitelist do DataWorks.

Etapa 2. Criar um nó do AnalyticDB for MySQL no DataWorks

Para mais informações, consulte AnalyticDB for MySQL.

Etapa 3: Configurar dependências de tarefas

No DataWorks, as tarefas podem ser acionadas por agendamento com base em tempo ou dependências. Várias tarefas são executadas no horário especificado com base nas dependências definidas. Para mais informações, consulte Configurar propriedades de tempo e Configurar dependências de agendamento do mesmo ciclo.

Por exemplo, é possível configurar a tarefa finished_orders para ser executada todos os dias às 02:00:00. Após a execução da tarefa finished_orders, a tarefa high_value_finished_orders é executada.

Etapa 4. Publicar tarefas

Após configurar as tarefas, você pode publicá-las e fazer a manutenção. Para mais informações, consulte Implantar nós.

Após publicar uma tarefa, você pode visualizar as tarefas a serem publicadas.

Após a publicação de uma tarefa, você pode visualizar e fazer a manutenção da tarefa na página de O&M de tarefas.