DataWorks:Data Studio: Para desenvolvedores

Pré-requisitos

• A fonte de dados necessária deve estar vinculada. Para mais informações, consulte Preparações: Vincular um mecanismo de computação ou um cluster.

• Você deve ter as permissões da função Development. Para mais informações sobre como conceder permissões, consulte Adicionar membros a um workspace e gerenciar suas funções.

Contexto

O DataWorks Data Studio oferece uma interface visual de desenvolvimento para diversos mecanismos de computação, como MaxCompute, Hologres, EMR e CDH. Ele suporta desenvolvimento inteligente de código, limpeza e processamento de dados, além de implantação padronizada de tarefas, garantindo um desenvolvimento de dados eficiente e estável. Para mais informações, consulte Data Studio (legacy).

Normalmente, o processo de gravar dados brutos de negócios no DataWorks e processá-los em uma tabela de resultados final inclui as seguintes etapas:

1. Crie várias tabelas de dados no DataWorks. Por exemplo:

   • Uma tabela de origem para armazenar dados sincronizados de outras fontes de dados.

   • Uma tabela de resultados para armazenar dados limpos e processados pelo DataWorks.

2. Crie uma tarefa de sincronização para sincronizar dados de negócios com a tabela de origem.

3. Crie um nó de computação para limpar e processar os dados da tabela de origem em camadas e gravar o resultado de cada camada na tabela de resultados correspondente.

Alternativamente, após criar uma tabela, carregue dados locais diretamente na tabela de origem no DataWorks. Em seguida, use um nó de computação para limpar e processar os dados e armazenar os resultados na tabela de resultados. O exemplo deste tópico envolve o carregamento de dados locais e sua limpeza com um nó de computação.

Acessar o Data Studio

Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

Procedimento

1. Etapa 1: Criar um workflow.

   O desenvolvimento de dados é organizado em torno de workflows. Crie um workflow antes de começar a desenvolver código.

2. Etapa 2: Criar tabelas.

   O DataWorks permite criar tabelas visualmente, exibidas em uma estrutura de diretórios. Antes de iniciar o desenvolvimento de dados, crie uma tabela no mecanismo de computação para armazenar os resultados da limpeza de dados.

3. Etapa 3: Criar um nó.

   O DataWorks encapsula tarefas de diferentes mecanismos de computação em tipos distintos de nós. Selecione o tipo de nó apropriado conforme as necessidades do seu negócio.

4. Etapa 4: Editar o nó.

   Na página de edição do nó, escreva sua lógica de negócios usando a sintaxe do mecanismo de banco de dados do nó.

5. Etapa 5: Definir configurações de agendamento para o nó.

   Defina as propriedades de agendamento do nó para executá-lo periodicamente.

6. Etapa 6: Depurar o código.

   O DataWorks oferece três métodos para depurar seu código e verificar sua lógica: Execução rápida para trechos de código, Executar e Execução avançada.

7. Etapa 7: Salvar e enviar o nó.

   Após depurar o nó, salve-o e envie-o.

8. Etapa 8: Executar teste de fumaça.

   Para garantir que as tarefas de produção sejam executadas com eficiência e evitar desperdício de recursos de computação, execute um teste de fumaça na sua tarefa no ambiente de desenvolvimento para verificar sua correção antes da implantação.

9. Etapa 9: Implantar a tarefa.

   O DataWorks executa apenas tarefas agendadas implantadas no ambiente de produção. Após o sucesso do teste de fumaça, implante a tarefa no sistema de agendamento de produção.

Etapa 1: Criar um workflow

O DataWorks organiza o desenvolvimento de dados em torno de workflows. Os workflows utilizam painéis semelhantes a contêineres para nós de desenvolvimento, agrupando ferramentas relacionadas, otimizações e ações de gerenciamento em torno de um objeto central. Essa abordagem simplifica o desenvolvimento e o gerenciamento. Agrupe tarefas de negócios relacionadas em um único workflow para atender aos seus requisitos.

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Crie um workflow.

   Crie um workflow de duas maneiras:

   • Método 1: Passe o mouse sobre o ícone e clique em Create Workflow.

   • Método 2: Na árvore de navegação à esquerda do Data Studio, clique com o botão direito em Workflow e selecione Create Workflow.

3. Insira um nome e uma descrição para o workflow e clique em Create.

   Este tutorial cria um workflow chamado Create your first scheduled task. Em um cenário real, planeje seus workflows com base nos requisitos do seu negócio.

   Nota

   Para mais informações sobre workflows, consulte Criar e gerenciar workflows.

Etapa 2: Criar tabelas

Os nós do Data Studio limpam e processam seus dados de origem. Portanto, crie primeiro tabelas no mecanismo de computação para armazenar os resultados da limpeza de dados e definir a estrutura da tabela.

1. Crie as tabelas.

   1. No workflow criado na Etapa 1, expanda o subdiretório, clique com o botão direito em MaxCompute > Table e selecione Create Table.

   2. Configure o nome da tabela, a instância do mecanismo e outras informações.

   Neste tutorial, as duas tabelas a seguir são criadas.

   Nome da tabela	Descrição
   bank_data	Armazena dados brutos de negócios.
   result_table	Armazena os resultados dos dados limpos.

   Nota

   • Para as instruções de criação de tabela, consulte Instruções de criação de tabela.

   • Para mais informações sobre como criar tabelas visualmente para vários mecanismos, como criar tabelas do MaxCompute ou EMR, consulte Criar uma tabela.

2. Configure a estrutura da tabela.

   Acesse a página de edição da tabela, alterne para o modo DDL e use instruções DDL para configurar a estrutura da tabela. Após gerar a estrutura da tabela, insira um Display Name para a tabela na seção General. Em seguida, envie-a tanto para o ambiente de desenvolvimento quanto para o ambiente de produção. Após enviar a tabela, visualize-a no projeto da fonte de dados do ambiente correspondente. Para visualizar as informações da fonte de dados vinculada para cada ambiente, consulte Vincular recursos de computação do MaxCompute.

   Nota

   • Operações de tabela, como criação e atualizações, só entram em vigor no mecanismo de computação após o envio para o ambiente correspondente.

   • Também é possível configurar a estrutura da tabela visualmente com base nas necessidades do seu negócio e nas instruções na tela. Para mais informações sobre como criar tabelas visualmente, consulte Criar e usar tabelas do MaxCompute.

   A instrução a seguir serve como referência para gerar a estrutura da tabela bank_data.

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT 'Age',
    job             STRING COMMENT 'Job type',
    marital         STRING COMMENT 'Marital status',
    education       STRING COMMENT 'Education level',
    default         STRING COMMENT 'Whether the user has a credit card',
    housing         STRING COMMENT 'Housing loan',
    loan            STRING COMMENT 'Personal loan',
    contact         STRING COMMENT 'Contact method',
    month           STRING COMMENT 'Month of the year',
    day_of_week     STRING COMMENT 'Day of the week',
    duration        STRING COMMENT 'Last contact duration, in seconds',
    campaign        BIGINT COMMENT 'Number of contacts performed during this campaign',
    pdays           DOUBLE COMMENT 'Days since the last contact from a previous campaign',
    previous        DOUBLE COMMENT 'Number of contacts performed before this campaign',
    poutcome        STRING COMMENT 'Outcome of the previous marketing campaign',
    emp_var_rate    DOUBLE COMMENT 'Employment variation rate',
    cons_price_idx  DOUBLE COMMENT 'Consumer price index',
    cons_conf_idx   DOUBLE COMMENT 'Consumer confidence index',
    euribor3m       DOUBLE COMMENT 'Euribor 3-month rate',
    nr_employed     DOUBLE COMMENT 'Number of employees',
    y               BIGINT COMMENT 'Whether the client has subscribed to a term deposit'
   );

   A instrução a seguir serve como referência para gerar a estrutura da tabela result_table.

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT 'Education level',
   num BIGINT COMMENT 'Number of people'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. Carregue os dados.

   Armazene seus dados brutos de negócios em uma tabela do DataWorks. Neste exemplo, o arquivo local banking.txt é carregado na tabela bank_data no DataWorks para simular um cenário real de gravação de dados. No assistente de importação de dados, selecione primeiro a tabela de destino bank_data, confirme se o esquema da tabela inclui campos como age, job, marital, education, default e housing, e defina os parâmetros de partição. Em seguida, carregue o arquivo local banking.txt, defina o formato do arquivo como CSV, o delimitador como vírgula, o conjunto de caracteres como GBK e a linha inicial de importação como 1, e marque a caixa de seleção 'First row is header'. Por fim, selecione Match by Name como método de mapeamento de campos, confirme se o mapeamento entre os campos de origem e destino está correto e clique em Import Data para concluir a operação. Para mais informações sobre como carregar dados, consulte Carregar dados locais na tabela bank_data.

Etapa 3: Criar um nó

1. Crie um nó.

   Crie um nó de duas maneiras:

   • Método 1: Criar a partir da árvore de navegação.

     1. Na árvore de navegação, localize o workflow criado na Etapa 1 em Workflow.

     2. Clique com o botão direito no mecanismo desejado e selecione um nó apropriado em Create Node.

   • Método 2: Criar a partir do painel do workflow.

     1. Na árvore de navegação, localize o workflow criado na Etapa 1 em Workflow.

     2. Clique duas vezes no workflow para abrir seu painel.

     3. No painel de navegação à esquerda do painel, clique no nó desejado ou arraste-o para a tela.

2. Configure a instância do mecanismo do nó, o nome e outras definições.

   Este tutorial cria um nó ODPS SQL chamado result_table, que tem o mesmo nome da tabela de resultados criada na Etapa 2.

   Nota

   Ao usar nós do DataWorks para desenvolvimento de dados, você limpa dados com um nó de desenvolvimento e armazena os resultados em uma tabela de resultados. Nomeie o nó com o mesmo nome da tabela de resultados que ele preenche para facilitar a localização dos dados da tabela produzidos pelo nó.

   Na seção Common Nodes do painel do Data Studio, arraste o nó ODPS SQL para a tela à direita para criá-lo.

Etapa 4: Editar o nó

Localize o nó criado na Etapa 3 na árvore de navegação do workflow ou no painel do workflow. Clique duas vezes no nó para abrir o editor. Com base no tipo de nó, escreva sua lógica de negócios usando a sintaxe do banco de dados correspondente.

--@exclude_output=xc_DPE_E2.result_table
--@exclude_input=bank_data
--odps sql
--***********************************************************--
--author:xxx
--create time:2022-08-11 14:33:23
--***********************************************************--
INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
    , COUNT(marital) AS num
FROM bank_data
WHERE  day='${day}' and hour='${hour}'
GROUP BY education;

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

Etapa 5: Definir configurações de agendamento

Etapa 6: Depurar o código

Etapa 7: Salvar e enviar o nó

1. Clique no ícone na barra de ferramentas para salvar a configuração do nó.

2. Clique no ícone na barra de ferramentas para enviar o nó ao ambiente de desenvolvimento.

Etapa 8: Executar teste de fumaça

Etapa 9: Implantar a tarefa

Em um workspace de modo padrão, quaisquer alterações enviadas no Data Studio, como criação, atualização ou exclusão de nós, recursos e funções, são enviadas para a página de implantação de tarefas para aguardar implantação. Para aplicar essas alterações, acesse Task Deployment > Create Deploy Task e crie um pacote de implantação para liberá-las no ambiente de produção. As alterações tornam-se ativas somente após uma implantação bem-sucedida. Para mais informações, consulte Implantar tarefas.

Próximas etapas

Acesse Operation Center > Auto Triggered Task O&M para visualizar as tarefas de agendamento em lote implantadas no ambiente de produção e realizar operações relacionadas de O&M. Para mais informações, consulte O&M básico para tarefas periódicas.