DataWorks:Desenvolvimento básico de notebooks

Pré-requisitos

• O Data Studio deve estar ativado no seu workspace.

• É necessário ter um grupo de recursos serverless.

• Uma instância de ambiente de desenvolvimento pessoal é obrigatória para notebooks com células Python.

  Caso ainda não tenha criado uma: Create a personal development environment instance .

Procedimento:

1. Crie um nó de notebook

   1. Acesse o Data Studio. Na seção DataStudio do Project Directory, crie um novo nó de notebook.

   2. Insira um nome para o notebook, como hello_notebook, e envie-o.

2. Selecione um ambiente de desenvolvimento pessoal

   Na barra de navegação superior, clique em Personal development environment e selecione sua instância de ambiente de desenvolvimento pessoal na lista suspensa.

3. Escreva uma célula Python para definir um parâmetro

   Defina uma variável de cidade para a consulta SQL.

   # Define a variable for the subsequent SQL query
   city = 'Beijing'
   print(f"Defined city variable city = {city}")

4. Escreva uma célula SQL para consultar dados

   1. Abaixo da primeira célula, adicione uma nova célula SQL.

   2. No canto inferior direito da célula, altere o tipo de SQL para MaxCompute SQL.

   3. Insira o seguinte SQL. Ele referencia a variável city da célula Python usando a sintaxe ${city}.

      -- Query data using the variable defined in Python  
      SELECT '${city}' AS city;

5. Execute as células e visualize os resultados

   1. Clique no botão Run All na barra de ferramentas do notebook.

   2. Acompanhe a execução de cada célula:

      • A célula Python exibe Defined city variable city = Beijing.

      • Uma tabela com o resultado da consulta aparece abaixo da célula SQL.

Você criou e executou um notebook com interação entre Python e SQL.

Modos de notebook

O DataWorks Notebook opera em dois modos:

• Modo SQL e Markdown (padrão): Suporta apenas células SQL e Markdown para consulta de dados e documentação. Requer somente um grupo de recursos serverless, sem necessidade de instância de ambiente de desenvolvimento pessoal. O SQL Kernel aparece no canto superior direito.

• Modo Completo (Python + SQL + Markdown): Aceita células Python, SQL e Markdown para processamento, análise e visualização de dados. A execução de código Python exige uma instância de ambiente de desenvolvimento pessoal. Após selecioná-la, a versão do kernel surge no canto superior direito, conforme ilustrado em (versão apenas para referência).

Ambiente de desenvolvimento versus ambiente de produção

Recursos de computação e kernels

Dois conceitos determinam a execução do código: recurso de computação e kernel.

• Recurso de computação: Engine de backend responsável por executar e processar tarefas de dados, definindo o ambiente de execução e o poder computacional.

  • Definição: Uma instância de service de computação independente e agendável, como um projeto MaxCompute ou um cluster EMR Serverless Spark.

  • Função: Fornece o poder de processamento real para consultas SQL, jobs Spark e outras tarefas.

  • Seleção: Cada tarefa deve ser vinculada a um recurso de computação específico.

• Kernel: Analisa e executa o código dentro de uma célula, determinando a linguagem de programação utilizada.

  • Kernel Python:

    • Função: Executa código Python, suportando lógicas complexas para processamento de dados, implementação de algoritmos e orquestração de tarefas.

    • Modelo de interação: Dentro do kernel Python, use Magic Commands (como %sql) ou SDKs para submeter uma tarefa computacional (como uma consulta SQL) a um recurso de computação específico. Em seguida, recupere os resultados para análises adicionais.

  • Kernel SQL:

    • Função: Interpreta e submete diretamente consultas escritas em SQL.

    • Modelo de interação: O kernel SQL encaminha instruções SQL diretamente ao recurso de computação de backend designado (por exemplo, uma sessão EMR Spark SQL ou MaxCompute SQL) para execução.

  • Kernel Markdown:

    • Função: Renderiza rich text formatado em Markdown. Não executa nenhuma lógica computacional.

Resumo da relação:

• O kernel atua como o interpretador de linguagem de frontend, definindo "o que você escreve" (Python ou SQL).

• O recurso de computação funciona como a engine de execução de backend, definindo "onde o código roda" (no MaxCompute ou Spark).

Tipos de diretório e casos de uso

O local onde você cria o notebook define seu escopo de colaboração, permissões e opções de implantação.

Gerenciamento de células

• Adicionar uma célula: Passe o mouse sobre a borda superior ou inferior de uma célula e clique em um botão como + SQL, ou utilize os botões da barra de ferramentas.

• Alterar o tipo da célula: Clique no identificador de tipo (ex.: Python) no canto inferior direito e escolha um novo tipo, como SQL ou Markdown. O código é preservado, mas pode exigir ajustes.

• Mover uma célula: Passe o mouse sobre a linha vertical azul à esquerda da célula, clique e arraste para reordená-la.

• Executar células:

  • Executar uma única célula: Clique no ícone Run à esquerda da célula.

  • Executar todas as células: Clique no botão Run All na barra de ferramentas superior do notebook.

Passagem de parâmetros

Visualize a linhagem de dados (Beta)

O recurso de linhagem de dados esclarece o fluxo de informações por meio da análise estática de código Python (com suporte ao framework MaxFrame) no notebook.

Programação assistida pelo Copilot

O DataWorks Copilot é um assistente de programação com IA integrado que ajuda a gerar e explicar códigos.

Como invocar:

• Clique no ícone Copilot no canto superior esquerdo da célula selecionada.

• Clique com o botão direito dentro de uma célula SQL e selecione Copilot.

• Use o atalho de teclado Cmd+I (macOS) ou Ctrl+I (Windows).

1. Configure parâmetros de agendamento (agendamento parametrizado)

Configure o agendamento parametrizado para que os parâmetros do notebook mudem dinamicamente a cada execução. Por exemplo, processe uma partição diferente a cada dia.

1. Marque a célula de parâmetros: Na célula Python com definições de parâmetros, clique em ... no canto superior direito e selecione Mark Cell as Parameters. Uma tag parameters marca a célula como ponto de entrada de parâmetros.

2. Configure os parâmetros de agendamento:

   1. No painel à direita do notebook, clique em Scheduling Settings.

   2. Na área Scheduling Parameters, atribua um valor às variáveis definidas no seu código, como var.

      Por exemplo, defina o valor do parâmetro como $[yyyymmdd]. Durante a execução do agendamento, ele será substituído dinamicamente pela data real.

Quando o sistema de agendamento executa automaticamente uma tarefa, o valor real do parâmetro var no código é substituído dinamicamente pelo valor configurado nos parâmetros de agendamento.

2. Configure o ambiente de execução e recursos

1. Configure uma imagem: Na configuração de Scheduling, selecione uma imagem com todas as dependências exigidas pelo notebook. Isso garante a execução bem-sucedida em produção.

   Importante

   Caso tenha instalado pacotes Python usando pip install, você deve crie uma imagem do DataWorks a partir do ambiente de desenvolvimento pessoal para garantir que a produção tenha as mesmas dependências. Selecione essa imagem na configuração de scheduling.

2. Resource Group: Selecione o grupo de recursos para a tarefa. Para grupos de recursos serverless, configure no máximo 16CU para evitar falhas de inicialização. Máximo por tarefa: 64CU.

3. Configure uma função associada: Associe uma função RAM ao nó para controle granular de permissões. Associate a role: Securely access other cloud resources.

3. Implante o nó

Apenas nós nos Workspace Directories podem ser implantados e agendados.

• Para notebooks nos Workspace Directories: Após concluir a configuração, clique no botão Publish na barra de ferramentas superior.

• Para notebooks no seu Personal Directory: Primeiro clique no botão Save e depois envie para o projeto antes de implantá-lo.

Após a implantação, monitore sua tarefa de notebook na página Auto Triggered Nodes no Operation Center.