DataWorks:Desenvolvimento com Notebook

Antes de começar, verifique se os seguintes requisitos foram atendidos:

• O novo Data Studio está ativado no seu workspace.

• Um grupo de recursos serverless foi criado. A execução de Notebooks no ambiente de produção exige um grupo de recursos serverless.

• Uma instância de ambiente de desenvolvimento pessoal foi criada. Caso seu Notebook contenha células Python, essa instância é obrigatória para executá-las e depurá-las no ambiente de desenvolvimento.

  Se ainda não tiver criado uma, consulte Criar uma instância de ambiente de desenvolvimento pessoal .

Etapas:

1. Crie um nó de Notebook

   1. Acesse o Data Studio. Em Data Development, dentro de Workspace Directories, crie um nó de Notebook.

   2. Nomeie o Notebook (por exemplo, hello_notebook) e envie-o.

2. Selecione um ambiente de desenvolvimento pessoal

   Na barra de navegação superior, clique em Personal Development Environment e selecione sua instância de ambiente de desenvolvimento pessoal na lista suspensa.

3. Escreva uma célula Python para definir uma variável

   Adicione uma célula Python e insira o código abaixo. Esta etapa define uma variável de cidade para a consulta SQL da próxima etapa.

   # Define a variable for subsequent SQL queries
   city = 'Beijing'
   print(f"Defined city variable city = {city}")

4. Escreva uma célula SQL para consultar dados

   1. Abaixo da primeira célula, adicione uma célula SQL.

   2. No canto inferior direito da célula, altere o tipo de SQL para MaxCompute SQL.

   3. Insira o seguinte código SQL. O código referencia a variável city definida na célula Python anterior por meio da sintaxe ${city}.

      -- Query using the variable defined in Python  
      SELECT '${city}' AS city;

5. Execute todas as células e verifique a saída

   1. Clique em Run All na barra de ferramentas do Notebook.

   2. Observe a saída de cada célula:

      • A célula Python imprime Defined city variable city = Beijing.

      • A célula SQL exibe o resultado da consulta em uma tabela logo abaixo.

Você criou e executou um Notebook que transfere dados entre Python e SQL.

Modos de Notebook

O DataWorks Notebook oferece suporte a dois modos:

• Modo SQL e Markdown: Contém apenas células SQL e Markdown. Ideal para consultas puras de dados e documentação. Nesse modo, basta um grupo de recursos serverless para executar tanto no ambiente de desenvolvimento quanto no de produção, sem necessidade de instância de ambiente de desenvolvimento pessoal. Trata-se do modo padrão, e o Notebook exibe SQL Kernel no canto superior direito.

• Modo Completo (Python + SQL + Markdown): Permite o uso combinado de células Python, SQL e Markdown. Recomendado para cenários complexos que exigem processamento, análise e visualização de dados. No ambiente de desenvolvimento, é necessária uma instância de ambiente de desenvolvimento pessoal para executar códigos Python. Após selecionar esse ambiente, o canto superior direito do Notebook exibirá (a versão do Python serve apenas como referência).

Ambiente de desenvolvimento versus ambiente de produção

Recursos de computação e kernels

No DataWorks Notebook, a execução de código depende de dois conceitos fundamentais: recursos de computação e kernels.

• Recurso de computação: É o motor de computação back-end responsável por executar e processar efetivamente as tarefas de dados. Ele define o ambiente de tempo de execução, o poder de processamento e a lógica de execução das tarefas.

  • Definição: Uma instância de serviço de computação independente e agendável, como um projeto do MaxCompute ou um cluster EMR Serverless Spark.

  • Finalidade: Fornece o poder de computação real para consultas SQL, jobs Spark e outras tarefas.

  • Seleção: É obrigatório associar explicitamente uma tarefa a um recurso de computação específico antes da execução.

• Kernel: Componente do ambiente Notebook que analisa e executa o código escrito em uma célula. Determina qual linguagem de programação a célula aceita.

  • Kernel Python:

    • Funcionalidade: Executa código escrito em Python. Suporta lógicas complexas, como processamento de dados, implementação de algoritmos e agendamento de tarefas.

    • Modo de interação: No kernel Python, utilize Magic Command (como %sql) ou bibliotecas SDK para enviar tarefas de computação encapsuladas (como instruções SQL) a um recurso de computação específico, obtendo os resultados para análises posteriores.

  • Kernel SQL:

    • Funcionalidade: Interpreta e envia diretamente consultas SQL.

    • Modo de interação: Encaminha instruções SQL diretamente ao recurso de computação back-end (como EMR Spark SQL ou MaxCompute SQL Session) especificado para a célula.

  • Kernel Markdown:

    • Funcionalidade: Renderiza documentos rich text em formato Markdown. Não executa nenhuma lógica de computação.

Resumo:

• O kernel atua como o interpretador de linguagem front-end, definindo o que você escreve (Python ou SQL).

• O recurso de computação funciona como o motor de execução back-end, determinando onde o código roda (no MaxCompute ou Spark).

Tipos de diretório e casos de uso

O local onde o Notebook é criado determina seu modelo de colaboração, permissões e processo de implantação.

Gerenciamento de células

• Adicionar uma célula: Passe o mouse sobre a borda superior ou inferior de uma célula existente e clique no botão + SQL que aparecer. Alternativamente, use os botões na barra de ferramentas superior.

• Alterar o tipo da célula: Clique no rótulo de tipo no canto inferior direito da célula (por exemplo, Python) e escolha um novo tipo no menu, como SQL ou Markdown. O código existente é preservado ao trocar de tipo, mas deve ser atualizado manualmente para corresponder à nova linguagem.

• Mover uma célula: Passe o mouse sobre a barra vertical azul à esquerda da célula, mantenha pressionado e arraste para reordenar.

• Executar uma célula:

  • Executar uma única célula: Clique no botão Run à esquerda da célula.

  • Executar todas as células: Clique no botão Run All na barra de ferramentas do Notebook.

Passagem de variáveis

Visualizar linhagem (beta)

Quando o código do Notebook se torna complexo, envolvendo leitura e escrita em múltiplas tabelas ou arquivos, compreender o fluxo de dados pode ser difícil. O recurso de análise de linhagem analisa estaticamente o código Python nos Notebooks (com suporte ao framework MaxFrame) para ajudar a rastrear rapidamente a origem e o destino dos dados.

Programação assistida pelo Copilot

O DataWorks Copilot é um assistente inteligente de programação integrado que ajuda a gerar e explicar códigos.

Como invocar o Copilot:

• Clique no ícone Copilot no canto superior esquerdo da célula selecionada.

• Clique com o botão direito dentro de uma célula SQL e selecione Copilot.

• Use o atalho de teclado Cmd+I (Mac) ou Ctrl+I (Windows).

Etapa 1: Configurar parâmetros de agendamento (agendamento parametrizado)

Caso precise que os parâmetros do Notebook mudem dinamicamente a cada execução agendada (por exemplo, processando dados de partições diferentes diariamente), configure o agendamento parametrizado.

1. Marcar uma célula de parâmetros: Na célula Python que contém as definições principais de parâmetros, clique no menu ... no canto superior direito e selecione Mark Cell as Parameters. Uma tag parameters será adicionada à célula, indicando que ela é o ponto de entrada de parâmetros para a tarefa agendada.

   

2. Configurar parâmetros de agendamento:

   1. No painel lateral direito do Notebook, clique em Schedule Settings.

   2. Na seção Scheduling Parameters, atribua valores às variáveis definidas no código (como var).

      

Quando o sistema de agendamento executar a tarefa automaticamente, o valor real do parâmetro var no código será substituído dinamicamente pelo valor configurado nos parâmetros de agendamento.

Etapa 2: Configurar o ambiente de execução e recursos

1. Configurar uma imagem: Nas configurações de agendamento, selecione uma imagem que contenha todas as dependências necessárias ao Notebook. Isso é fundamental para garantir a execução bem-sucedida no ambiente de produção.

   Importante

   Caso tenha instalado pacotes Python via pip install ou métodos similares na instância de ambiente de desenvolvimento pessoal, será necessário criar uma imagem do DataWorks a partir do seu ambiente de desenvolvimento pessoal e selecionar essa imagem personalizada nas configurações de agendamento. Isso assegura que o ambiente de produção tenha as mesmas dependências do ambiente de desenvolvimento.

2. Configurar um grupo de recursos: Selecione o grupo de recursos para execução da tarefa. Para grupos de recursos serverless, recomenda-se configurar no máximo 16CU para evitar falhas na inicialização da tarefa devido a recursos insuficientes. O máximo suportado para uma única tarefa é 64CU.

3. Configurar uma função associada: Para controle de acesso granular, associe uma função RAM específica ao nó para que ele seja executado sob essa identidade. Para mais informações, consulte Configurar uma função associada para um nó.

Etapa 3: Implantar o nó

Apenas nós em diretórios do workspace podem ser implantados e agendados periodicamente.

• Para Notebooks em diretórios do workspace: Após concluir a configuração, clique em Deploy na barra de ferramentas superior.

• Para Notebooks em diretórios pessoais: Clique primeiro em Save para Submit to Workspace Directory e, em seguida, implante o nó.

Após a implantação bem-sucedida, monitore e gerencie suas tarefas de Notebook na página Scheduled Tasks no Operation Center.