DataWorks:Basic notebook development

Requisitos previos

• La función Data Studio está habilitada para su espacio de trabajo.

• Usted cuenta con un serverless resource group.

• Usted cuenta con una instancia de entorno de desarrollo personal (obligatoria para notebooks con celdas de Python).

  Si aún no ha creado una: Create a personal development environment instance .

Procedimiento:

1. Cree un nodo de notebook

   1. Vaya a Data Studio. En la sección DataStudio del Project Directory, cree un nuevo nodo de notebook.

   2. Introduzca un nombre para el notebook, por ejemplo, hello_notebook, y envíelo.

2. Seleccione un entorno de desarrollo personal

   En la barra de navegación superior, haga clic en Personal development environment y seleccione su instancia de entorno de desarrollo personal en la lista desplegable.

3. Escriba una celda de Python para definir un parámetro

   Defina una variable de ciudad para la consulta SQL.

   # Define a variable for the subsequent SQL query
   city = 'Beijing'
   print(f"Defined city variable city = {city}")

4. Escriba una celda de SQL para consultar datos

   1. Debajo de la primera celda, agregue una nueva celda de SQL.

   2. En la esquina inferior derecha de la celda, cambie el tipo de SQL a MaxCompute SQL.

   3. Introduzca el siguiente código SQL. Este hace referencia a la variable city de la celda de Python mediante la sintaxis ${city}.

      -- Query data using the variable defined in Python  
      SELECT '${city}' AS city;

5. Ejecute las celdas y consulte los resultados

   1. Haga clic en el botón Run All de la barra de herramientas del notebook.

   2. Observe la ejecución de cada celda:

      • La celda de Python muestra Defined city variable city = Beijing.

      • Debajo de la celda de SQL se muestra una tabla con el resultado de la consulta.

Con esto, usted creó y ejecutó un notebook con interacción entre Python y SQL.

Modos de notebook

DataWorks Notebook funciona en dos modos:

• Modo SQL y Markdown (predeterminado): admite únicamente celdas de SQL y Markdown para consultar datos y documentar. Solo requiere un serverless resource group, sin necesidad de una instancia de entorno de desarrollo personal. En la esquina superior derecha aparece SQL Kernel.

• Modo completo (Python + SQL + Markdown): es compatible con celdas de Python, SQL y Markdown para procesar datos, analizarlos y visualizarlos. Ejecutar código Python requiere una instancia de entorno de desarrollo personal. Una vez que seleccione una, la versión del kernel aparece en la esquina superior derecha, por ejemplo, (la versión es solo de referencia).

Entorno de desarrollo frente a entorno de producción

Recursos de cómputo y kernels

Dos conceptos determinan cómo se ejecuta el código: el recurso de cómputo y el kernel.

• Recurso de cómputo: motor de cómputo de backend que ejecuta y procesa las tareas de datos. Define el entorno de ejecución y la capacidad de procesamiento.

  • Definición: instancia de servicio de cómputo independiente y programable, como un proyecto de MaxCompute o un clúster de EMR Serverless Spark.

  • Función: proporciona la capacidad de cómputo real para consultas SQL, trabajos de Spark y otras tareas.

  • Selección: vincule cada tarea a un recurso de cómputo específico.

• Kernel: analiza sintácticamente y ejecuta el código de una celda. Determina qué lenguaje de programación se utiliza.

  • Kernel de Python:

    • Función: ejecuta código Python y admite lógica compleja para procesar datos, implementar algoritmos y orquestar tareas.

    • Modelo de interacción: dentro del kernel de Python, usted utiliza Magic Commands (como %sql) o SDK para enviar una tarea de cómputo (por ejemplo, una consulta SQL) a un recurso de cómputo específico. Después recupera los resultados para analizarlos más a fondo.

  • Kernel de SQL:

    • Función: interpreta y envía directamente las consultas escritas en SQL.

    • Modelo de interacción: el kernel de SQL reenvía las instrucciones SQL directamente al recurso de cómputo de backend designado (por ejemplo, una sesión de EMR Spark SQL o de MaxCompute SQL) para su ejecución.

  • Kernel de Markdown:

    • Función: renderiza texto enriquecido con formato Markdown. No ejecuta ninguna lógica de cómputo.

Resumen de la relación:

• El kernel es el intérprete de lenguaje del frontend que determina "qué escribe usted" (Python o SQL).

• El recurso de cómputo es el motor de ejecución del backend que determina "dónde se ejecuta el código" (en MaxCompute o en Spark).

Tipos de directorios y casos de uso

El lugar donde usted crea un notebook define su alcance de colaboración, sus permisos y sus opciones de despliegue.

Gestión de celdas

• Agregar una celda: coloque el cursor sobre el borde superior o inferior de una celda y haga clic en un botón como + SQL, o bien utilice los botones de la barra de herramientas.

• Cambiar el tipo de celda: haga clic en el identificador de tipo (por ejemplo, Python) en la esquina inferior derecha y seleccione uno nuevo, como SQL o Markdown. El código se conserva, pero podría requerir modificaciones.

• Mover una celda: coloque el cursor sobre la línea vertical azul a la izquierda de una celda. Luego, haga clic y arrástrela para cambiar su orden.

• Ejecutar celdas:

  • Ejecutar una sola celda: haga clic en el ícono Run a la izquierda de la celda.

  • Ejecutar todas las celdas: haga clic en el botón Run All de la barra de herramientas superior del notebook.

Paso de parámetros

Consulte el linaje de datos (Beta)

La función de linaje de datos aclara el flujo de información mediante el análisis estático del código Python (con compatibilidad del framework MaxFrame) en el notebook.

Programación asistida por Copilot

DataWorks Copilot es un asistente de programación con IA integrado que le ayuda a generar y explicar código.

Cómo invocarlo:

• Haga clic en el ícono de Copilot en la esquina superior izquierda de la celda seleccionada.

• Haga clic derecho dentro de una celda de SQL y seleccione Copilot.

• Utilice el atajo de teclado Cmd+I (macOS) o Ctrl+I (Windows).

1. Configure los parámetros de programación (programación parametrizada)

Configure la programación parametrizada para que los parámetros del notebook cambien dinámicamente en cada ejecución. Por ejemplo, usted puede procesar una partición distinta cada día.

1. Marque la celda de parámetros: en la celda de Python que contiene las definiciones de parámetros, haga clic en ... en la esquina superior derecha y seleccione Mark Cell as Parameters. La etiqueta parameters marca la celda como punto de entrada de los parámetros.

2. Configure los parámetros de programación:

   1. En el panel derecho del notebook, haga clic en Scheduling Settings.

   2. En el área Scheduling Parameters, asigne un valor a las variables definidas en su código, como var.

      Por ejemplo, establezca el valor del parámetro en $[yyyymmdd]. Durante la ejecución programada, este valor se reemplaza dinámicamente por la fecha real.

Cuando el sistema de programación ejecuta una tarea automáticamente, el valor real del parámetro var en el código se sustituye de forma dinámica por el valor configurado en los parámetros de programación.

2. Configure el entorno de ejecución y los recursos

1. Configure una imagen: en la configuración de Scheduling, seleccione una imagen que contenga todas las dependencias que requiere el notebook. Así garantiza que la ejecución en producción se complete correctamente.

   Importante

   Si instaló paquetes de Python con pip install, debe create a DataWorks image from the personal development environment para que producción tenga las mismas dependencias. Seleccione esta imagen en la configuración de scheduling.

2. Resource Group: seleccione el resource group para la tarea. En los serverless resource groups, no configure más de 16CU para evitar fallas de inicio. El máximo por tarea es 64CU.

3. Configure un rol asociado: asocie un rol de RAM con el nodo para controlar los permisos de manera detallada. Associate a role: Securely access other cloud resources.

3. Despliegue el nodo

Solo los nodos ubicados en Workspace Directories se pueden desplegar y programar.

• Para notebooks en Workspace Directories: una vez completada la configuración, haga clic en el botón Publish de la barra de herramientas superior.

• Para notebooks en su Personal Directory: primero debe hacer clic en el botón Save y después enviarlo al proyecto antes de desplegarlo.

Tras el despliegue, supervise la tarea de su notebook en la página Auto Triggered Nodes de Operation Center.