DataWorks:Desarrollo avanzado de notebooks

Referencia a recursos del proyecto (archivos .py)

Encapsule las funciones o clases comunes en archivos .py y refiriéralos como recursos de MaxCompute mediante ##@resource_reference{"custom_name.py"}.

1. Cree y publique un recurso de Python

   1. En el panel de navegación izquierdo de DataStudio de DataWorks, haga clic en el icono para ir a Resource Management.

   2. En el árbol de Resource Management, haga clic con el botón derecho en el directorio de destino o haga clic en + en la esquina superior derecha. Seleccione New Resource > MaxCompute Python y asigne al recurso el nombre my_utils.py.

   3. En la sección Document Content, haga clic en Online Editing, pegue el código de la función auxiliar ya depurado en el editor y haga clic en Save.

      # my_utils.py
      def greet(name):
          return f"Hello, {name} from resource file!"

   4. En la barra de herramientas, haga clic en Save y luego en Publish. De este modo, el recurso queda visible tanto para las tareas de desarrollo como para las de producción.

2. Refiera el recurso en un notebook

   En la primera línea de una celda de Python del notebook, utilice la sintaxis ##@resource_reference para referir el recurso publicado.

   ##@resource_reference{"my_utils.py"}
   # If the resource is in a directory, such as my_folder/my_utils.py, you still use ##@resource_reference{"my_utils.py"} without the directory name.
   from my_utils import greet
   message = greet('DataWorks')
   print(message)

3. Depure y ejecute en el entorno de desarrollo

   Ejecute la celda de Python. Se imprime el siguiente resultado:

   Hello, DataWorks from resource file!

   Importante

   Cuando se depura y ejecuta en el entorno de desarrollo, el sistema detecta la declaración ##@resource_reference y descarga el archivo de destino desde Resource Management hacia workspace/_dataworks/resource_references en su directorio personal.

   Si ocurre un error de ModuleNotFoundError, haga clic en el botón Restart de la barra de herramientas del editor para volver a cargar el recurso y vuelva a intentarlo.

4. Publique en el entorno de producción y compruebe

   Después de hacer clic en Save y Publish para este nodo de Notebook, vaya a Operation and Maintenance Center > Auto Triggered Task y haga clic en Test para ejecutarlo. Una vez que la tarea se ejecute correctamente, verá la salida Hello, DataWorks from resource file! en los registros.

   Importante

   Si ocurre un error de There is no file with id ..., asegúrese de haber publicado primero el recurso de Python en el entorno de producción.

Para más operaciones, consulte MaxCompute resources and functions .

Lectura y escritura de conjuntos de datos (OSS/NAS)

Lea y escriba archivos grandes almacenados en OSS o NAS durante la ejecución de tareas del notebook.

Para más operaciones, consulte Use datasets in a personal development environment .

Referencia a parámetros del espacio de trabajo

Además de scheduling parameters, DataWorks proporciona Workspace Parameters para reutilizar configuraciones globales y aislar entornos entre tareas y nodos. Refiéralos en celdas SQL y de Python mediante ${workspace.param}, donde param es el nombre del parámetro.

1. Cree los parámetros del espacio de trabajo: en DataWorks, vaya a Operation and Maintenance Center > Scheduling Settings > Workspace Parameters para crear los parámetros.

2. Refiera los parámetros del espacio de trabajo:

   • Refiera un parámetro del espacio de trabajo en una celda SQL.

     SELECT '${workspace.param}';

     Cuando la consulta se ejecuta correctamente, se imprime el valor resuelto del parámetro.

   • Refiera un parámetro del espacio de trabajo en una celda de Python.

     print('${workspace.param}')

     Cuando el código se ejecuta correctamente, se imprime el valor resuelto del parámetro.

   Para más detalles, consulte Use workspace parameters .

Conexión a MaxCompute

• %odps: obtención de un objeto de entrada de PyODPS

  No requiere codificar un AccessKey.

  1. Utilice un comando mágico para crear una conexión a MaxCompute. Introduzca %odps. Aparecerá un selector de recursos de cómputo de MaxCompute en la esquina inferior derecha (que selecciona automáticamente un recurso). Para cambiar de proyecto de MaxCompute, haga clic en el nombre del proyecto en la esquina inferior derecha.

     o=%odps 

  2. Utilice el recurso de cómputo de MaxCompute devuelto para ejecutar un script de PyODPS.

     Por ejemplo, para obtener todas las tablas del proyecto actual:

     with o.execute_sql('show tables').open_reader() as reader:
         print(reader.raw)

• %maxframe: establecimiento de una conexión de MaxFrame

  Crea una sesión de MaxFrame para el procesamiento distribuido de datos similar a pandas en MaxCompute.

  # Connect to and access the MaxCompute MaxFrame session.
  mf_session = %maxframe
  df = mf_session.read_odps_table('your_mc_table')
  print(df.head())
  # After development and debugging, destroy the session to release resources.
  mf_session.destroy()

Conexión a recursos de cómputo de Spark

DataWorks Notebook admite varios motores de Spark, cada uno con métodos de conexión, contextos de ejecución y ciclos de vida de recursos distintos.

Conexión a un recurso de cómputo de Lindorm Ray

El resource group de Ray del motor de cómputo de Lindorm proporciona cómputo distribuido para cargas de trabajo de IA de extremo a extremo. Úselo para el desarrollo interactivo en notebooks y, después, publíquelo como una tarea de producción programada.

1. Establezca la conexión: ejecute el comando mágico %lindorm_ray en una celda de Python. Después de ejecutar el comando, aparecerá un selector de recursos de cómputo en la esquina inferior derecha de la celda. Seleccione su recurso de cómputo de Lindorm y el resource group de Ray que creó.

   # Connect to the specified Lindorm Ray resource group.
   %lindorm_ray

   Importante

   • Después de conectarse a un recurso de cómputo de Lindorm Ray, ya no podrá ejecutar celdas SQL en el mismo notebook. El motor de Lindorm Ray se centra en ejecutar código Python y Ray.

   • Si ejecuta la misma celda de código varias veces, el sistema finaliza automáticamente el trabajo de Ray anterior e inicia uno nuevo. Esto evita el desperdicio de recursos y los conflictos entre tareas.

2. Ejecute código Ray: tras establecer la conexión correctamente, puede escribir y ejecutar código Ray directamente en una nueva celda de Python. Los registros se transmiten al área de salida de la celda en tiempo real para facilitar la depuración interactiva.

   En el siguiente ejemplo se define una tarea remota sencilla con el decorador @ray.remote. La tarea se ejecuta en el clúster de Ray, y los registros junto con el resultado final se devuelven al área de salida de la celda.

   import ray
   import time
   @ray.remote
   def hello_world():
     print("Hello from Lindorm Ray!")
     time.sleep(5)
     return "Task finished."
   # Submit the remote task.
   result_ref = hello_world.remote()
   print(ray.get(result_ref))

3. (Opcional) Especifique parámetros de inicio personalizados: para configurar ajustes adicionales en el entorno de Ray, como instalar paquetes de Python de terceros o cargar archivos de código locales, utilice %%lindorm_ray para establecer la conexión.

   • Ejemplo 1: instalación de dependencias

     Utilice el parámetro pip para instalar el paquete jieba en el entorno de Ray.

     %%lindorm_ray
     {
       "runtime_env": {
         "pip": ["jieba"]
       }
     }

     Una vez que el entorno esté listo, importe y utilice el paquete en las tareas de Ray posteriores. En el siguiente ejemplo se muestra cómo llamar a jieba en una función remota para segmentar palabras en chino:

     import ray 
     @ray.remote
     def do_work(x):
         import jieba
         return "/".join(jieba.cut(x))
     print(ray.get(do_work.remote("Welcome to the DataWorks LindormRay solution")))

   • Ejemplo 2: carga y uso de recursos de DataWorks

     Utilice el parámetro working_dir para cargar recursos de Resource Management al clúster de Ray y poder importarlos en sus tareas.

     Importante

     • Cuando utiliza working_dir para cargar recursos, los archivos se transfieren directamente desde su entorno de desarrollo al clúster de Ray. Se aplica un límite de tamaño de 100 MB. Si el paquete de recursos es demasiado grande, la carga podría fallar o el nodo de Ray podría volverse inestable.

     • Para recursos o dependencias grandes (más de 100 MB), cárguelos en OSS y descárguelos desde OSS en su código, o bien empaquételos en una imagen personalizada para mejorar la estabilidad y el rendimiento.

     # Reference and declare the path for a resource from Resource Management.
     %%lindorm_ray
     {
         "runtime_env": {
             "working_dir": "/mnt/workspace/_dataworks/resource_references"
         }
     }

     Suponga que cargó un archivo llamado ray_resource.py en Resource Management de DataWorks. Al ejecutar la siguiente celda, el sistema analiza la declaración ##@resource_reference y descarga el recurso correspondiente en /mnt/workspace/_dataworks/resource_references.

     Código de ejemplo en ray_resource.py:

     def fun():
         print("This is a test function in ray_resource.py")

     Importante

     En el entorno de desarrollo, después de ejecutar la celda que contiene ##@resource_reference, debe volver a ejecutar la celda %%lindorm_ray anterior. Al volver a ejecutar esta celda, se incluyen los recursos descargados en working_dir y se cargan en el clúster de Ray. En el entorno de producción no es necesario volver a ejecutar la celda.

     import ray 
     ##@resource_reference{"ray_resource.py"}
     @ray.remote
     def do_work(x):
         print('Ray says:', x)
         from ray_resource import fun
         fun()
         return x
     worker = do_work.remote("Welcome to the DataWorks LindormRay solution")
     print(ray.get(worker))

4. Programación y O&M en producción: después de desarrollar y depurar, envíe y publique este nodo de notebook. Se programará periódicamente como un nodo de Lindorm Ray dentro de un DAG.

   • Parametrización: su código puede utilizar los parámetros de programación estándar de DataWorks, como ${bizdate}.

   • Visualización de registros: en producción, el sistema carga de forma predeterminada solo el primer 1 MB de registros para evitar problemas de rendimiento. Si los registros se truncan, la salida proporciona un enlace para consultar los registros completos de la tarea en la consola de Lindorm.

   • Liberación de recursos: cuando termina una tarea de producción programada, la tarea de Lindorm Ray entra en un estado terminal y libera los recursos. Durante el desarrollo interactivo, finalice la tarea reiniciando el kernel o cerrando el notebook.

Apéndice: referencia rápida de comandos mágicos