MaxCompute:Desarrollo de una tarea PyODPS 2

Requisitos previos

Antes de empezar, asegúrese de que cuenta con lo siguiente:

• Un nodo PyODPS 2 creado. Consulte Create and manage MaxCompute nodes

Funcionamiento

PyODPS es el SDK de Python para MaxCompute. En DataWorks, cada nodo PyODPS incluye una variable global preinyectada odps (también disponible como alias o) que funciona como punto de entrada a MaxCompute. El código Python se escribe contra este punto de entrada para consultar tablas, ejecutar sentencias SQL, gestionar recursos y procesar datos. DataWorks también inyecta un diccionario global args para que el código pueda leer los parámetros de programación en tiempo de ejecución.

La única diferencia entre los nodos PyODPS 2 y PyODPS 3 radica en la capa de Python: PyODPS 2 utiliza Python 2.7 y PyODPS 3 utiliza Python 3.

Límites

El límite de memoria de 50 MB aplica únicamente a operaciones locales de datos. Las tareas de SQL y DataFrame (excepto to_pandas ) iniciadas por PyODPS no están sujetas a este límite.

Notas de uso

Paquetes de terceros

Para utilizar un paquete de terceros en un nodo PyODPS, use un resource group serverless y cree una imagen personalizada que incluya dicho paquete.

Si su código UDF requiere un paquete de terceros, el enfoque de imagen personalizada no aplica. Consulte en su lugar Ejemplo: Referencia a paquetes de terceros en UDF de Python.

Acceso a la red

Para acceder a un origen de datos en una virtual private cloud (VPC) o en un centro de datos local, ejecute el nodo en un resource group serverless y configure una conexión de red entre el resource group y el origen de datos. Consulte Soluciones de conectividad de red.

Actualización de PyODPS

• En un resource group serverless: utilice la función de gestión de imágenes para ejecutar /home/tops/bin/pip3 install pyodps==0.12.1 en un nodo PyODPS 3 (reemplace 0.12.1 con su versión objetivo). Consulte Gestionar imágenes.

• En un resource group exclusivo para programación: utilice la función O&M Assistant para ejecutar el mismo comando en un nodo PyODPS 3. Consulte Uso de la función O&M Assistant.

Registros de salida

Mantenga la salida de registros ligera. Incluya registros de alertas y puntos de control de progreso en lugar de volcar grandes conjuntos de datos al registro. El límite de 4 MB aplica a todo el registro de salida de una ejecución de nodo.

Linaje de datos

Si las sentencias SQL en un nodo PyODPS no generan linajes de datos en Data Map, pase los parámetros de tiempo de ejecución del programador de DataWorks como sugerencias (hints) de SQL. El siguiente código muestra cómo recopilar estos parámetros y pasarlos al ejecutar SQL:

import os

# Collect DataWorks scheduler runtime parameters
skynet_hints = {}
for k, v in os.environ.items():
    if k.startswith('SKYNET_'):
        skynet_hints[k] = v

# Pass the parameters as hints when running SQL
o.execute_sql('INSERT OVERWRITE TABLE XXXX SELECT * FROM YYYY WHERE ***', hints=skynet_hints)

Para obtener más información, consulte Visualizar linajes de datos y Configurar el parámetro hints.

Escritura y ejecución de código

Para consultar la referencia completa de sintaxis de PyODPS, véase Descripción general.

print(odps.exist_table('PyODPS_iris'))

options.tunnel.use_instance_tunnel = True
options.tunnel.limit_instance_tunnel = False  # Remove the record count limit

with instance.open_reader() as reader:
    # Reads all records using InstanceTunnel

with instance.open_reader(tunnel=True, limit=False) as reader:
    # Reads all records for this operation only

with o.execute_sql('select * from dual').open_reader() as reader:
    for record in reader:  # Process each record
        ...

with o.execute_sql('desc dual').open_reader() as reader:
    print(reader.raw)

o.execute_sql('select * from PyODPS_iris', hints={'odps.sql.mapper.split.size': 16})

from odps import options
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('select * from PyODPS_iris')  # Uses the global settings

from odps.df import DataFrame
iris = DataFrame(o.get_table('pyodps_iris'))
for record in iris[iris.sepal_width < 3].execute():  # Triggers execution
    ...

from odps import options
from odps.df import DataFrame
options.interactive = True  # Enable at the top of the node
iris = DataFrame(o.get_table('pyodps_iris'))
print(iris.sepal_width.sum())  # Runs immediately and prints the result

Configuración de parámetros de programación

A diferencia de los nodos SQL, el código de los nodos PyODPS no realiza sustitución de cadenas ${param_name}. En su lugar, DataWorks inyecta los parámetros de programación en el nodo como un diccionario global args antes de que se ejecute el nodo.

Paso 1: Agregar parámetros en las propiedades del nodo

Abra la pestaña Properties del nodo (panel de navegación derecho en la pestaña de configuración) y agregue entradas en la sección Scheduling Parameter. Para conocer el formato y las diferencias de sintaxis entre tipos de nodos, consulte Configuración de parámetros de programación para diferentes tipos de nodos.

Paso 2: Leer parámetros en el código

Por ejemplo, si establece ds=${yyyymmdd} en la sección Scheduling Parameter, lea el valor en su código de la siguiente manera:

print('ds=' + args['ds'])
# Output: ds=20161116

Para obtener la partición correspondiente a esa fecha:

o.get_table('table_name').get_partition('ds=' + args['ds'])

Los parámetros de programación personalizados para nodos PyODPS deben establecerse con un valor constante. A diferencia de los nodos SQL, el valor no se sustituye automáticamente en tiempo de ejecución.

Para conocer más escenarios de desarrollo de tareas PyODPS, consulte:

• Referencia a un paquete de terceros en un nodo PyODPS

• Uso de un nodo PyODPS para segmentar texto chino basado en Jieba

• Uso de un nodo PyODPS para descargar datos a un directorio local para su procesamiento o para procesar datos en línea

Pasos siguientes

• Comprobar que el nodo se ejecutó correctamente: El método para confirmar la ejecución correcta de un script de Shell también aplica a scripts de Python.

• Desplegar el nodo PyODPS 3: En espacios de trabajo en modo estándar, despliegue el nodo en el entorno de producción antes de programarlo.

• Realizar O&M en el nodo PyODPS 3: Después del despliegue en Operation Center, gestione y supervise el nodo desde el entorno de producción.

• Preguntas frecuentes sobre PyODPS: Problemas comunes y guía de solución.