DataWorks:Recursos y funciones de MaxCompute

Descripción general de recursos

Los Resources constituyen la base para implementar funciones de UDF o MapReduce en MaxCompute. En DataStudio, puede usar la interfaz visual para cargar recursos almacenados en su computadora local o en OSS. MaxCompute puede leer y utilizar estos recursos al ejecutar funciones definidas por el usuario (UDF) y MapReduce. Se admiten los siguientes tipos de recursos de MaxCompute.

Límites

Se aplican los siguientes límites al cargar recursos:

• Tamaño del recurso:

  • Edición en línea: El tamaño máximo es de 10 MB para un recurso de Python y 500 KB para un recurso de tipo File.

  • Carga desde un archivo local: El tamaño máximo para un solo recurso es de 500 MB.

  • Carga desde un archivo de OSS: El tamaño máximo para un solo recurso es de 500 MB.

• Publicación de recursos: Si utiliza un standard mode workspace, debe publicar el recurso en el entorno de producción antes de poder usarlo.

  Nota

  La configuración del origen de datos puede diferir entre el entorno de desarrollo y el de producción. Antes de consultar tablas o utilizar recursos, compruebe la configuración del origen de datos correspondiente al entorno actual.

• Gestión de recursos: En DataWorks, solo puede consultar y gestionar los recursos que se cargaron a través de la interfaz de usuario de DataWorks.

Crear un recurso

Puede cargar recursos de MaxCompute desde su computadora local o desde OSS. Después de crear un recurso, puede referenciarlo directamente en el desarrollo de datos o crear una función a partir de él.

1. En la página de Resource Management, cree un recurso; esto abrirá el cuadro de diálogo Create Resource and Function. Configure el Type del recurso, la Path de almacenamiento y el Name del recurso.

2. Cargue un archivo local o de OSS como origen. La siguiente tabla describe los parámetros clave.

   Parámetro	Descripción
   File Source	El origen del archivo de destino. Las opciones incluyen Local y OSS.
   File Content	Si selecciona Local, haga clic en Click Upload en la sección Document Content para cargar un archivo local. Si selecciona OSS, seleccione el archivo de OSS de destino en la lista desplegable de Document Content.
   Data Source	Seleccione el origen de datos al que pertenece el recurso de MaxCompute.

3. En la barra de herramientas superior, Save y luego Publish el recurso. Solo los recursos published pueden utilizarse en el desarrollo de datos.

Uso de recursos

Después de crear un recurso, puede referenciarlo al editar un nodo de desarrollo de datos. En el panel de navegación izquierdo, haga clic en Resource Management. Localice el recurso o la función de destino, haga clic derecho sobre él y seleccione Insert Resource Path. Esto agrega una sentencia de referencia con el formato ##@resource_reference{"ResourceName"} al nodo.

Además de usar un recurso directamente, también puede create a function a partir del recurso y luego utilizar la función en sus nodos de desarrollo.

Gestión de recursos

En DataWorks, solo puede consultar y gestionar los recursos que se cargaron mediante la interfaz de usuario de DataWorks. En la página de Resource Management, haga clic en un recurso para realizar operaciones de gestión.

• Consultar versiones históricas: Puede ver y comparar versiones publicadas de un recurso para rastrear cambios entre versiones.

  Nota

  Para comparar versiones, debe seleccionar como mínimo dos versiones.

• Eliminar un recurso: Esta operación elimina el recurso únicamente del entorno de desarrollo. Para eliminar el recurso del entorno de producción, debe publicar la tarea de eliminación. Una vez publicada la tarea, el recurso se elimina del entorno de producción. Para más información, consulte Publish a task.

• Consultar otros recursos.

  MaxCompute puede contener recursos cargados por métodos distintos a DataWorks. Puede consultar estos recursos de las siguientes maneras:

  • Utilice el data catalog para consultar todos los recursos de un proyecto de MaxCompute.

    Después de agregar un proyecto de MaxCompute al catálogo de datos, puede navegar hasta la carpeta del proyecto en el catálogo y ver todos sus recursos en el directorio de recursos.

  • Utilice un MaxCompute SQL node para consultar otros recursos en el proyecto de MaxCompute.

    • Para ver todos los recursos del proyecto actual, ejecute el siguiente comando en un nuevo script de MaxCompute SQL. De forma predeterminada, el comando accede al recurso de cómputo de MaxCompute vinculado al entorno de desarrollo.

      list resources;

    • Para ver todos los recursos de un proyecto específico, ejecute los siguientes comandos:

      use <maxcompute_project_name>;
      list resources;

    Para más información sobre los comandos de recursos, consulte Resource operations.

Descripción general de funciones

En DataStudio, puede usar la Gestión de Recursos y Funciones para registrar recursos como funciones. En el desarrollo de datos o en consultas SQL, puede usar Create a function para convertir recursos cargados y publicados en funciones, crear funciones integradas mediante JAVA, PYTHON2 o PYTHON3, o bien use MaxCompute built-in functions directamente.

Crear una función

1. En la página de Resource Management, cree una función; esto abrirá el cuadro de diálogo Create Resource and Function. Configure el Type de la función, la Path de almacenamiento y el Name de la función.

2. Configure los ajustes de la función.

   Antes de configurar una función de MaxCompute, asegúrese de que el proyecto de MaxCompute esté registrado como recurso de cómputo en DataWorks y de que se hayan cargado los recursos de MaxCompute necesarios. La siguiente tabla describe los parámetros clave para una función de MaxCompute.

   Parámetro	Descripción
   Function type	El tipo de la función. Los valores válidos incluyen MATH (matemática), AGGREGATE (agregada), STRING (cadena), DATE (fecha), ANALYTIC (ventana) y OTHER.
   Class Name	El nombre de clase de la UDF, en formato resource_name.class_name. El nombre del recurso puede ser un nombre de paquete de Java o un nombre de recurso de Python. DataWorks admite la creación de UDF a partir de recursos JAR y Python. El formato del nombre de clase varía según el tipo de recurso: Si el recurso es un archivo JAR, el formato del Class Name es JavaPackageName.ActualClassName. Puede obtener este valor desde IntelliJ IDEA mediante la acción Copy Reference. Por ejemplo, si el nombre del paquete de Java es com.aliyun.odps.examples.udf y el nombre real de la clase es UDAFExample, establezca el parámetro Class Name en com.aliyun.odps.examples.udf.UDAFExample. Si el recurso es un archivo de Python, el formato del Class Name es PythonResourceName.ActualClassName. Por ejemplo, si el nombre del recurso de Python es LcLognormDist_sh y el nombre real de la clase es LcLognormDist_sh, establezca el parámetro Class Name en LcLognormDist_sh.LcLognormDist_sh. Nota No incluya la extensión de archivo .jar o .py en el nombre del recurso. Debe enviar y publicar el recurso antes de poder utilizarlo.
   Type	Puede seleccionar Resource function o Embedded function: Si selecciona Resource function, solo necesita configurar la Resource List. Si selecciona Embedded Function, también debe especificar el Language (se admiten JAVA, PYTHON2 y PYTHON3) y proporcionar el Code, además de la Resource List.
   Resource List	Seleccione los recursos necesarios para registrar la función. Modo visual: Solo puede seleccionar recursos que ya estén cargados o creados en DataWorks. Modo script: Puede introducir cualquier recurso que exista en el origen de datos. Si la UDF utiliza varios recursos, separe los nombres de los recursos con una coma (,). Nota No es necesario introducir la ruta completa para los recursos agregados. Puede usar el modo script para especificar manualmente recursos que no se pueden cargar a través de la interfaz visual, como recursos de tabla o aquellos gestionados fuera de DataWorks.
   Command Format	Un ejemplo de uso para la UDF.

3. En la barra de herramientas superior, Save y luego Publish la función. Solo una función published puede utilizarse en el desarrollo de datos.

Uso de funciones

SELECT example_function(column_name) FROM table;

Gestión de funciones

En la página de Resource Management, haga clic en una función para realizar operaciones de gestión.

• Consultar versiones históricas: En el lado derecho del editor de funciones, haga clic en el icono de versiones. Puede ver y comparar versiones guardadas o enviadas de una función para rastrear cambios.

  Nota

  Para comparar versiones, debe seleccionar como mínimo dos versiones.

• Eliminar una función: Haga clic derecho en la función de destino y seleccione Delete.

  Para eliminar la función del entorno de producción, debe publicar la eliminación. La función se elimina del entorno de producción una vez completada la publicación. Para más información, consulte Publish a task.

// View the functions in the MaxCompute project that is bound to the DataWorks workspace.
SHOW FUNCTIONS;