DataWorks permite crear visualmente recursos JAR de E-MapReduce (EMR) y FILE de EMR. Puede cargar funciones personalizadas o código de ejemplo de MapReduce (MR) de código abierto como recursos y hacer referencia a ellos en tareas de desarrollo de datos que se ejecutan en nodos de cómputo de EMR.
Requisitos previos
Los requisitos previos varían según el tipo de motor. Complete las preparaciones obligatorias tanto en EMR como en DataWorks.
DataLake: Para obtener más información, consulte Configure a DataLake cluster y Configure DataWorks.
Crear un recurso de EMR
Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en en el panel de navegación izquierdo. Seleccione un workspace de la lista desplegable y haga clic en Go to Data Development.
-
Coloque el puntero sobre el icono
y haga clic en o bien en .Como alternativa, localice el flujo de trabajo, haga clic con el botón derecho sobre él y elija o
-
En el cuadro de diálogo Create Resource, configure los parámetros.
Parámetro
Descripción
Engine Type
El tipo de motor es EMR de forma predeterminada y no se puede modificar.
Engine Instance
Seleccione una instancia de motor de la lista desplegable.
NotaEsta lista muestra los motores de EMR vinculados al workspace en Data Development.
Resource Type
Solo se admiten los tipos EMR JAR y EMR FILE.
Path
La ruta del flujo de trabajo where se ubicará el recurso.
Storage path
Seleccione una ruta de almacenamiento para el recurso. Los tipos de almacenamiento compatibles son OSS y HDFS.
-
Si selecciona OSS, primero debe otorgar autorización y luego seleccionar un directorio.
NotaDebe usar una cuenta de Alibaba Cloud para otorgar permisos.
-
Si selecciona HDFS, introduzca manualmente la ruta de almacenamiento.
NotaLos paquetes JAR de tareas solo pueden almacenarse en las siguientes ubicaciones:
-
El nodo maestro del clúster de EMR.
-
Object Storage Service (OSS). Se recomienda almacenar los paquetes JAR en OSS. Para obtener más información, consulte Operations in the OSS console.
File Source
El origen del archivo de destino. Los orígenes compatibles son Local y OSS.
-
Si selecciona Local, haga clic en Click Upload en el campo Upload File para cargar un archivo local.
-
Si selecciona OSS, seleccione un archivo de OSS de la lista desplegable Select file, o haga clic en Create in OSS para crear un archivo en OSS.
Name
El nombre del recurso de EMR. Si carga un recurso JAR, incluya la extensión .jar.
-
En el cuadro de diálogo Create Resource, haga clic en Create.
-
Haga clic en los iconos
y 
de la barra de herramientas para guardar y confirmar el recurso.NotaAl confirmar el recurso, seleccione un resource group de programación. Si utiliza un resource group serverless, DataWorks envía una tarea al motor para crear el recurso e imprime registros de ejecución. Si ocurre algún problema durante la confirmación, revise los registros para solucionar el incidente. Si no hay ningún resource group serverless disponible, adquiera y configure uno. Para obtener más información, consulte Use serverless resource groups.
Uso de un recurso para registrar una función
DataWorks ofrece una forma visual de registrar una función mediante un recurso. Una vez cargado el recurso, registre la función from la interfaz de usuario. En Data Development, abra el formulario Register Function y configure los parámetros. Por ejemplo, establezca Function Type en Other Function, seleccione una EMR Engine Instance de destino como xc_emr2, defina EMR Engine Type como Hive y configure EMR Database en default. A continuación, introduzca un Function Name como xc_ip2region y el class name completo de la UDF, por ejemplo org.alidata.emr.udf.Ip2Region. En Resource List, asocie la función con el archivo JAR cargado from el árbol de recursos de la izquierda, como xc_ip2region-emr.jar.
Uso de un recurso en un nodo
Después de crear un recurso JAR de EMR, utilícelo directamente en un nodo. Seleccione el nodo de recurso en la carpeta Resources, haga clic con el botón derecho en el nodo y elija Insert Resource Path. También puede hacer clic con el botón derecho en el archivo de recurso dentro del árbol de recursos de la izquierda y elegir Insert Resource Path.
Tras insertar la ruta del recurso, se agrega automáticamente al nodo una línea de código con el formato @resource_reference{"resourcename"} para hacer referencia al recurso.
Para consultar los pasos detallados, consulte Create an EMR MR node.
Gestión de versiones de recursos
Cada vez que confirma un recurso se genera una nueva versión. Consulte y descargue el recurso si hace clic con el botón derecho en su nodo de recurso y selecciona View Versions. En el directorio de recursos de la izquierda, haga clic con el botón derecho en el archivo de recurso de destino, como xc_ip2region.jar, y seleccione View Historical Versions. El cuadro de diálogo Version Information muestra el ID de archivo, número de versión, remitente, hora de envío, tipo de cambio y estado de cada versión. Haga clic en Download Code correspondiente a una versión específica para obtener su código histórico, o bien seleccione varias versiones y haga clic en Compare para ver sus diferencias.