Create an EMR Presto node - DataWorks - Centro de documentación de Alibaba Cloud

Los nodos EMR Presto permiten escribir consultas SQL de Presto en un clúster de Alibaba Cloud E-MapReduce (EMR) y ejecutarlas con una programación recurrente en DataWorks.

Limitaciones

Restricción	Detalles
Tipo de clúster	Solo clústeres heredados de lago de datos Hadoop. Los clústeres DataLake y Custom no son compatibles.
Resource group	Resource group serverless o resource group exclusivo para programación. Utilice un resource group serverless siempre que sea posible.
Tamaño de la sentencia SQL	Cada sentencia SQL no puede superar los 130 KB.
Resultados de la consulta	Una sola consulta devuelve como máximo 10,000 registros y 10 MB de datos.
Linaje de datos	No compatible con nodos EMR Presto.

Requisitos previos

Antes de empezar, asegúrese de contar con lo siguiente:

Un clúster EMR creado y registrado en DataWorks. Consulte DataStudio (versión anterior): Asociar un recurso de cómputo EMR
(Si utiliza un usuario RAM) El usuario RAM agregado al espacio de trabajo con el rol Develop o Workspace Administrator. El rol Workspace Administrator otorga más permisos de los necesarios para esta tarea; asígnelo con precaución. Consulte Agregar miembros al espacio de trabajo y asignarles roles
Un resource group serverless adquirido y configurado con la asociación del espacio de trabajo y los ajustes de red. Consulte Create and use a serverless resource group
Un flujo de trabajo creado en DataStudio. Consulte Crear un flujo de trabajo

Paso 1: Crear un nodo EMR Presto

Vaya a la página de DataStudio. Inicie sesión en la consola de DataWorks. En la barra de navegación superior, seleccione la región. En el panel de navegación izquierdo, elija Data Development and O&M > Data Development. Seleccione su espacio de trabajo en la lista desplegable y haga clic en Go to Data Development.
En el directorio de flujos de trabajo, haga clic con el botón derecho en el flujo de trabajo deseado y elija Create Node > EMR > EMR Presto.

Alternativamente, pase el cursor sobre Create y seleccione Create Node > EMR > EMR Presto .

En el cuadro de diálogo Create Node, configure los siguientes campos y haga clic en Confirm. Se abrirá la pestaña de configuración del nodo EMR Presto.

Campo	Descripción
Name	Nombre del nodo. Caracteres permitidos: letras mayúsculas, letras minúsculas, caracteres chinos, dígitos, guiones bajos (`_`) y puntos (`.`).
Engine Instance	El recurso de cómputo EMR que se asociará con este nodo.
Node Type	El tipo de nodo de cómputo que se utilizará.
Path	La ubicación dentro de la estructura de directorios del flujo de trabajo.

Paso 2: Desarrollar una tarea EMR Presto

Haga doble clic en el nodo que creó. Se abrirá la página de desarrollo de tareas, donde podrá escribir SQL, configurar parámetros avanzados y ejecutar la tarea.

Desarrollar código SQL

Escriba SQL de Presto en el editor SQL. Utilice la sintaxis ${variable_name} para definir variables en su código. Asigne valores a dichas variables en Scheduling Configuration > Scheduling Parameters del panel derecho, con el formato key=value. Esto permite pasar valores dinámicos durante la programación sin modificar el código.

Ejemplo:

select '${var}'; -- ${var} is resolved at run time from Scheduling Parameters
select * from userinfo;

Para asignar un valor a var: abra Scheduling Configuration > Scheduling Parameters y agregue una entrada como var=2024-01-01. Para conocer los formatos de parámetros compatibles, consulte Supported formats of scheduling parameters.

Si su espacio de trabajo tiene varios recursos de cómputo EMR conectados, seleccione el que desea usar para este nodo. Si solo hay uno conectado, no es necesario realizar ninguna selección.

Para probar la resolución de parámetros antes de la programación, haga clic en Run With Parameters en la barra de herramientas superior. Para obtener detalles sobre cómo difieren los valores de los parámetros entre Run, Run with Parameters y las pruebas de humo, consulte Differences in parameter assignment logic.

Configurar parámetros avanzados (opcional)

Clúster Hadoop: EMR on ECS

En la sección Advanced Settings, establezca los siguientes parámetros para controlar el comportamiento de ejecución de SQL y el enrutamiento de envío de trabajos. Para obtener más información sobre cómo configurar los parámetros, consulte Configuración de Spark. Estos ajustes aplican a clústeres Hadoop (EMR on ECS).

Parámetro	Valores	Predeterminado	Descripción
`FLOW_SKIP_SQL_ANALYZE`	`true` / `false`	`false`	Controla cómo se ejecutan las sentencias SQL. `true`: ejecuta todas las sentencias en un solo lote. `false`: ejecuta una sentencia a la vez. Aplica solo a ejecuciones de prueba en el entorno de desarrollo.
`USE_GATEWAY`	`true` / `false`	`false`	Controla el enrutamiento del envío de trabajos. `true`: envía los trabajos a través de un clúster de puerta de enlace. `false`: envía los trabajos directamente al nodo principal. Establecer esto en `true` cuando no hay ningún clúster de puerta de enlace asociado provoca que el envío del trabajo falle.

Ejecutar la tarea SQL

En la barra de herramientas, haga clic en el icono . En el cuadro de diálogo Parameters, seleccione el resource group de programación y haga clic en Run.

El resource group debe haber pasado una prueba de conectividad con el clúster EMR. Para acceder a recursos de cómputo a través de Internet público o dentro de una VPC, compruebe primero la conectividad. Consulte Network connectivity solutions .
Haga clic en el icono para guardar su SQL.
(Opcional) Ejecute pruebas de humo. Las pruebas de humo en el entorno de desarrollo pueden activarse al enviar el nodo o después del envío. Consulte Realizar pruebas de humo.

Paso 3: Configurar propiedades de programación

Para ejecutar la tarea con una programación recurrente, haga clic en Properties en el panel de navegación derecho y configure los ajustes de programación.

Configure los parámetros Rerun y Parent Nodes antes de confirmar la tarea.

Para consultar la referencia completa de opciones de programación, vea Descripción general.

Paso 4: Desplegar la tarea

Haga clic en el icono para guardar la tarea.
Haga clic en el icono para confirmar la tarea. En el cuadro de diálogo Submit, introduzca una Change description. Si la revisión de código está habilitada en su espacio de trabajo, la tarea solo se podrá desplegar después de que el código confirmado pase la revisión. Consulte Revisión de código.

Configure los parámetros Rerun y Parent Nodes en la pestaña Properties antes de confirmar.
(Solo espacios de trabajo en modo estándar) Despliegue la tarea en el entorno de producción. Haga clic en Deploy en la esquina superior derecha de la pestaña de configuración del nodo. Consulte Desplegar nodos.

Pasos siguientes

Una vez confirmada y desplegada la tarea, se ejecuta automáticamente según su configuración de programación. Para supervisar el estado de la programación, haga clic en Operation Center en la esquina superior derecha de la pestaña de configuración del nodo. Consulte Ver y gestionar tareas activadas automáticamente.

Preguntas frecuentes

¿Por qué aparece "Error executing query"?

Este error ocurre cuando el tipo de clúster no es compatible. Los nodos EMR Presto solo funcionan con clústeres heredados de lago de datos Hadoop; los clústeres DataLake y Custom no son compatibles.

Para resolverlo:

En DataStudio, vaya a la lista de recursos de cómputo.
Compruebe que el clúster registrado en su espacio de trabajo sea un clúster heredado de lago de datos Hadoop.

¿Por qué se produce un tiempo de espera de conexión cuando se ejecuta el nodo?

Esto indica un problema de conectividad de red entre el resource group y el clúster EMR.

Para resolverlo:

En DataStudio, vaya a la página de la lista de recursos de cómputo.
Busque el recurso y haga clic en Re-initialize.
Confirme que la inicialización se complete correctamente y vuelva a intentar la tarea.

Si el problema persiste, compruebe que el resource group haya pasado una prueba de conectividad con el clúster EMR. Consulte Network connectivity solutions.