DataWorks:Crear un nodo de EMR Hive

Requisitos previos

• Se ha creado un clúster de Alibaba Cloud EMR y se ha registrado en DataWorks. Para obtener más información, consulte Data Studio (legacy): Register an EMR cluster.

• (Obligatorio si utiliza un usuario de RAM para desarrollar tareas) El usuario de RAM se ha agregado al espacio de trabajo de DataWorks como miembro y se le ha asignado el rol Develop o Workspace Administrator. El rol Workspace Administrator otorga más permisos de los necesarios, por lo que debe tener precaución al asignarlo. Para obtener más información sobre cómo agregar un miembro, consulte Add members to a workspace.

• Se ha adquirido y configurado un resource group serverless. La configuración incluye la asociación con un espacio de trabajo y la configuración de red. Para obtener más información, consulte Create and use a serverless resource group.

• Se ha creado un flujo de trabajo en DataStudio.

  Las operaciones de desarrollo en los distintos tipos de motores de cómputo se realizan mediante flujos de trabajo en DataStudio. Por lo tanto, antes de crear un nodo, debe crear un flujo de trabajo. Para obtener más información, consulte Create a workflow.

Limitaciones

• Los nodos de EMR Hive solo pueden ejecutarse en un serverless resource group (recomendado) o en un resource group exclusivo para programación.

• Para gestionar metadatos de un clúster DataLake o un clúster personalizado en DataWorks, debe configurar EMR-HOOK en el clúster. Sin esta configuración, DataWorks no puede mostrar metadatos en tiempo real, generar registros de auditoría, mostrar linaje de datos ni ejecutar tareas de gobernanza relacionadas con EMR. Para consultar las instrucciones, consulte Configure the EMR-HOOK for Hive.

Paso 1: Crear un nodo de EMR Hive

1. Inicie sesión en la consola de DataWorks. En la región objetivo, haga clic en Data Development and O&M > Data Development en el panel de navegación izquierdo. Seleccione un espacio de trabajo en la lista desplegable y haga clic en Go to Data Development.

2. Cree un nodo de EMR Hive.

   1. Haga clic con el botón derecho en el flujo de trabajo objetivo y seleccione Create Node > EMR > EMR Hive.

      Nota

      También puede pasar el cursor sobre Create y seleccionar Create Node > EMR > EMR Hive.

   2. En el cuadro de diálogo Create Node, introduzca un Name y seleccione una Engine Instance, un Node Type y una Path. Haga clic en Confirm para abrir la página de edición del nodo.

      Nota

      El nombre del nodo puede contener letras mayúsculas, letras minúsculas, caracteres chinos, dígitos, guiones bajos (_) y puntos (.).

Paso 2: Desarrollar la tarea de EMR Hive

En la página de edición del nodo de EMR Hive, haga doble clic en el nodo que creó para abrir la página de desarrollo de tareas. A continuación, siga estos pasos.

show tables;
select '${var}'; -- You can use this with scheduling parameters.
select * from userinfo;

Paso 3: Configurar propiedades de programación

Si desea que el sistema ejecute periódicamente una tarea en el nodo, puede hacer clic en Properties en el panel de navegación derecho de la pestaña de configuración del nodo para configurar las propiedades de programación de la tarea según sus requisitos empresariales. Para obtener más información, consulte Overview.

Paso 4: Desplegar la tarea

Una vez configurada una tarea en un nodo, debe confirmarla y desplegarla. Después de confirmar y desplegar la tarea, el sistema la ejecuta de forma regular según las configuraciones de programación.

1. Haga clic en el icono en la barra de herramientas superior para guardar la tarea.

2. Haga clic en el icono en la barra de herramientas superior para confirmar la tarea.

   En el cuadro de diálogo Submit, configure el parámetro Change description. Luego, determine si desea revisar el código de la tarea después de confirmarla según sus requisitos empresariales.

   Nota

   • Debe configurar los parámetros Rerun y Parent Nodes en la pestaña Properties antes de confirmar la tarea.

   • Puede utilizar la función de revisión de código para garantizar la calidad del código de las tareas y evitar errores de ejecución causados por código no válido. Si habilita esta función, el código de la tarea confirmada solo podrá desplegarse después de aprobar la revisión. Para obtener más información, consulte Code review.

Si utiliza un espacio de trabajo en modo estándar, debe desplegar la tarea en el entorno de producción después de confirmarla. Para desplegar una tarea en un nodo, haga clic en Deploy en la esquina superior derecha de la pestaña de configuración del nodo. Para obtener más información, consulte Deploy a node.

Más operaciones

Después de confirmar y desplegar la tarea, esta se ejecuta periódicamente según las configuraciones de programación. Puede hacer clic en Operation Center en la esquina superior derecha de la pestaña de configuración del nodo correspondiente para ir a Operation Center y consultar el estado de programación de la tarea. Para obtener más información, consulte Manage scheduled tasks.

Preguntas frecuentes

P: ¿Por qué ocurre un error de tiempo de espera de conexión (ConnectException) al ejecutar un nodo?

EMR execute task failed!
SQL: {"name":"dw20251018","type":"HIVE_SQL","launcher":{"allocationSpec":{}},"properties":{"envs":{"FLOW_SKIP_SQL_ANALYZE":false},"arguments":["select * from default.dim_customers"],"tags":[],"description":"DataWorks"}}
TASK-MESSAGE:
FAILED: Build connection error! Could not open client transport with JDBC Uri: jdbc:hive2://xxx:10000: java.net.ConnectException: Connection timed out

R: Asegúrese de que el resource group y el clúster puedan conectarse entre sí a través de la red. Vaya a la lista de recursos de cómputo y haga clic en Resource Initialization. En el cuadro de diálogo que aparece, haga clic en Re-initialize. Compruebe que la inicialización se haya completado correctamente.