DataWorks:Crear un nodo EMR Trino

Requisitos previos

• Se ha creado un clúster de Alibaba Cloud EMR y se ha registrado en su espacio de trabajo de DataWorks.

  Antes de crear nodos relacionados con EMR, registre el clúster de EMR en su espacio de trabajo de DataWorks. Para obtener más información, consulte Bind EMR compute resources in legacy DataStudio.

• (Opcional, para usuarios de RAM) El usuario de RAM para el desarrollo de tareas se ha agregado al espacio de trabajo y se le ha asignado el rol Development o Workspace Administrator. El rol Workspace Administrator cuenta con permisos amplios y debe asignarse con precaución. Para obtener más información, consulte Add members to a workspace.

• Se ha adquirido y configurado un resource group serverless, lo que incluye vincular el resource group a un espacio de trabajo y configurar la red. Para obtener más información, consulte Use a serverless resource group.

• Se ha creado un flujo de trabajo en DataStudio.

  DataStudio organiza las operaciones de desarrollo por flujo de trabajo. Cree un flujo de trabajo antes de crear un nodo. Para obtener más información, consulte Create a workflow.

Límites

• Este tipo de tarea solo puede ejecutarse en un resource group serverless.

• Para gestionar metadatos de clústeres DataLake o personalizados en DataWorks, configure EMR-HOOK en el clúster. Sin EMR-HOOK, no podrá ver metadatos en tiempo real, generar registros de auditoría, mostrar linaje de datos ni realizar tareas de gobernanza relacionadas con EMR en DataWorks. Para obtener más información, consulte Configure EMR-HOOK for Hive.

• Si la autenticación mediante Lightweight Directory Access Protocol (LDAP) está habilitada para Trino, debe iniciar sesión en el nodo maestro del clúster de EMR y descargar el archivo de almacén de claves del directorio /etc/taihao-apps/trino-conf. Inicie sesión en la . En el panel de navegación izquierdo, haga clic en More > Management Center. Seleccione el espacio de trabajo destino en la lista desplegable y haga clic en Go to Management Center. En el panel de navegación izquierdo, haga clic en Cluster Management. Busque el clúster de EMR registrado. En la pestaña Account Mappings, haga clic en Edit Account Mappings y luego en Upload Keystore File para cargar el archivo.

(Opcional) Seleccionar una instancia de clúster EMR

Si hay varios clústeres de EMR registrados en su espacio de trabajo, seleccione el clúster adecuado en la lista desplegable situada en la parte superior de la página del editor de nodos. Si solo hay un clúster de EMR registrado, DataWorks lo selecciona de forma predeterminada.

Para acceder a dominios que tienen una lista blanca de direcciones IP, debe usar un resource group de programación dedicado.

Configuración del conector

• Antes de consultar tablas MySQL, debe configurar el conector integrado de EMR Trino. Para obtener más información, consulte MySQL connector.

• Antes de consultar tablas Hive, debe configurar el conector integrado de EMR Trino. Para obtener más información, consulte Hive connector.

• Para consultar tablas en otros orígenes de datos, consulte Configure connectors para obtener instrucciones sobre cómo configurar los conectores integrados.

Editar código SQL

Introduzca el código de la tarea en el editor SQL. Ejemplo:

-- Usage
-- SELECT * FROM <catalog>.<schema>.<table>;
-- Parameter description
-- <catalog>: the name of the data source to connect to.
-- <schema>: the name of the database to use.
-- <table>: the table to query.
-- Example: To view data in the hive_table table in the default database of a Hive data source:
-- Query a Hive table
SELECT * FROM hive.default.hive_table;
-- Example: To view data in the rt_user table in the user-created rt_data database of a MySQL data source:
-- Query a MySQL table  
SELECT * FROM mysql.rt_data.rt_user;
-- Join a Hive table and a MySQL table
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;
-- Query a Hive table using a scheduling parameter
SELECT * FROM hive.default.${table_name};

Ejecutar la tarea SQL

1. En la barra de herramientas, haga clic en el icono . En el cuadro de diálogo Parameter, seleccione un resource group de programación y haga clic en Running.

   Nota

   • Para acceder a recursos de cómputo a través de Internet público o en una VPC, debe usar un resource group de programación que pueda conectarse a dichos recursos. Para obtener más información, consulte Network connectivity solutions.

   • Para cambiar el resource group en ejecuciones posteriores, haga clic en el icono Running with Parameters y seleccione el resource group deseado.

   • Las consultas en nodos EMR Trino devuelven un máximo de 10,000 registros y el tamaño total de los datos no puede superar los 10 MB.

2. Haga clic en el icono para guardar el código SQL.

(Opcional) Configurar parámetros avanzados

Para ajustar la forma en que se ejecutan las sentencias SQL, haga clic en Advanced Settings en el panel de navegación derecho.