Todos los productos
Search

Este producto

    DataWorks:Data Studio: Asociar un recurso de cómputo de EMR

    Centro de documentos

    DataWorks:Data Studio: Asociar un recurso de cómputo de EMR

    Última actualización: Sep 04, 2026

    Asocie su clúster de E-MapReduce (EMR) con DataWorks como un recurso de cómputo de EMR para habilitar la sincronización de datos, el desarrollo y la gestión de tareas de EMR.

    Requisitos previos

    Limitaciones

    • Limitaciones del producto:

      • En los clústeres de EMR con autenticación Kerberos habilitada, el security group debe permitir el tráfico UDP entrante desde el bloque CIDR del vSwitch asociado al resource group.

        Nota

        Haga clic en el icono image junto a Cluster Security Group en la sección Basic information del clúster de EMR para ir a la pestaña Security Group Details. Haga clic en Access Rule > Inbound, seleccione Added Manually y establezca Protocol Type en Custom UDP. Para Port Range, compruebe el puerto KDC en el archivo /etc/krb5.conf del clúster de EMR. Establezca Authorized object en el bloque CIDR del vSwitch asociado al resource group.

      • Para gestionar metadatos en DataWorks para clústeres DataLake o Custom, configure EMR-HOOK en el lado del clúster o cuando configure Spark parameters. Sin EMR-HOOK, DataWorks no puede mostrar metadatos en tiempo real, generar registros de auditoría ni visualizar linajes, y las tareas de gobernanza relacionadas con EMR no se pueden ejecutar. Solo los servicios EMR Hive y EMR Spark SQL admiten EMR-HOOK. Para obtener más información, consulte Configure EMR-HOOK for Hive y Configure EMR-HOOK for Spark SQL.

        Nota

    • Limitaciones de región: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), UK (London), US (Silicon Valley) y US (Virginia).

    • Limitaciones de permisos:

      Operador

      Permisos obligatorios

      Cuenta de Alibaba Cloud

      No se requiere autorización adicional.

      Usuario de RAM o rol de RAM

      Solo los miembros del workspace con el rol de operator o workspace administrator, o que cuenten con el permiso AliyunDataWorksFullAccess, pueden crear recursos de cómputo. Para obtener más información, consulte Grant a user the workspace administrator role.

    Notas

    • Las siguientes versiones de EMR para clústeres Hadoop (lago de datos heredado) son compatibles con DataWorks:

      EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1 y EMR-5.4.3.

    • Los clústeres Hadoop (lago de datos heredado) ya no se recomiendan. Migre a clústeres DataLake lo antes posible. Para obtener más información, consulte Migrate from a Hadoop cluster to a DataLake cluster.

    Ir a la página de lista de recursos de cómputo

    1. Inicie sesión en la consola de DataWorks. En el panel de navegación izquierdo, cambie a la región objetivo y haga clic en More > Management Center. Seleccione su workspace en la lista desplegable y haga clic en Go to Management Center.

    2. En el panel de navegación izquierdo, haga clic en Computing Resources para abrir la página de lista de recursos de cómputo.

    Asociar un recurso de cómputo de EMR

    En la página de lista de recursos de cómputo, configure y asocie el recurso de cómputo de EMR.

    1. Seleccione el tipo de recurso de cómputo que desea asociar.

      1. Haga clic en Associate Computing Resources para ir a la página Associate Computing Resources.

      2. En la página Associate Computing Resources, establezca el tipo de recurso de cómputo en EMR para acceder a la página de configuración Associate EMR Computing Resource.

    2. Configure el recurso de cómputo de EMR.

      En la página de configuración Associate EMR Computing Resource, configure los siguientes parámetros.

      Parámetro

      Descripción

      Alibaba Cloud Account to Which Cluster Belongs

      Puede seleccionar Current Alibaba Cloud Account o Another Alibaba Cloud Account.

      Nota

      Cuando selecciona Another Alibaba Cloud Account, siga las instrucciones en Use an EMR cluster across Alibaba Cloud accounts para autorizar las cuentas correspondientes y luego configure los parámetros requeridos según las indicaciones.

      Cluster Type

      Seleccione el tipo de clúster según sus requisitos empresariales.

      Cluster

      Seleccione el clúster de EMR que desea utilizar bajo el tipo de clúster correspondiente.

      Default Access Identity

      • Entorno de desarrollo: Puede usar la cuenta del clúster hadoop o la cuenta del clúster asignada al ejecutor de la tarea.

      • Entorno de producción: Puede usar la cuenta del clúster hadoop o la cuenta del clúster asignada al propietario de la tarea, a la cuenta de Alibaba Cloud o al usuario de RAM.

        Nota

        Cuando la identidad de acceso predeterminada se establece en la cuenta del clúster asignada al propietario de la tarea, a la cuenta de Alibaba Cloud o al usuario de RAM, consulte Configure account mapping between DataWorks and EMR para configurar la asignación entre los miembros del inquilino de DataWorks y las cuentas del clúster de EMR. Las tareas de EMR se ejecutan bajo la cuenta del clúster asignada. Si no hay ninguna asignación configurada, DataWorks procede de la siguiente manera:

        • Si un usuario de RAM (sub-account) ejecuta la tarea: DataWorks utiliza la cuenta del sistema del clúster de EMR con el mismo nombre que el operador actual de forma predeterminada. Si la autenticación LDAP o Kerberos está habilitada para el clúster, la tarea falla.

        • Si una cuenta de Alibaba Cloud ejecuta la tarea: La tarea de DataWorks devuelve un error.

      Pass Proxy User Information

      Indica si se debe pasar la información del usuario proxy cuando las tareas se ejecutan en el clúster de EMR.

      Nota

      Cuando LDAP, Kerberos u otro método de autenticación está habilitado, el clúster emite una credencial de autenticación para cada usuario regular. Puede usar un superusuario (usuario real) para actuar como proxy de usuarios regulares (usuarios proxy) durante la autenticación, de modo que los usuarios proxy accedan al clúster con las credenciales del superusuario. Solo necesita agregar al usuario como usuario proxy.

      • Pasar: Cuando las tareas se ejecutan en el clúster de EMR, los permisos de acceso a datos se verifican y controlan en función del usuario proxy.

        • Data Studio y Data Analysis: El nombre de la cuenta de Alibaba Cloud del ejecutor de la tarea se pasa dinámicamente como información del usuario proxy.

        • Operation Center: El nombre de la cuenta de Alibaba Cloud de la identidad de acceso predeterminada configurada al registrar el clúster se pasa como información fija del usuario proxy.

      • No pasar: Cuando las tareas se ejecutan en el clúster de EMR, los permisos de acceso a datos se verifican y controlan según el método de autenticación de cuenta configurado al registrar el clúster.

      La información del usuario proxy se transmite de manera diferente según el tipo de tarea de EMR:

      • Tareas EMR Kyuubi: La información se transmite mediante el elemento de configuración hive.server2.proxy.user.

      • Tareas EMR Spark y tareas EMR Spark SQL en modo no JDBC: La información se transmite mediante el elemento de configuración -proxy-user.

      Archivos de configuración

      Cuando el tipo de clúster se establece en HADOOP, obtenga los archivos de configuración desde la consola de EMR. Para obtener más información, consulte Export EMR cluster configuration files. Después de exportarlos, cambie el nombre de los archivos según las indicaciones de la página de configuración.

      También puede log on to the EMR cluster y obtener los archivos de configuración desde las siguientes rutas.

      /etc/ecm/hadoop-conf/core-site.xml
/etc/ecm/hadoop-conf/hdfs-site.xml
/etc/ecm/hadoop-conf/mapred-site.xml
/etc/ecm/hadoop-conf/yarn-site.xml
/etc/ecm/hive-conf/hive-site.xml
/etc/ecm/spark-conf/spark-defaults.conf
/etc/ecm/spark-conf/spark-env.sh

      Computing Resource Instance Name

      Personalice el nombre de la instancia del recurso de cómputo. Cuando se ejecute una tarea, podrá seleccionar el recurso de cómputo por su nombre.

    3. Haga clic en Confirm para completar la configuración del recurso de cómputo de EMR.

    Inicialización del resource group

    Después de registrar un clúster por primera vez, modificar la configuración del servicio del clúster o actualizar la versión de un componente (por ejemplo, modificar core-site.xml), inicialice el resource group para garantizar que pueda acceder al clúster de EMR a través de network connectivity configuration.

    1. En la página de lista de Computing Resources, localice el recurso de cómputo de EMR que creó. Haga clic en Initialize Resource Group en la esquina superior derecha.

    2. Haga clic en Initialize junto al resource group deseado. Una vez inicializado el resource group, haga clic en Determine.

    (Opcional) Configurar colas de recursos YARN

    On the Computing Resources list page, find the EMR cluster you associated. On the En la pestaña YARN Resource Queue, haga clic en Edit YARN Resource Queue para configure YARN resource queues for tasks in different modules.

    (Opcional) Configurar parámetros de Spark

    Configure parámetros de propiedad de Spark específicos para tareas en diferentes módulos.

    1. On the Computing Resources list page, find the EMR cluster you associated.

    2. Click the Vaya a la pestaña Spark-related Parameter y luego haga clic en Edit Spark Parameters para ir a la página de edición de parámetros de Spark del clúster de EMR.

    3. Click Haga clic en Add debajo de un módulo, introduzca el Spark Property Name y el Spark Property Value correspondiente para configure Spark property parameters for tasks in different modules.

    Siguientes pasos