Todos los productos
Search

Este producto

    DataWorks:Preparativos: Obtención de información del clúster y configuración de red

    Centro de documentos

    DataWorks:Preparativos: Obtención de información del clúster y configuración de red

    Última actualización: Sep 04, 2026

    DataWorks se conecta a clústeres de Cloudera’s Distribution Including Apache Hadoop (CDH) y Cloudera Data Platform (CDP). Puede registrar un clúster CDH o CDP en DataWorks para realizar operaciones de desarrollo y gobernanza de datos, como el desarrollo de tareas, la programación, la gestión de metadatos en Data Map y las comprobaciones de Data Quality. Antes de registrar un clúster, debe obtener la información de configuración obligatoria y establecer la conectividad de red entre el clúster y un resource group. Este tema utiliza un clúster CDH como ejemplo para mostrar cómo obtener la información del clúster y configurar la conectividad de red.

    Contexto

    • CDH es la distribución de plataforma de código abierto de Cloudera. Incluye funcionalidades listas para usar, como gestión de clústeres, monitoreo y diagnóstico, y admite diversos componentes para ejecutar flujos de trabajo de big data de extremo a extremo.

    • CDP es una plataforma de datos pública que recopila y consolida datos de clientes desde múltiples plataformas. Reúne datos en tiempo real para crear perfiles de datos de usuarios individuales.

    Puede registrar clústeres CDH y CDP en DataWorks para el desarrollo de tareas, la programación, la gestión de metadatos en Data Map y las comprobaciones de Data Quality.

    Requisitos previos

    • Debe tener desplegado un clúster CDH.

      DataWorks admite CDH desplegado en entornos distintos a Alibaba Cloud ECS, pero debe garantizar la conectividad de red entre el entorno de despliegue y una VPC de Alibaba Cloud. Por lo general, puede utilizar servicios como Express Connect o una VPN para establecer esta conexión.

    • Se requiere un nuevo resource group serverless de DataWorks (recomendado) o un resource group exclusivo heredado para programación.

      De forma predeterminada, un resource group de DataWorks está aislado de la red respecto a otros productos en la nube. Para conectarse a CDH, primero debe establecer la conectividad de red entre el clúster CDH y el resource group.

      Nota

      • Un resource group serverless (recomendado) es un resource group de propósito general que admite varios tipos de tareas, como sincronización de datos y programación de tareas. Para obtener detalles sobre la compra, consulte Use serverless resource groups. Los nuevos usuarios (aquellos que no han activado ninguna edición de DataWorks en la región actual) solo pueden adquirir resource groups de nueva versión.

      • También puede utilizar un resource group exclusivo heredado para programación con el fin de ejecutar tareas CDH o CDP. Para más información, consulte Use exclusive resource groups for scheduling.

    Obtención de la información de configuración del clúster CDH

    Siga estos pasos para obtener la información de configuración de CDH necesaria para registrar el clúster en DataWorks.

    1. Obtenga la información de la versión de CDH.

      Inicie sesión en Cloudera Manager. En la página principal, localice la información de la versión de CDH, por ejemplo, Cluster 1 (CDH 6.1.1, Parcel), en el panel de clústeres a la izquierda. Asimismo, confirme el estado de ejecución de servicios como HBase, HDFS, Hive, Hue, Impala, Oozie, Solr, Spark, YARN y ZooKeeper.

    2. Obtenga la información de direcciones del host y de los componentes necesaria para configurar la conexión del clúster durante el registro.

      Búsqueda de información en Cloudera Manager

      Inicie sesión en Cloudera Manager. En la barra de navegación superior, haga clic en Hosts > Roles. La página Roles agrupa los hosts según sus roles asignados. Por ejemplo, al host cdh-header-1-cn-shanghai se le asignan roles como HMS, HS2 y RM, mientras que a los hosts cdh-worker-[1-2]-cn-shanghai se les asigna el rol ID.

      Donde:

      • HS2: HiveServer2

      • HMS: Hive Metastore

      • ID: Impala Daemon

      • RM: YARN ResourceManager

    3. Obtenga los archivos de configuración que se cargarán durante el registro del clúster CDH.

      1. Inicie sesión en Cloudera Manager.

      2. En la página Status, haga clic en el menú desplegable del clúster y seleccione View Client Configuration URLs.

      3. Descargue el paquete de configuración del servicio requerido. Por ejemplo, para descargar la configuración de YARN, busque YARN en el cuadro de diálogo. Este cuadro muestra enlaces de descarga para las configuraciones de cliente de servicios como YARN (MR2 Included), HBase, Solr, HDFS y Hive. Haga clic en el icono de descarga del servicio objetivo, como YARN (MR2 Included), para obtener el archivo de configuración del cliente.

    4. Obtenga la información de red del clúster CDH para configurar su conexión con el resource group de DataWorks.

      1. Inicie sesión en la consola de ECS donde está desplegado el clúster CDH.

      2. En la lista de instancias, localice la instancia ECS donde está desplegado el clúster CDH y haga clic en el nombre de la instancia para abrir la página Instance Details. Consulte y registre la información de Security Group, VPC y vSwitch.

    Configuración de la conectividad de red

    Resource group serverless

    Esta sección utiliza un resource group serverless como ejemplo para describir cómo configurar la conectividad de red entre el resource group y el clúster CDH.

    De forma predeterminada, los resource groups serverless de DataWorks están aislados de la red respecto a otros productos en la nube. Para conectarse a un clúster CDH, debe vincular el resource group a la VPC donde se encuentra el clúster. Esto establece la conectividad de red entre el clúster CDH y el resource group.

    1. Vaya a la página de configuración de red del resource group serverless.

      1. Inicie sesión en la consola de DataWorks.

      2. En el panel de navegación izquierdo, haga clic en Resource Group. La página Resource Groups se abre en la pestaña Exclusive Resource Group de forma predeterminada.

      3. Localice su resource group y haga clic en Network Settings en la columna Actions.

    2. Vincule la VPC.

      En la pestaña VPC Binding, dentro de la sección Data Scheduling & Data Integration, haga clic en Add Binding. En la página de configuración, seleccione la VPC, la zona y el vSwitch del clúster CDH que registró en Step 4 of Obtain CDH cluster configuration information.

    3. Configure los hosts.

      Vaya a la consola de Alibaba Cloud DNS. Utilice Private DNS (PrivateZone) para resolver de manera autoritativa las direcciones de host que registró en Step 2 of Obtain CDH cluster configuration information.

      1. Active Private DNS. Para más detalles, consulte Activate Private DNS.

        Nota

        Puede omitir este paso si ya activó Private DNS.

      2. Agregue un nombre de dominio autoritativo integrado. Para más detalles, consulte Add a built-in authoritative domain name.

        Nota

        • Este tema utiliza el nombre de host cdh-header-1-cn-shanghai obtenido en Manually find the information in the Cloudera Manager UI como ejemplo para la resolución autoritativa. Ajuste los parámetros según su configuración real de nombres de host.

        • La dirección IP resuelta es la private IP address de la instancia ECS donde está desplegado su clúster CDH.

      3. Establezca el alcance de la zona. Para más detalles, consulte Set the Scope for a Zone.

        Nota

        Al establecer el alcance de VPC para la zona, seleccione la VPC a la que está vinculado el resource group.

    Resource group exclusivo para programación

    Esta sección explica cómo configurar la conectividad de red entre el resource group exclusivo para programación y el clúster CDH.

    De forma predeterminada, un resource group exclusivo de DataWorks para programación está aislado de la red respecto a otros productos en la nube. Para conectarse a un clúster CDH, debe vincular el resource group a la VPC donde se encuentra el clúster. Esto establece la conectividad de red entre el clúster CDH y el resource group exclusivo para programación.

    1. Vaya a la página de configuración de red del resource group exclusivo.

      1. Inicie sesión en la consola de DataWorks.

      2. En el panel de navegación izquierdo, haga clic en Resource Group. La página Resource Groups se abre en la pestaña Exclusive Resource Group de forma predeterminada.

      3. Localice su resource group exclusivo para programación y haga clic en Network Settings en la columna Actions.

    2. Vincule la VPC.

      En la pestaña VPC Binding, haga clic en Add Binding. En la página de configuración, seleccione la VPC, la zona, el vSwitch y el security group del clúster CDH que registró en Step 4 of Obtain CDH cluster configuration information.

    3. Configure los hosts.

      Haga clic en la pestaña Hostname-to-IP Mapping. Haga clic en Batch Edit e introduzca la información de direcciones de host que registró en Step 2 of Obtain CDH cluster configuration information en el cuadro de diálogo.

    Siguientes pasos

    Una vez completados los preparativos de este tema, puede registrar el clúster CDH en DataWorks para comenzar el desarrollo. Para más información, consulte DataStudio (legacy): Bind a CDH compute engine.