Para que DataWorks ejecute tareas de sincronización de datos, programación u otras operaciones, la virtual private cloud (VPC) asociada a su resource group debe poder alcanzar el origen de datos. Este tema describe las soluciones de conectividad de red disponibles para los distintos entornos de red.
Contexto
La mayoría de las funciones de DataWorks —como la creación de orígenes de datos, la sincronización de datos, el análisis de datos, la recopilación de metadatos y DataService— operan sobre orígenes de datos o recursos de cómputo conectados. Si el origen de datos al que desea acceder no se encuentra en la VPC asociada a su resource group de DataWorks (por ejemplo, si está en otra VPC o en un IDC local), debe seleccionar una solución de conectividad de red adecuada para conectar el VPC attached to the resource group a la red donde reside el origen de datos.
Por ejemplo, en un flujo de sincronización de datos, la VPC asociada al resource group debe estar conectada tanto a la red del origen como a la del destino.
Requisitos previos
Debe haber adquirido un resource group con required specifications. Para más detalles, consulte Use a serverless resource group.
Para obtener más información sobre los resource groups, consulte Overview of resource groups.
Las soluciones descritas en este tema aplican a serverless resource groups y a los siguientes resource groups heredados: exclusive resource groups for Data Integration, exclusive resource groups for scheduling y exclusive resource groups for Data Service.
Notas
Los serverless resource groups pueden acceder a orígenes de datos en entornos de red complejos a través de una red privada mediante la asociación de una VPC. Sin embargo, los serverless resource groups no tienen acceso a la red pública de forma predeterminada. Para alcanzar un origen de datos a través de Internet, configure un Internet NAT Gateway y direcciones EIP en la VPC asociada al resource group. Para más detalles, consulte Connect to a data source over the Internet.
Las conexiones por red pública no garantizan velocidad ni estabilidad. Para la sincronización de datos, utilice una red privada o Cloud Enterprise Network (CEN).
Es necesario establecer la conectividad de red entre el resource group y el origen de datos antes de ejecutar las tareas.
Los resource groups no admiten entornos de red clásica. Migre sus orígenes de datos y servicios de una red clásica a una VPC antes de continuar.
Elija una solución
La elección depende de la ubicación del origen de datos respecto al resource group de su espacio de trabajo de DataWorks. Utilice la siguiente información para identificar la solución adecuada según su escenario:
Solución 1: Conexión a un origen de datos de Alibaba Cloud (misma cuenta, misma región)
Casos de uso
Esta solución es recomendable si su origen de datos y su espacio de trabajo de DataWorks cumplen todas las condiciones siguientes:
El origen de datos es un producto de Alibaba Cloud.
El origen de datos y el espacio de trabajo de DataWorks pertenecen a la misma cuenta de Alibaba Cloud.
El origen de datos y el espacio de trabajo de DataWorks se encuentran en la misma región.
Descripción de la solución
Para el escenario de misma cuenta y misma región, se recomienda utilizar una conexión VPC (red privada). Despliegue el resource group de su espacio de trabajo de DataWorks y el origen de datos en la misma VPC para habilitar la conectividad de red.
Diagrama de conectividad de red
En el escenario de misma cuenta y misma región, configure la conectividad de red entre un serverless resource group de DataWorks y una base de datos ApsaraDB RDS de la siguiente manera:
En la página Database Connection de la instancia RDS, confirme la VPC a la que pertenece la instancia. Por ejemplo, VPC 1 con el bloque CIDR 192.168.0.0/16.
En la página Resource Groups de la consola de DataWorks, asocie el serverless resource group a la misma VPC que la instancia RDS.
En la sección VPC Binding de los detalles del resource group, obtenga el bloque CIDR del vSwitch. Por ejemplo, 192.168.0.0/24.
Agregue el bloque CIDR del vSwitch al grupo dataworks en la página Whitelist and Security Group de la instancia RDS. Por ejemplo, 192.168.6.0/24.
Configurar la conectividad de red
Para consultar la descripción detallada de la solución y los pasos de configuración, vea Connect to a data source in the same account and region.
Solución 2: Conexión a un origen de datos de Alibaba Cloud (misma cuenta, diferentes regiones)
Casos de uso
Esta solución es recomendable si su origen de datos y su espacio de trabajo de DataWorks cumplen todas las condiciones siguientes:
El origen de datos es un producto de Alibaba Cloud.
El origen de datos y el espacio de trabajo de DataWorks pertenecen a la misma cuenta de Alibaba Cloud.
El origen de datos y el espacio de trabajo de DataWorks se encuentran en diferentes regiones.
Descripción de la solución
Para el escenario de misma cuenta y diferentes regiones, se recomienda utilizar una conexión VPC (red privada). Utilice una herramienta de conectividad de red (Cloud Enterprise Network o VPC Peering Connection) para conectar la VPC del resource group de su espacio de trabajo de DataWorks con la VPC donde reside el origen de datos.
Diagrama de conectividad de red
En el escenario de misma cuenta y diferentes regiones, donde DataWorks reside en la región China (Shanghai) y la base de datos en la región China (Hangzhou), configure la conectividad de red de la siguiente manera:
Consulte la información de VPC de la instancia de base de datos para obtener el bloque CIDR de la VPC, como
192.168.0.0/16, y el endpoint interno.En la página Resource Groups de la consola de DataWorks, localice el serverless resource group que desea utilizar.
Utilice una herramienta de conectividad de red, como Cloud Enterprise Network, para conectar la VPC del lado de DataWorks con la VPC del lado de la base de datos.
En la sección VPC Binding de los detalles del resource group, consulte el bloque CIDR del vSwitch asociado, como
172.16.0.0/24.Agregue el bloque CIDR del vSwitch
172.16.0.0/24al grupo dataworks en la lista blanca de la base de datos.En la parte inferior de la página de detalles del resource group, haga clic en Custom Route y agregue una ruta para el bloque CIDR de la VPC del lado de la base de datos.
Configurar la conectividad de red
Para consultar la descripción detallada de la solución y los pasos de configuración, vea Connect to a data source in the same account but a different region.
Solución 3: Conexión a un origen de datos de Alibaba Cloud (diferentes cuentas)
Casos de uso
Esta solución es recomendable si su origen de datos y su espacio de trabajo de DataWorks cumplen todas las condiciones siguientes:
El origen de datos es un producto de Alibaba Cloud.
El origen de datos y el espacio de trabajo de DataWorks pertenecen a diferentes cuentas de Alibaba Cloud.
Descripción de la solución
Para el escenario de diferentes cuentas, se recomienda utilizar una conexión VPC (red privada). Utilice una herramienta de conectividad de red (Cloud Enterprise Network o VPC Peering Connection) para conectar el origen de datos bajo la Cuenta A con el resource group del espacio de trabajo de DataWorks bajo la Cuenta B.
Diagrama de conectividad de red
En el escenario de diferentes cuentas, donde la Cuenta A posee la base de datos ApsaraDB RDS y la Cuenta B posee DataWorks, configure la conectividad de red entre cuentas de la siguiente manera:
En la página Database Connection de la instancia RDS bajo la Cuenta A, obtenga la VPC de la instancia y su bloque CIDR. En este ejemplo, el bloque CIDR es
192.168.0.0/16.En la página Resource Groups de la consola de DataWorks bajo la Cuenta B, consulte los detalles del serverless resource group y confirme el bloque CIDR del vSwitch asociado en la sección Data Scheduling & Data Integration. En este ejemplo, el bloque CIDR es
172.16.66.0/24.Utilice una herramienta de conectividad de red, como Cloud Enterprise Network, para conectar la VPC de la Cuenta B con la VPC de la Cuenta A, de modo que ambas VPC puedan comunicarse entre sí.
En Whitelist Settings de la instancia RDS, agregue un grupo dataworks e incluya el bloque CIDR del vSwitch
172.16.66.0/24del resource group de DataWorks en la lista blanca.En la página de detalles del resource group en la consola de DataWorks, haga clic en Custom Route y configure una ruta hacia la VPC donde reside la instancia RDS.
Configurar la conectividad de red
Para consultar la descripción detallada de la solución y los pasos de configuración, vea Connect to a data source under a different account.
Solución 4: Conexión a un origen de datos desplegado en ECS
Caso de uso
Esta solución es recomendable si su origen de datos cumple la siguiente condición:
El origen de datos está desplegado en una instancia ECS de Alibaba Cloud.
Descripción de la solución
Si la instancia ECS que aloja el origen de datos y DataWorks están bajo la misma cuenta y en la misma región, se recomienda utilizar una conexión VPC (red privada). Despliegue el resource group de su espacio de trabajo de DataWorks y la instancia ECS en la misma VPC para habilitar la conectividad de red.
Si la instancia ECS que aloja el origen de datos y DataWorks están bajo diferentes cuentas o bajo la misma cuenta pero en diferentes regiones, se recomienda utilizar una conexión VPC (red privada). Utilice una herramienta de conectividad de red (Cloud Enterprise Network o VPC Peering Connection) para conectar la VPC del resource group de su espacio de trabajo de DataWorks con la VPC donde reside la instancia ECS.
Diagrama de conectividad de red
Misma cuenta, misma región
Si el origen de datos está desplegado en una instancia ECS que pertenece a la misma cuenta de Alibaba Cloud y reside en la misma región que DataWorks, configure la conectividad de red de la siguiente manera:
En la consola de ECS, consulte la información de VPC y vSwitch de la instancia ECS que desea utilizar, como MySQL_on_ECS.
En la página Resource Groups de la consola de DataWorks, localice el serverless resource group correspondiente a su espacio de trabajo.
En la sección VPC Binding de los detalles del resource group, consulte el bloque CIDR del vSwitch asociado a Data Scheduling & Data Integration, como
172.16.0.0/24.Agregue el bloque CIDR del vSwitch a una regla de entrada del security group de ECS. Establezca el tipo de protocolo en Custom TCP, el rango de puertos en MySQL(3306), el objeto de autorización en el bloque CIDR del vSwitch del resource group, como
172.16.0.0/24, y la acción en Allow.
Misma cuenta, diferentes regiones
Si el origen de datos está desplegado en una instancia ECS que pertenece a la misma cuenta de Alibaba Cloud pero reside en una región diferente a la de DataWorks, configure la conectividad de red de la siguiente manera:
En la consola de ECS, consulte la información de VPC y vSwitch de la instancia ECS que desea utilizar. En este ejemplo, la instancia es MySQL_on_ECS, que reside en Hangzhou Zone H y cuya dirección IP privada principal es
192.168.6.172.En la página de detalles del resource group de la consola de DataWorks, consulte el registro de asociación de Data Scheduling & Data Integration.
Utilice Cloud Enterprise Network o una conexión de emparejamiento de VPC para conectar la VPC de DataWorks, que es VPC2 en la región China (Shanghai), con la VPC de la instancia ECS, que es VPC1 en la región China (Hangzhou).
Confirme que el bloque CIDR del vSwitch del resource group de DataWorks sea
172.16.0.0/24.Agregue una regla de entrada al security group de ECS para permitir el acceso. Establezca el tipo de protocolo en Custom TCP, el origen en el bloque CIDR del resource group de DataWorks
172.16.0.0/24y el rango de puertos en MySQL(3306).Registre el bloque CIDR del vSwitch de la instancia ECS. Necesitará este bloque CIDR para configurar una ruta.
En la página de detalles del resource group de la consola de DataWorks, haga clic en Custom Route y agregue una ruta que apunte al bloque CIDR del vSwitch de la instancia ECS.
Diferentes cuentas
Si el origen de datos está desplegado en una instancia ECS bajo la Cuenta A de Alibaba Cloud y DataWorks pertenece a la Cuenta B de Alibaba Cloud, configure la conectividad de red de la siguiente manera:
En la consola de ECS de la Cuenta A, obtenga la información de VPC y vSwitch de la instancia MySQL_on_ECS. En este ejemplo, la instancia reside en Hangzhou Zone H y su dirección IP privada principal es
192.168.6.172.En la consola de DataWorks de la Cuenta B, consulte los detalles del serverless resource group y confirme que el bloque CIDR del vSwitch asociado a Data Scheduling & Data Integration sea
172.16.66.0/24.Establezca una conexión VPC entre cuentas entre VPC2 del lado de DataWorks y VPC1 del lado de ECS.
Agregue una regla de entrada al security group de ECS para permitir el acceso. Establezca el tipo de protocolo en Custom TCP, el objeto de autorización en
172.16.66.0/24, que corresponde al bloque CIDR del vSwitch del resource group de DataWorks, y el rango de puertos en MySQL(3306).En la página de detalles del resource group en la consola de DataWorks, haga clic en Custom Route y agregue una ruta que apunte al bloque CIDR del vSwitch de la instancia ECS.
Configurar la conectividad de red
Para consultar la descripción detallada de la solución y los pasos de configuración, vea Connect to a data source deployed on ECS.
Solución 5: Conexión a un origen de datos en un IDC local
Caso de uso
Esta solución es recomendable si su origen de datos cumple la siguiente condición:
El origen de datos está desplegado en un IDC local.
Descripción de la solución
Para orígenes de datos desplegados en un IDC local, se recomienda utilizar una conexión VPC (red privada). Utilice una herramienta de conectividad de red (Express Connect) para conectar la red local donde reside el origen de datos con la VPC del resource group de su espacio de trabajo de DataWorks.
Diagrama de conectividad de red
Para conectarse a un origen de datos desplegado en un IDC local, MySQL en este ejemplo, realice los siguientes pasos:
Confirme el bloque CIDR del IDC, como
172.16.10.0/24.En la consola de DataWorks, obtenga la información del exclusive resource group for Data Integration.
Utilice un circuito Express Connect para conectar la VPC al IDC.
Consulte el bloque CIDR del vSwitch asociado al resource group, como
192.168.0.0/24.Configure reglas de lista blanca y firewall en la base de datos MySQL del IDC para permitir el acceso desde el bloque CIDR del vSwitch del resource group. Ejemplo de lista blanca:
CREATE USER 'dataworks_user'@'192.168.0.0/24' IDENTIFIED BY 'StrongPassword123';yGRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'192.168.0.0/24' WITH GRANT OPTION;. Ejemplo de firewall:sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.0.0/24" port="3306" protocol="tcp" accept'.En la página de detalles del resource group, haga clic en Custom Route y agregue una ruta para el bloque CIDR del IDC.
Configurar la conectividad de red
Para consultar la descripción detallada de la solución y los pasos de configuración, vea Connect to a data source in an on-premises IDC.
Solución 6: Conexión a un origen de datos a través de Internet
Caso de uso
Esta solución es recomendable si su origen de datos cumple la siguiente condición:
El origen de datos tiene un endpoint público.
Descripción de la solución
Los serverless resource groups no tienen acceso a la red pública de forma predeterminada. Debe configurar un Internet NAT Gateway y direcciones EIP en la VPC asociada al resource group antes de poder acceder a orígenes de datos a través de Internet.
-
Los resource groups heredados tienen acceso a la red pública de forma predeterminada y pueden conectarse directamente.
NotaLos resource groups heredados están en proceso de descontinuación. Se recomienda utilizar serverless resource groups.
Diagrama de conectividad de red
El diagrama aplica únicamente a los serverless resource groups. Los resource groups heredados ya tienen direcciones EIP asociadas de forma predeterminada y pueden conectarse directamente.
Configurar la conectividad de red
Para consultar la descripción detallada de la solución y los pasos de configuración, vea Connect to a data source over the Internet.
Referencias
Para obtener más información sobre los resource groups, consulte Overview of resource groups.
Para crear y utilizar un resource group, consulte Use a serverless resource group.
Para asociar una VPC a un resource group, consulte Associate a VPC.
Para configurar un NAT Gateway de Internet en la VPC y el vSwitch asociados a un resource group, consulte Create and manage an Internet NAT Gateway.
Para preguntas frecuentes sobre conectividad de red, consulte FAQ about network connectivity.