DataWorks:Mapear metadatos de Hologres a tablas externas de MaxCompute

Contexto

MaxCompute permite consultar y analizar datos en sistemas externos como Hologres mediante tablas externas. Con un controlador JDBC de PostgreSQL y la autorización de roles de RAM, puede consultar datos externos directamente sin importarlos a MaxCompute.

DataWorks simplifica este proceso mediante el mapeo de metadatos, el cual aprovecha las siguientes capacidades de MaxCompute:

• Schema-level metadata mapping: utiliza la función external schema de MaxCompute.

• Table-level metadata mapping: utiliza la función external table de MaxCompute.

Requisitos previos

• Se han creado un MaxCompute project y un Hologres instance.

• El Hologres instance has been added al catálogo de datos.

• El mapeo de metadatos a nivel de esquema requiere un origen de datos externo de MaxCompute. Debe create a Hologres-type external data source in MaxCompute.

  Importante

  Al crear un origen de datos externo de MaxCompute:

  • En Host, introduzca la dirección de red clásica. Las direcciones VPC no son compatibles.

  • Para Authentication Method, solo se admite el método de rol de RAM. El método ExecuteWithUserAuth no es compatible.

Control de acceso

DataWorks determina la identidad de acceso según el origen del proyecto de MaxCompute y verifica los permisos en consecuencia.

Límites

• Solo los datos en bases de datos internas de Hologres pueden mapearse a MaxCompute.

• Para conocer los límites sobre el uso de tablas externas de Hologres en MaxCompute, consulte Hologres external tables.

• MaxCompute y Hologres utilizan tipos de datos diferentes. Algunos tipos de Hologres no pueden mapearse y se omiten automáticamente durante el proceso. Revise detenidamente la Data type mapping between MaxCompute and Hologres.

Punto de entrada

1. Vaya a la página Workspaces en la consola de DataWorks. En la barra de navegación superior, seleccione la región deseada. Busque el espacio de trabajo correspondiente y elija Shortcuts > Data Studio en la columna Actions.

2. En la barra de navegación izquierda, haga clic en para ir a Data Directory.

3. En el directorio Hologres, localice el esquema o la tabla que requiere mapeo de metadatos a MaxCompute, haga clic derecho sobre él y seleccione Map Metadata to MaxCompute.

Mapeo de metadatos a nivel de esquema

Esta función mapea los metadatos de un esquema de Hologres a un esquema externo en MaxCompute. Antes de comenzar, se recomienda leer la Data Lakehouse 2.0 User Guide para obtener información sobre los orígenes de datos externos y los esquemas externos de MaxCompute.

Mapeo de metadatos a nivel de tabla

Esta función mapea una tabla específica de Hologres a una tabla específica en MaxCompute como tabla externa. Puede especificar la ruta y un nombre personalizado para la tabla externa.

1. Go to the metadata mapping configuration page.

2. En el proyecto de Hologres, busque la tabla cuyos metadatos desea mapear a MaxCompute. Haga clic derecho en el nombre de la tabla y seleccione Map Metadata to MaxCompute. Aparecerá la página de configuración de mapeo de metadatos.

3. Configure los parámetros para el mapeo de metadatos a nivel de tabla.

   • Hologres (origen)

     Parámetro	Descripción
     Source Object Type	El tipo de objeto de origen para el mapeo a nivel de tabla. El valor predeterminado es Hologres Table.
     Source Object Name	La tabla de Hologres de origen que se mapeará. Este valor está fijo en la tabla de Hologres seleccionada actualmente.

   • MaxCompute (destino)

     Parámetro	Descripción
     Instance search method	Seleccione cómo buscar el proyecto de MaxCompute. From DataWorks data source: seleccione el proyecto de MaxCompute correspondiente eligiendo el origen de datos de MaxCompute vinculado al espacio de trabajo actual. También debe seleccionar un origen en Data Sources y especificar un nombre para la External Table con el fin de identificar la tabla externa en el proyecto de MaxCompute de destino. Asegúrese de que la identidad de acceso especificada para el origen de datos tenga permisos de lectura y escritura tanto en la tabla de Hologres de origen como en el proyecto de MaxCompute de destino. Nota Solo los usuarios con el rol O&M o Workspace Administrator pueden seleccionar orígenes de datos de producción. I have permission: seleccione el proyecto de MaxCompute de destino entre los proyectos a los que tiene permiso de acceso bajo su cuenta principal actual de Alibaba Cloud. Tras seleccionar esta opción, también debe definir el nombre de la External Table para especificar la tabla externa de destino. Asegúrese de contar con permisos de lectura y escritura tanto en la tabla de Hologres de origen como en el proyecto de MaxCompute de destino.
     Data Sources	Cuando Project Find Method está configurado como From DataWorks data source, debe seleccionar manualmente el origen de datos de MaxCompute de destino.
     Project Name	Cuando Project Find Method está configurado como I have permission, debe seleccionar manualmente el proyecto de MaxCompute de destino.
     Schema	Especifique el nombre del esquema externo en el proyecto de MaxCompute de destino al que se mapearán los metadatos del esquema de Hologres de origen.
     External Table	Especifique el nombre de la nueva tabla externa que se creará bajo el esquema del proyecto de MaxCompute indicado. Los datos de la tabla de origen se mapearán a esta tabla. De forma predeterminada, el nombre coincide con el de la tabla de Hologres. Nota La creación de una tabla externa es una acción única. Los metadatos no se actualizan automáticamente. Para actualizarlos, debe eliminar la tabla externa actual y crear manualmente el mapeo de metadatos de nuevo.
     MaxCompute foreign table permissions	El método de autenticación y autorización para la tabla externa de MaxCompute una vez mapeados los metadatos de Hologres. Dual-signature: RamRole: utiliza el modo STS para la autenticación y autorización.
     RoleARN	Cuando MaxCompute foreign table permissions está configurado como RAM Role, debe configurar este parámetro. Debe crear un rol de RAM e introducir su ARN aquí. Para obtener información sobre los permisos necesarios para el rol de RAM, consulte Hologres external tables.
     Location	La dirección de mapeo entre la tabla de Hologres y la tabla de MaxCompute. Se genera automáticamente y no puede modificarse.
     Lifecycle	Establezca el ciclo de vida para la tabla externa de destino.
     Field	Configure los MaxCompute fields y el MaxCompute data type en la tabla externa de destino según sea necesario. Nota MaxCompute y Hologres tienen tipos de datos diferentes, y algunos no pueden mapearse. Para más detalles, consulte Data type mapping between MaxCompute and Hologres.

4. Haga clic en el botón Run de la parte superior para completar el mapeo de datos a nivel de tabla de Hologres.

Siguientes pasos

• En Data Directory > MaxCompute, puede consultar los esquemas externos o tablas externas mapeados bajo un esquema específico.

• Puede consultar datos de una tabla externa de Hologres en un nodo de DataStudio > MaxCompute SQL.