Todos los productos
Search

Este producto

    MaxCompute:Descripción general de Migration Service (MMS)

    Centro de documentos

    MaxCompute:Descripción general de Migration Service (MMS)

    Última actualización: Sep 04, 2026

    MaxCompute Migration Service (MMS) migra datos desde diversos orígenes hacia MaxCompute. Se integra con el motor MaxCompute Spark para simplificar la migración de datos a gran escala desde orígenes autogestionados, lo que reduce la complejidad de configuración y los costos de operaciones y mantenimiento (O&M).

    Descripción general

    Arquitectura

    MaxCompute Migration Service (MMS) migra tanto metadatos como datos.

    image

    • Migración de metadatos: MMS recupera los metadatos del origen mediante API de metadatos, como Hive Metastore SDK y DataBricks SDK. Posteriormente, genera instrucciones de lenguaje de definición de datos (DDL) de MaxCompute y las ejecuta en MaxCompute para completar la migración.

    • Migración de datos: Una vez sincronizados los metadatos, MMS genera y envía uno o más trabajos de Spark que se ejecutan en MaxCompute según la configuración del trabajo de migración. Estos trabajos extraen datos del origen de datos y los escriben en las tablas de destino en MaxCompute. El servicio MMS gestiona este proceso, lo que elimina la necesidad de desarrollar y mantener trabajos de Spark.

    Flujo de migración

    La siguiente figura ilustra el flujo de trabajo de MaxCompute Migration Service (MMS). El proceso incluye estos pasos principales:

    1. Carga de metadatos: Tras crear un trabajo de migración, MMS se conecta al origen de datos externo para leer y cargar los metadatos, como esquemas de tablas e información de particiones. Luego, almacena dicha información en su propia base de datos para uso posterior.

    2. Creación de un trabajo de migración: MMS admite tres tipos de trabajos: migración completa de base de datos, migración parcial de tablas y migración parcial de particiones. Cada trabajo se divide en varias subtareas que se ejecutan simultáneamente para migrar los datos.

    3. Transferencia de datos y metadatos: Cada subtarea concurrente extrae datos del origen de forma independiente. Primero crea la tabla o partición correspondiente en el proyecto de destino y luego escribe los datos.

    4. Verificación de datos (opcional): Una vez migrados los datos, MMS puede ejecutar un paso de verificación. Comprueba la integridad al comparar el número de filas entre las tablas o particiones de origen y de destino.

    image

    Glosario

    • Origen de datos

      • Objeto que se va a migrar, como una o varias bases de datos de Hive. Los distintos orígenes tienen diferentes capas de datos. MMS asigna las capas de los diversos orígenes a tres niveles: Database, Schema y Table. El esquema es una propiedad de la tabla. La siguiente tabla describe las capas de datos.

        Origen de datos

        Capa de datos

        Hive

        Database.Table

        MaxCompute

        Project.Schema.Table o Project.Table

      • La siguiente tabla describe cómo se leen los datos desde los distintos orígenes:

        Tipo de origen de datos

        Servicio/API de almacenamiento de datos

        Motor de cómputo

        MaxCompute

        Storage API

        • Spark

        • SQL

        BigQuery

        Storage Read API

        Spark

        Hive

        • HDFS

        • S3

        • OSS

        Databricks

        • Azure BLOB Storage

        • Databricks JDBC

    • Trabajo de migración

      Define los objetos por migrar, que pueden ser una base de datos, varias tablas o múltiples particiones.

    • Tarea de migración

      Tras seleccionar los objetos y enviar el trabajo de migración, MMS lo divide en varias tareas independientes según la configuración. La tarea de migración es la unidad real de ejecución. Los tipos de tareas incluyen trabajos de Spark y SQL. Cada tarea puede corresponder a una tabla sin particiones o a varias particiones de una tabla particionada. El proceso de ejecución abarca la migración de metadatos, la migración de datos y la validación de datos.

    • Validación de datos

      Al completar la migración, MMS verifica la consistencia de los datos. El método consiste en ejecutar SELECT COUNT(*) tanto en el origen como en el destino para comparar el número de filas de una tabla o partición. Esto comprueba la integridad de los datos. Los resultados se registran en los registros de tareas.

    Pasos de migración

    Preguntas frecuentes

    ¿Qué tarifas se generan al usar MMS para la migración de datos?

    MaxCompute Migration Service (MMS) no tiene costo. Durante la migración de datos se generan las siguientes tarifas:

    • Tarifas por recursos de cómputo en el destino: MMS envía trabajos de Spark o SQL a un proyecto de MaxCompute para migrar los datos. Estos trabajos consumen unidades de cómputo (CU) de MaxCompute y se facturan según los estándares de facturación de dicho servicio. Los métodos compatibles son pay-as-you-go y suscripción.

    • Tarifas por tráfico de red: La migración requiere conexiones de red, lo que genera tarifas por tráfico.

    • Tarifas por lectura de datos en el origen: Durante la migración, MMS llama a las API de recuperación de datos del origen para leer la información. Esto puede generar tarifas por lectura en el origen, según sus reglas de facturación.

    ¿Cómo elijo entre MMS y DataWorks Data Integration para la migración de datos?

    • MMS: MMS es adecuado para migraciones únicas de grandes volúmenes de datos.

    • DataWorks Data Integration: Este servicio es ideal para la sincronización e integración continua y programada de datos. También admite una amplia variedad de orígenes.