DataWorks:Origen de datos de MaxCompute

Lectura por lotes

• MaxCompute Reader admite la lectura de datos de tablas particionadas y no particionadas, pero no de vistas virtuales ni tablas externas.

• Al realizar una lectura por lotes desde una tabla particionada de MaxCompute, no es posible configurar directamente la asignación de campos para las columnas de clave de partición. Para sincronizar valores de clave de partición, agregue un campo personalizado, introduzca manualmente el nombre de la partición y configure posteriormente la asignación de campos.

• Es posible especificar valores de partición mediante parámetros de programación para habilitar el reemplazo automático, de modo que los datos de la partición correspondiente se sincronicen según el horario de programación.

  Por ejemplo, una tabla particionada llamada t0 contiene las columnas id y name. La clave de partición de nivel 1 es pt y la clave de partición de nivel 2 es ds. Para leer datos de la partición donde pt=<business date> y ds=hangzhou, debe especificar los valores de partición como pt=${scheduling parameter} y ds=hangzhou al configurar el origen. Posteriormente, configure la asignación de columnas para las columnas id y name.

• Puede escribir columnas de clave de partición en una tabla de destino agregándolas como campos personalizados.

• MaxCompute Reader admite el filtrado de datos mediante una cláusula WHERE.

Escritura por lotes

• MaxCompute Writer no admite el tipo de datos VARCHAR si los datos de origen contienen valores nulos.

• Si la tabla de destino es una DeltaTable, expanda Advanced Configuration y establezca Visible After Synchronization en Yes. De lo contrario, la tarea generará un error si la concurrencia es mayor que 1.

• No se admite la sincronización de datos desde un origen hacia una tabla externa de MaxCompute.

• Si una columna de la tabla de destino no está asignada a una columna de origen, Data Integration establece su valor en nulo tras la sincronización, incluso si se especificó un valor predeterminado al crear la tabla.

• MaxCompute Writer no admite instrucciones SQL previas a la importación (preSql) ni instrucciones SQL posteriores a la importación (postSql). Si necesita ejecutar operaciones SQL en la tabla de destino antes o después de escribir los datos (por ejemplo, ejecutar instrucciones DELETE para eliminar datos parciales en escrituras incrementales), configure un nodo SQL aguas arriba o aguas abajo de la tarea de sincronización de datos para gestionar las operaciones de preprocesamiento o posprocesamiento requeridas.

Escritura en tiempo real

• Las tareas de sincronización en tiempo real admiten serverless resource groups.

• Las tareas de sincronización en tiempo real no admiten la sincronización de tablas sin clave principal.

• No se admite la sincronización de datos desde un origen hacia una tabla externa de MaxCompute.

• Al realizar una sincronización en tiempo real hacia el origen de datos predeterminado de MaxCompute (generalmente odps_first), se utiliza un par de AccessKey temporal de forma predeterminada. Este par de AccessKey temporal caduca después de 7 días, lo que provoca el fallo de la tarea. La plataforma reinicia automáticamente la tarea cuando detecta que el fallo se debe a un par de AccessKey temporal caducado. Si ha configurado reglas de monitoreo para este tipo de alerta, recibirá una notificación de alerta.

• En las tareas de sincronización en tiempo real con un clic hacia MaxCompute, solo es posible consultar los datos completos históricos el día de la configuración. Los datos incrementales solo pueden consultarse en MaxCompute una vez completada la fusión al día siguiente.

• Las tareas de sincronización en tiempo real con un clic hacia MaxCompute generan una partición completa cada día. Para evitar un uso excesivo de almacenamiento, las tablas de MaxCompute creadas automáticamente por estas tareas tienen un ciclo de vida predeterminado de 30 días. Si esto no cumple con sus requisitos empresariales, puede hacer clic en el nombre de la tabla de MaxCompute correspondiente al configurar la tarea de sincronización para modificar el ciclo de vida.

• Data Integration utiliza el canal de datos de sincronización del motor de MaxCompute para cargar y descargar datos. Para conocer los detalles del SLA del canal de datos de sincronización, consulte MaxCompute Tunnel overview. Evalúe sus opciones tecnológicas de sincronización de datos basándose en el SLA del canal de datos de sincronización del motor de MaxCompute.

• Para la sincronización en tiempo real con un clic hacia MaxCompute en modo de instancia, el resource group exclusivo para Data Integration debe tener una especificación mínima de 8C16G.

• Solo se admiten orígenes de datos personalizados de MaxCompute que se encuentren en la misma región que el espacio de trabajo actual. Los proyectos de MaxCompute entre regiones pueden pasar la prueba de conectividad, pero durante la ejecución de la tarea se notificará un error que indica que el motor no existe en la fase de creación de tablas en MaxCompute.

• Cuando se utiliza MaxCompute como destino para la sincronización de base de datos completa, si el tipo de tabla es una tabla normal, solo se admiten one-click real-time synchronization to MaxCompute y el modo streaming incremental para la sincronización en tiempo real de base de datos completa. Si el tipo de tabla es Delta Table, se admiten tanto la sincronización en tiempo real de base de datos completa como one-click real-time synchronization to MaxCompute.

  Nota

  Al utilizar un origen de datos personalizado de MaxCompute, el proyecto de DataWorks debe seguir asociado a un motor de MaxCompute. De lo contrario, no podrá crear nodos SQL de MaxCompute, lo que provocará un fallo en la creación del nodo de marca de finalización para la sincronización completa.

Columnas admitidas por los tipos de datos 1.0

Columnas admitidas por los tipos de datos 2.0 y tipos de datos compatibles con Hive

Conversión de tipos de datos

La siguiente tabla describe las conversiones de tipos de datos que admite MaxCompute Reader.

Si falla una conversión de datos o no se pueden escribir datos en el origen de datos de destino, los datos se tratan como datos sucios. Puede utilizar esto en combinación con el umbral de datos sucios.

Conexión a MaxCompute y habilitación de configuraciones a nivel de proyecto

• Inicie sesión en el cliente de MaxCompute. Para obtener más información, consulte MaxCompute client.

• Habilite las configuraciones a nivel de proyecto de MaxCompute: asegúrese de contar con los permisos necesarios. Puede utilizar una cuenta de Project Owner para realizar las operaciones relacionadas. Para obtener más información sobre los permisos de MaxCompute, consulte MaxCompute permissions.

Habilitación de la propiedad ACID

Puede utilizar una cuenta de Project Owner para ejecutar el siguiente comando en el cliente y habilitar la propiedad ACID. Para obtener más información sobre la semántica ACID en MaxCompute, consulte ACID semantics.

setproject odps.sql.acid.table.enable=true;

(Opcional) Habilitación de tipos de datos 2.0

Si necesita utilizar el tipo TIMESTAMP en los tipos de datos 2.0 de MaxCompute, puede usar una cuenta de Project Owner para ejecutar el siguiente comando en el cliente y habilitar los tipos de datos 2.0.

setproject odps.sql.type.system.odps2=true;

(Opcional) Concesión de acceso a cuentas

Al asociar un recurso de cómputo de MaxCompute con un espacio de trabajo, se crea de forma predeterminada un origen de datos de MaxCompute en DataWorks. Puede utilizar este origen de datos para la sincronización de datos en el espacio de trabajo actual. Si desea sincronizar datos desde este origen de datos de MaxCompute en otro espacio de trabajo, asegúrese de que la cuenta de acceso especificada para el origen de datos en dicho espacio tenga los permisos necesarios para acceder al proyecto de MaxCompute. Para la autorización entre cuentas, consulte Cross-account authorization.

Configuración de una tarea de sincronización por lotes de tabla única

• Para consultar el procedimiento, véase Configure a batch synchronization task in wizard mode y Configure a batch synchronization task in script mode.

• Para obtener una lista completa de parámetros y demostraciones de scripts para el modo de script, consulte Appendix: Script demos and parameter descriptions.

Configuración de una tarea de sincronización en tiempo real de tabla única

Para consultar el procedimiento, véase Configure a single-table real-time synchronization task.

Configuración de una tarea de sincronización de base de datos completa

Para consultar el procedimiento, véase Synchronize data from a full database in batch mode, Synchronize data from a full database in real-time mode y One-click real-time synchronization to MaxCompute.

Configuración de una tarea de sincronización por lotes mediante el editor de código

Si desea configurar una tarea de sincronización por lotes mediante el editor de código, debe configurar los parámetros relacionados en el script siguiendo los requisitos unificados de formato de script. Para obtener más información, consulte Script mode configuration. La siguiente información describe los parámetros que debe configurar para los orígenes de datos al utilizar el editor de código para una tarea de sincronización por lotes.

Demostración de script de Reader

Elimine los comentarios del siguiente código antes de ejecutarlo.

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"odps",//The plug-in name.
            "parameter":{
                "partition":[],//The partition from which data is read.
                "isCompress":false,//Specifies whether to compress data.
                "datasource":"",//The data source.
                "column":[//The column information of the source table.
                    "id"
                ],
                "where": "",//The specific WHERE clause content when data filtering by using WHERE is enabled.
                "enableWhere":false,//Specifies whether to enable data filtering by using WHERE.
                "table":""//The table name.
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//The error count.
        },
        "speed":{
            "throttle":true,//If throttle is set to false, the mbps parameter does not take effect and throttling is disabled. If throttle is set to true, throttling is enabled.
            "concurrent":1, //The concurrency.
            "mbps":"12"//The throttling rate. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Si desea especificar el Tunnel Endpoint para MaxCompute, puede configurar manualmente el origen de datos en modo de script. Reemplace "datasource":"", en el ejemplo anterior con los parámetros específicos del origen de datos. Ejemplo:

"accessId":"*******************",
"accessKey":"*******************",
"endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
"odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"*****", 

Parámetros del script de Reader

Demostración de script de Writer

A continuación se muestra un ejemplo de configuración de script.

{ "type":"job", "version":"2.0",//The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"odps",//The plug-in name. "parameter":{ "partition":"",//The partition information. "truncate":true,//The cleanup rule. "isCompress":false,//Specifies whether to compress data. "datasource":"odps_first",//The data source name. "column": [//The source column names. "id", "name", "age", "sex", "salary", "interest" ], "table":""//The table name. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"//The error count, which specifies the maximum number of tolerable dirty data records. }, "speed":{ "throttle":true,//If throttle is set to false, the mbps parameter does not take effect and throttling is disabled. If throttle is set to true, throttling is enabled. "concurrent":1, //The concurrency. "mbps":"12"//The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Si desea especificar el Tunnel Endpoint para MaxCompute, puede configurar manualmente el origen de datos en modo de script. Reemplace "datasource":"", en el ejemplo anterior con los parámetros específicos del origen de datos. Ejemplo:

"accessId":"<yourAccessKeyId>",
 "accessKey":"<yourAccessKeySecret>",
 "endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
 "odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"**********", 

Parámetros del script de Writer