DataWorks:Origen de datos de DataHub

Lectura y escritura por lotes

El tipo de dato STRING solo admite la codificación UTF-8. Una sola columna STRING no puede superar 1 MB.

Lectura y escritura en tiempo real

• Las tareas de sincronización en tiempo real son compatibles con serverless resource groups.

• Cuando sincroniza datos hacia DataHub en tiempo real, estos se fragmentan según el valor hash de los datos de origen. Los registros con el mismo valor hash se sincronizan en el mismo fragmento.

Escritura completa de base de datos en tiempo real

Al ejecutar la tarea, primero una tarea de sincronización por lotes escribe todos los datos en DataHub. Después, se inicia una tarea de sincronización en tiempo real que transfiere los datos incrementales del origen al destino. La escritura de datos sigue estas reglas:

• Los datos solo se pueden escribir en temas de DataHub de tipo TUPLE. Para obtener más información sobre el tipo de dato TUPLE, consulte Data types.

• Durante la sincronización de datos hacia DataHub en tiempo real, se agregan cinco campos adicionales a los de la tabla de origen. También puede agregar otros campos cuando configure la tarea. Para conocer el formato final del mensaje enviado a DataHub, consulte Appendix: DataHub message formats.

Configurar una tarea de sincronización por lotes de una sola tabla

• Para consultar el procedimiento, revise Configure a batch synchronization task in wizard mode y Configure a batch synchronization task in script mode.

• Todos los parámetros y los ejemplos de script para la configuración en modo script se encuentran en Appendix: Script demos and parameter description, más adelante en este documento.

Configurar una tarea de sincronización en tiempo real de una sola tabla

Configurar una tarea de sincronización completa de base de datos en tiempo real

Para consultar el procedimiento, revise Configure a real-time full-database synchronization task.

Configurar una tarea de sincronización por lotes con el editor de código

Si desea configurar una tarea de sincronización por lotes con el editor de código, debe definir los parámetros correspondientes en el script según los requisitos unificados de formato. Para obtener más información, consulte Script mode configuration. A continuación se describen los parámetros obligatorios para los orígenes de datos cuando configura una tarea de sincronización por lotes con el editor de código.

Ejemplo de script de Reader

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "job": { "content": [ { "reader": { "name": "DataHubreader", "parameter": { "endpoint": "xxx" // The endpoint of DataHub. "accessId": "xxx", // The AccessKey ID used to access DataHub. "accessKey": "xxx", // The AccessKey secret used to access DataHub. "project": "xxx", // The name of the DataHub project. "topic": "xxx" // The name of the DataHub topic. "batchSize": 1000, // The number of records to read at a time. "beginDateTime": "20180910111214", // The start time for data consumption. "endDateTime": "20180910111614", // The end time for data consumption. "column": [ "col0", "col1", "col2", "col3", "col4" ] } }, "writer": { "name": "streamwriter", "parameter": { "print": false } } } ] } } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// Specifies whether to enable throttling. If throttle is set to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is set to true, throttling is enabled. "concurrent":1,// The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parámetros del script de Reader

Ejemplo de script de Writer

{ "type": "job", "version": "2.0",// The version number. "steps": [ { "stepType": "stream", "parameter": {}, "name": "Reader", "category": "reader" }, { "stepType": "datahub",// The plug-in name. "parameter": { "datasource": "",// The data source. "topic": "",// A topic is the smallest unit for subscription and publishing in DataHub. You can use a topic to represent a type or category of streaming data. "maxRetryCount": 500,// The maximum number of retries upon task failure. "maxCommitSize": 1048576// The data is committed in batches to the destination when the accumulated data buffer reaches the maxCommitSize (in bytes). // DataHub limits a single request to 10,000 records. Exceeding this limit causes a task error. Set this parameter based on the average size per record multiplied by 10,000. For example, if each record is 10 KB, set this parameter to a value lower than 10 × 10,000 KB. }, "name": "Writer", "category": "writer" } ], "setting": { "errorLimit": { "record": ""// The error count. }, "speed": { "throttle":true,// Specifies whether to enable throttling. If throttle is set to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is set to true, throttling is enabled. "concurrent":20, // The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] } }

Parámetros del script de Writer