DataWorks:Fonte de dados DataHub

Leitura/gravação em batch

O tipo de dados STRING suporta apenas a codificação UTF-8. Uma única coluna STRING não pode ultrapassar 1 MB.

Leitura/gravação em tempo real

• As tarefas de sincronização em tempo real suportam serverless resource groups.

• Ao sincronizar dados para o DataHub em tempo real, os dados são fragmentados com base no valor de hash dos dados de origem. Registros com o mesmo valor de hash são sincronizados para o mesmo shard.

Gravação full-database em tempo real

Ao executar a tarefa, uma tarefa de sincronização em batch primeiro grava os dados completos no DataHub. Em seguida, uma tarefa de sincronização em tempo real é iniciada, sincronizando os dados incrementais da origem para o destino. Os dados são gravados de acordo com as seguintes regras:

• Os dados só podem ser gravados em tópicos DataHub do tipo TUPLE. Para mais informações sobre o tipo de dados TUPLE, consulte Data types.

• Ao sincronizar dados para o DataHub em tempo real, cinco campos adicionais são acrescentados aos campos da tabela de source. Também é possível adicionar outros campos ao configure a tarefa. Para mais informações sobre o formato final da mensagem enviada ao DataHub, consulte Appendix: DataHub message formats.

Configure uma tarefa de sincronização em batch para tabela única

• Para o procedimento, consulte Configure a batch synchronization task in wizard mode e Configure a batch synchronization task in script mode.

• Para todos os parâmetros e demonstrações de script no modo de script, consulte Appendix: Script demos and parameter description abaixo.

Configure uma tarefa de sincronização em tempo real para tabela única

Configure uma tarefa de sincronização full-database em tempo real

Para o procedimento, consulte Configure a real-time full-database synchronization task.

Configure uma tarefa de sincronização em batch usando o editor de código

Para configure uma tarefa de sincronização em batch com o editor de código, configure os parâmetros relacionados no script conforme os requisitos do formato de script unificado. Para mais informações, consulte Script mode configuration. A seguir, são descritos os parâmetros que devem ser configurados para as fontes de dados ao usar o editor de código para configure uma tarefa de sincronização em batch.

Demonstração do script do Reader

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "job": { "content": [ { "reader": { "name": "DataHubreader", "parameter": { "endpoint": "xxx" // The endpoint of DataHub. "accessId": "xxx", // The AccessKey ID used to access DataHub. "accessKey": "xxx", // The AccessKey secret used to access DataHub. "project": "xxx", // The name of the DataHub project. "topic": "xxx" // The name of the DataHub topic. "batchSize": 1000, // The number of records to read at a time. "beginDateTime": "20180910111214", // The start time for data consumption. "endDateTime": "20180910111614", // The end time for data consumption. "column": [ "col0", "col1", "col2", "col3", "col4" ] } }, "writer": { "name": "streamwriter", "parameter": { "print": false } } } ] } } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// Specifies whether to ative throttling. If throttle is defina to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is defina to true, throttling is enabled. "concurrent":1,// The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parâmetros do script do Reader

Demonstração do script do Writer

{ "type": "job", "version": "2.0",// The version number. "steps": [ { "stepType": "stream", "parameter": {}, "name": "Reader", "category": "reader" }, { "stepType": "datahub",// The plug-in name. "parameter": { "datasource": "",// The data source. "topic": "",// A topic is the smallest unit for subscription and publishing in DataHub. You can use a topic to represent a type or category of streaming data. "maxRetryCount": 500,// The maximum number of retries upon task failure. "maxCommitSize": 1048576// The data is committed in batches to the destination when the accumulated data buffer reaches the maxCommitSize (in bytes). // DataHub limits a single request to 10.000 records. Exceeding this limit causes a task error. Defina this parameter based on the average size per record multiplied by 10.000. For example, if each record is 10 KB, defina this parameter to a value lower than 10 × 10.000 KB. }, "name": "Writer", "category": "writer" } ], "setting": { "errorLimit": { "record": ""// The error count. }, "speed": { "throttle":true,// Specifies whether to ative throttling. If throttle is defina to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is defina to true, throttling is enabled. "concurrent":20, // The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] } }

Parâmetros do script do Writer