DataWorks:Fonte de dados DataHub

Leitura e gravação em lote

O tipo de dado STRING suporta apenas codificação UTF-8. Uma única coluna STRING não pode exceder 1 MB.

Leitura e gravação em tempo real

• As tarefas de sincronização em tempo real suportam grupos de recursos serverless.

• Ao sincronizar dados para o DataHub em tempo real, os dados são fragmentados com base no valor de hash dos dados de source. Registros com o mesmo valor de hash são sincronizados para o mesmo shard.

Gravação completa de banco de dados em tempo real

Ao executar a tarefa, uma tarefa de sincronização em lote grava primeiro todos os dados no DataHub. Em seguida, uma tarefa de sincronização em tempo real é iniciada, sincronizando os dados incrementais da source para o destino. A gravação dos dados segue as regras abaixo:

• A gravação de dados é permitida apenas em tópicos do DataHub do tipo TUPLE. Para mais informações sobre o tipo de dado TUPLE, consulte Tipos de dados.

• Durante a sincronização de dados para o DataHub em tempo real, cinco campos adicionais são anexados aos campos da tabela de source. Também é possível adicionar outros campos ao configurar a tarefa. Para mais detalhes sobre o formato final da mensagem enviada ao DataHub, consulte Apêndice: Formatos de mensagem do DataHub.

Configure uma tarefa de sincronização em lote de tabela única

• Para o procedimento, consulte Configure uma tarefa de sincronização em lote no modo assistente e Configure uma tarefa de sincronização em lote no modo script.

• Para todos os parâmetros e exemplos de script para configuração no modo script, consulte Apêndice: Exemplos de script e descrição de parâmetros abaixo.

Configure uma tarefa de sincronização em tempo real de tabela única

Configure uma tarefa de sincronização completa de banco de dados em tempo real

Para o procedimento, consulte Configure uma tarefa de sincronização completa de banco de dados em tempo real.

Configure uma tarefa de sincronização em lote usando o editor de código

Para configure uma tarefa de sincronização em lote usando o editor de código, defina os parâmetros relevantes no script conforme os requisitos unificados de formato de script. Para mais informações, consulte Configuração no modo script. As informações a seguir descrevem os parâmetros que devem ser configurados para as fontes de dados ao utilizar o editor de código para tarefas de sincronização em lote.

Exemplo de script do Reader

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "job": { "content": [ { "reader": { "name": "DataHubreader", "parameter": { "endpoint": "xxx" // The endpoint of DataHub. "accessId": "xxx", // The AccessKey ID used to access DataHub. "accessKey": "xxx", // The AccessKey secret used to access DataHub. "project": "xxx", // The name of the DataHub project. "topic": "xxx" // The name of the DataHub topic. "batchSize": 1000, // The number of records to read at a time. "beginDateTime": "20180910111214", // The start time for data consumption. "endDateTime": "20180910111614", // The end time for data consumption. "column": [ "col0", "col1", "col2", "col3", "col4" ] } }, "writer": { "name": "streamwriter", "parameter": { "print": false } } } ] } } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// Specifies whether to enable throttling. If throttle is set to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is set to true, throttling is enabled. "concurrent":1,// The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parâmetros do script do Reader

Exemplo de script do Writer

{ "type": "job", "version": "2.0",// The version number. "steps": [ { "stepType": "stream", "parameter": {}, "name": "Reader", "category": "reader" }, { "stepType": "datahub",// The plug-in name. "parameter": { "datasource": "",// The data source. "topic": "",// A topic is the smallest unit for subscription and publishing in DataHub. You can use a topic to represent a type or category of streaming data. "maxRetryCount": 500,// The maximum number of retries upon task failure. "maxCommitSize": 1048576// The data is committed in batches to the destination when the accumulated data buffer reaches the maxCommitSize (in bytes). // DataHub limits a single request to 10.000 records. Exceeding this limit causes a task error. Set this parameter based on the average size per record multiplied by 10.000. For example, if each record is 10 KB, set this parameter to a value lower than 10 × 10.000 KB. }, "name": "Writer", "category": "writer" } ], "setting": { "errorLimit": { "record": ""// The error count. }, "speed": { "throttle":true,// Specifies whether to enable throttling. If throttle is set to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is set to true, throttling is enabled. "concurrent":20, // The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] } }

Parâmetros do script do Writer