DataWorks:Source de données DataHub

Lecture/écriture par lots

Le type de données STRING prend uniquement en charge l'encodage UTF-8. Une colonne STRING unique ne peut pas dépasser 1 Mo.

Lecture/écriture en temps réel

• Les tâches de synchronisation en temps réel prennent en charge les groupes de ressources serverless.

• Lorsque vous synchronisez des données vers DataHub en temps réel, le partitionnement des données s'effectue selon la valeur de hachage des données sources. Les enregistrements partageant la même valeur de hachage sont synchronisés vers le même shard.

Écriture en temps réel sur toute la base de données

Lors de l'exécution de la tâche, une tâche de synchronisation par lots écrit d'abord l'intégralité des données dans DataHub. Ensuite, une tâche de synchronisation en temps réel démarre pour synchroniser les données incrémentielles de la source vers la destination. L'écriture des données respecte les règles suivantes :

• Les données ne peuvent être écrites que dans des topics DataHub de type TUPLE. Pour plus d'informations sur le type de données TUPLE, consultez la section Types de données.

• Lors de la synchronisation des données vers DataHub en temps réel, cinq champs supplémentaires sont ajoutés aux champs de la table source. Vous pouvez également ajouter d'autres champs lors de la configuration de la tâche. Pour connaître le format final des messages envoyés à DataHub, reportez-vous à l'annexe Formats des messages DataHub.

Configurer une tâche de synchronisation par lots pour une seule table

• Pour la procédure, consultez les rubriques Configurer une tâche de synchronisation par lots en mode Assistant et Configurer une tâche de synchronisation par lots en mode Script.

• Pour obtenir la liste complète des paramètres et des exemples de scripts pour la configuration en mode script, reportez-vous à la section Annexe : Exemples de scripts et description des paramètres ci-dessous.

Configurer une tâche de synchronisation en temps réel pour une seule table

Configurer une tâche de synchronisation en temps réel sur toute la base de données

Pour la procédure, consultez la rubrique Configurer une tâche de synchronisation en temps réel sur toute la base de données.

Configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code

Si vous souhaitez configurer une tâche de synchronisation par lots via l'éditeur de code, définissez les paramètres correspondants dans le script conformément aux exigences de format de script unifié. Pour plus d'informations, consultez la rubrique Configuration en mode script. Les informations suivantes décrivent les paramètres que vous devez configurer pour les sources de données lors de la configuration d'une tâche de synchronisation par lots avec l'éditeur de code.

Exemple de script Reader

{ "type":"job", "version":"2.0",// Le numéro de version. "steps":[ { "job": { "content": [ { "reader": { "name": "DataHubreader", "parameter": { "endpoint": "xxx" // L'endpoint de DataHub. "accessId": "xxx", // L'AccessKey ID utilisé pour accéder à DataHub. "accessKey": "xxx", // L'AccessKey secret utilisé pour accéder à DataHub. "project": "xxx", // Le nom du projet DataHub. "topic": "xxx" // Le nom du topic DataHub. "batchSize": 1000, // Le nombre d'enregistrements à lire à la fois. "beginDateTime": "20180910111214", // L'heure de début de la consommation des données. "endDateTime": "20180910111614", // L'heure de fin de la consommation des données. "column": [ "col0", "col1", "col2", "col3", "col4" ] } }, "writer": { "name": "streamwriter", "parameter": { "print": false } } } ] } } ], "setting":{ "errorLimit":{ "record":"0"// Le nombre d'erreurs. }, "speed":{ "throttle":true,// Indique si la limitation de débit est activée. Si throttle est défini sur false, le paramètre mbps n'a aucun effet, ce qui signifie que la limitation de débit est désactivée. Si throttle est défini sur true, la limitation de débit est activée. "concurrent":1,// La concurrence. "mbps":"12"// Le taux de limitation. 1 mbps = 1 Mo/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Paramètres du script Reader

Exemple de script Writer

{ "type": "job", "version": "2.0",// Le numéro de version. "steps": [ { "stepType": "stream", "parameter": {}, "name": "Reader", "category": "reader" }, { "stepType": "datahub",// Le nom du plug-in. "parameter": { "datasource": "",// La source de données. "topic": "",// Un topic est la plus petite unité d'abonnement et de publication dans DataHub. Vous pouvez utiliser un topic pour représenter un type ou une catégorie de données en flux continu. "maxRetryCount": 500,// Le nombre maximal de tentatives en cas d'échec de la tâche. "maxCommitSize": 1048576// Les données sont validées par lots vers la destination lorsque le tampon de données accumulé atteint la valeur maxCommitSize (en octets). // DataHub limite une seule requête à 10 000 enregistrements. Le dépassement de cette limite provoque une erreur de tâche. Définissez ce paramètre en fonction de la taille moyenne par enregistrement multipliée par 10 000. Par exemple, si chaque enregistrement fait 10 Ko, définissez ce paramètre sur une valeur inférieure à 10 × 10 000 Ko. }, "name": "Writer", "category": "writer" } ], "setting": { "errorLimit": { "record": ""// Le nombre d'erreurs. }, "speed": { "throttle":true,// Indique si la limitation de débit est activée. Si throttle est défini sur false, le paramètre mbps n'a aucun effet, ce qui signifie que la limitation de débit est désactivée. Si throttle est défini sur true, la limitation de débit est activée. "concurrent":20, // La concurrence. "mbps":"12"// Le taux de limitation. 1 mbps = 1 Mo/s. } }, "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] } }

Paramètres du script Writer