La source de données Memcache (anciennement OCS) permet d'écrire des données depuis d'autres sources vers Memcache à l'aide de DataWorks Data Integration. Configurez les tâches de synchronisation exclusivement dans l'éditeur de code ; le mode assistant n'est pas pris en charge.
Limites
Éditeur de code uniquement : Configurez les tâches de synchronisation via l'éditeur de code. Le mode assistant n'est pas disponible.
Format d'écriture pris en charge
Memcache Writer prend en charge un seul format d'écriture : text.
Au format text, le premier champ de chaque ligne source devient la clé Memcache. Tous les champs suivants sont sérialisés sous forme de chaîne et concaténés avec le délimiteur défini par le paramètre fieldDelimiter pour former la valeur.
Exemple : Données source suivantes, avec le paramètre fieldDelimiter défini sur \^ :
| ID | NAME | COUNT |
|---|---|---|
| 23 | CDP | 100 |
Les données sont écrites dans Memcache comme suit :
| KEY (OCS) | VALUE (OCS) |
|---|---|
| 23 | CDP\^100 |
Le format binaire n'est pas pris en charge pour le moment.
Modes d'écriture pris en charge
Seul le mode set est pris en charge pour le moment. Les autres modes d'écriture ne sont pas encore disponibles dans Memcache Writer.
| Mode d'écriture | Comportement | Pris en charge |
|---|---|---|
set |
Stocke les données inconditionnellement | Oui |
add |
Stocke les données uniquement si la clé n'existe pas | Non |
replace |
Stocke les données uniquement si la clé existe | Non |
append |
Ajoute les données à la fin de la valeur d'une clé existante (le paramètre expireTime est ignoré) |
Non |
prepend |
Ajoute les données au début de la valeur d'une clé existante (le paramètre expireTime est ignoré) |
Non |
Ajouter une source de données
Avant de développer une tâche de synchronisation dans DataWorks, ajoutez la source de données Memcache en suivant les instructions de la rubrique Gestion des sources de données. Consultez les descriptions des paramètres dans la console DataWorks pour comprendre leur fonction lors de l'ajout d'une source de données.
Configurer une tâche de synchronisation
Pour connaître la procédure, consultez la rubrique Configurer une tâche dans l'éditeur de code.
Pour obtenir la référence du script et la liste complète des paramètres, consultez la section Annexe : Démonstration de script et référence des paramètres ci-dessous.
Annexe : Démonstration de script et référence des paramètres
Démonstration de script
Le script suivant présente une configuration complète de Memcache Writer. Tous les paramètres du writer se trouvent sous steps[].parameter pour l'étape dont le paramètre stepType est défini sur ocs.
{
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "stream",
"parameter": {},
"name": "Reader",
"category": "reader"
},
{
"stepType": "ocs",
"parameter": {
"writeFormat": "text",
"expireTime": 1000,
"indexes": 0,
"datasource": "",
"writeMode": "set",
"batchSize": "256"
},
"name": "Writer",
"category": "writer"
}
],
"setting": {
"errorLimit": {
"record": "0"
},
"speed": {
"throttle": true,
"concurrent": 1,
"mbps": "12"
}
},
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
}
Paramètres du writer
| Paramètre | Description | Requis | Valeur par défaut |
|---|---|---|---|
datasource |
Nom de la source de données. La valeur doit correspondre exactement au nom de la source de données ajoutée dans DataWorks. | Oui | Aucune |
writeMode |
Mode d'écriture. Seul le mode set est pris en charge pour le moment. Consultez la section Modes d'écriture pris en charge. |
Oui | Aucune |
writeFormat |
Format d'écriture. Seul le format text est pris en charge. Au format text, le premier champ devient la clé Memcache et les champs restants sont concaténés avec le paramètre fieldDelimiter pour former la valeur. |
Non | Aucune |
expireTime |
Durée de vie (TTL) des valeurs mises en cache. Accepte soit un horodatage Unix (un moment futur où les données expirent), soit une durée en secondes relative à l'heure actuelle. Si la valeur dépasse 2 592 000 secondes (30 jours), le serveur la traite comme un horodatage Unix. Définissez ce paramètre sur 0 pour conserver les données indéfiniment. |
Non | 0 |
batchSize |
Nombre d'enregistrements par écriture par lot. Une valeur plus élevée réduit les allers-retours réseau et améliore le débit, mais une valeur trop élevée risque de provoquer une erreur d'épuisement de la mémoire (OOM) lors du processus de synchronisation. | Non | 1,024 |