DataWorks:Source de données Tablestore

Pour configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code, vous devez définir les paramètres appropriés dans le script en respectant le format unifié requis. Pour plus d'informations, consultez Configuration en mode script. Les informations suivantes détaillent les paramètres à configurer pour les sources de données lors de la configuration d'une tâche de synchronisation par lots via l'éditeur de code.

{
  "range": {
    "begin": [{"type": "INF_MIN"}],
    "end":   [{"type": "INF_MAX"}],
    "split": [
      {"type": "STRING","value": "1"},
      {"type": "STRING","value": "2"},
      {"type": "STRING","value": "3"},
      {"type": "STRING","value": "4"},
      {"type": "STRING","value": "5"}
    ]
  }

// Segment 1
[MIN, 1)
// Segment 2
[1, 2)
// Segment 3
[2, 3)
// Segment 4
[3, 4)
// Segment 5
[4, 5)
// Segment 6
[5, MAX)

"column": [
  {
    "name": "_m_name"               // Measurement name field of the time series
  },
  {
    "name": "tag_key",                // Value corresponding to tag_key in the tag field of the time series
    "is_timeseries_tag":"true"
  },
  {
    "name": "string_column",        // Column named string_column in fields
    "type":"string"                    // with data type string
  },
  {
    "value": "constant_value",        // Constant column with a fixed value of "constant_value"
    "type":"string"
  }
],

"timeRange":{
    // begin: optional, defaults to 0, valid range is 0~LONG_MAX
    "begin":1400000000000,
    // end: optional, defaults to Long Max (9223372036854775807L), valid range is 0~LONG_MAX
    "end"  :1600000000000
},

"column": [
    {"name1":"{your column name1}"},
    {"name2":"{your column name2}"}
],

"range":{
    // Optional, defaults to reading from the smallest value
    // The input can be an empty array, a PK prefix, or a complete PK. When reading data in forward order, PK suffix is padded with INF_MIN by default; in reverse order, INF_MAX
    // Examples:
    // If the table has 2 PKs with types string and int respectively, the following 3 inputs are all valid:
    //1. Read from the beginning of the table -> to the end of the table:
    //"begin":[],"end":[],
    //2. Read from first PK value "a" and the minimum of the second PK -> to first PK value "b" and the maximum of the second PK:
    //"begin":[{"type":"string", "value":"a"}],"end":[{"type":"string", "value":"b"}],
    //3. Read from first PK value "a" and the minimum of the second PK -> to the end of the table:
    //"begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],"end":[],    
    //
    // Binary type PK columns are special because JSON does not support direct binary input, so the system requires:
    // To pass binary data, you must use (Java) Base64.encodeBase64String method to convert the binary into a visible string, then fill this string into the value
    // Example (Java):
    //   byte[] bytes = "hello".getBytes();  # Construct binary data, here using the byte value of the string hello
    //   String inputValue = Base64.encodeBase64String(bytes) # Call the Base64 method to convert binary into a visible string
    //   After executing the above code, inputValue will be "aGVsbG8="
    //   Final configuration: {"type":"binary","value" : "aGVsbG8="}

    "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],

    // Defaults to reading until the largest value
    // The input can be an empty array, a PK prefix, or a complete PK. When reading data in forward order, PK suffix is padded with INF_MAX by default; in reverse order, INF_MIN
    // Optional
    "end":[{"type":"string", "value":"g"},{"type":"INF_MAX"}],

    // When the data volume is large, concurrent export needs to be enabled. Split can divide the data in the current range into multiple concurrent tasks based on split points
    // Optional
    //   1. The input values in split can only be the first column of the PK (partition key), and the value type must be consistent with the PartitionKey
    //   2. The value range must be between begin and end
    //   3. The values within split must be in ascending or descending order according to the forward/reverse order relationship of begin and end
    "split":[{"type":"string", "value":"b"}, {"type":"string", "value":"c"}]
},

"timeRange":{
    // begin: Optional. Default value: 0. Value range: 0 to LONG_MAX.
    "begin":1400000000000,
    // end: Optional. Default value: Long Max (9223372036854775807L). Value range: 0 to LONG_MAX.
    "end"  :1600000000000
},

Tablestore est un service de stockage NoSQL basé sur le système de fichiers distribué Apsara d'Alibaba Cloud. La source de données Tablestore dans DataWorks permet une synchronisation bidirectionnelle des données avec les tables Tablestore.

Instructions

1. Lisez la documentation anglaise pour comprendre CE QUI doit être communiqué.

2. Rédigez le document français EN PARTANT DE ZÉRO — oubliez la structure des phrases anglaises.

3. Conservez exactement tout le formatage markdown, les blocs de code, les liens et les images.

4. Balises xref (<a data-tag="xref" ...>texte</a>) — conservez la balise ENTIERE avec tous ses attributs dans l'ordre et la casse d'origine, traduisez UNIQUEMENT le texte visible entre > et .

5. Appliquez strictement toutes les règles spécifiques à la langue.

6. Appliquez les règles relatives aux stopwords avec une tolérance zéro.

7. Utilisez l'impératif dans les étapes numérotées et les listes à puces procédurales.

8. Assurez la cohérence terminologique — même terme = même traduction partout.

9. Variez les débuts de phrase dans les listes et tableaux — aucun début de phrase répété plus de 3 fois.

10. Retournez UNIQUEMENT le document markdown en français, sans explication.

    Annexe 2 : Exemples de scripts Writer et description des paramètres

    Configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code

    Pour configurer une tâche de synchronisation par lots via l'éditeur de code, vous devez définir les paramètres appropriés dans le script en respectant le format de script unifié. Pour plus d'informations, consultez Configuration en mode script. Les sections suivantes détaillent les paramètres à configurer pour les sources de données lors de la configuration d'une tâche de synchronisation par lots avec l'éditeur de code.

    Exemples de scripts Writer

    Configuration en mode ligne pour l'écriture dans des tables à colonnes larges

    { "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"ots",// The plugin name. "parameter":{ "datasource":"",// The data source. "table":"",// The table name. "newVersion":"true",// Use the new version of otswriter. "mode": "normal",// Write data in row mode. "isTimeseriesTable":"false",// Configure this table as a wide-column table (not a time-series table). "primaryKey" : [// The primary key information of the Tablestore table. {"name":"gid", "type":"INT"}, {"name":"uid", "type":"STRING"} ], "column" : [// The columns. {"name":"col1", "type":"INT"}, {"name":"col2", "type":"DOUBLE"}, {"name":"col3", "type":"STRING"}, {"name":"col4", "type":"STRING"}, {"name":"col5", "type":"BOOL"} ], "writeMode" : "PutRow" // The write mode. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// When throttle is set to false, the mbps parameter does not take effect, indicating no throttling. When throttle is set to true, throttling is enabled. "concurrent":1, // The concurrency. "mbps":"12"// The throttling speed. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

    Configuration en mode ligne pour l'écriture dans des tables de séries temporelles

    { "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"ots",// The plugin name. "parameter":{ "datasource":"",// The data source. "table": "testTimeseriesTableName01", "mode": "normal", "newVersion": "true", "isTimeseriesTable":"true", "timeunit":"microseconds", "column": [ { "name": "_m_name" }, { "name": "_data_source", }, { "name": "_tags", }, { "name": "_time", }, { "name": "string_1", "type":"string" }, { "name":"tag3", "is_timeseries_tag":"true", } ] }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// When throttle is set to false, the mbps parameter does not take effect, indicating no throttling. When throttle is set to true, throttling is enabled. "concurrent":1, // The concurrency. "mbps":"12"// The throttling speed. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

    Configuration en mode colonne pour l'écriture dans des tables à colonnes larges

    { "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"ots",// The plugin name. "parameter":{ "datasource":"",// The data source. "table":"", "newVersion":"true", "mode":"multiVersion", "primaryKey" : [ "gid", "uid" ] }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. },x` "speed":{ "throttle":true,// When throttle is set to false, the mbps parameter does not take effect, indicating no throttling. When throttle is set to true, throttling is enabled. "concurrent":1, // The concurrency. "mbps":"12"// The throttling speed. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

    Paramètres courants du script Writer

    Paramètre	Description	Obligatoire	Valeur par défaut
    datasource	Nom de la source de données. Le mode script permet d'ajouter des sources de données. La valeur de ce paramètre doit correspondre exactement au nom de la source de données ajoutée.	Oui	N/A
    endPoint	Endpoint (adresse du service) du serveur Tablestore. Pour plus d'informations, consultez Endpoints.	Oui	N/A
    accessId	AccessKey ID de l'instance Tablestore.	Oui	N/A
    accessKey	AccessKey Secret de l'instance Tablestore.	Oui	N/A
    instanceName	Nom de l'instance Tablestore. Une instance constitue l'entité utilisée pour gérer le service Tablestore. Après l'activation du service Tablestore, vous devez créer une instance dans la console, puis créer et gérer des tables au sein de cette instance. L'instance représente l'unité de base pour la gestion des ressources Tablestore. Le contrôle d'accès et la comptabilisation des ressources s'effectuent au niveau de l'instance.	Oui	N/A
    table	Nom de la table de destination pour l'écriture des données. Une seule table peut être spécifiée. Tablestore ne prend pas en charge la synchronisation multi-tables.	Oui	N/A
    newVersion	Indique la version du plugin Tablestore Writer. false : Version héritée de Tablestore Writer, qui prend uniquement en charge l'écriture en mode ligne vers des tables à colonnes larges. true : Nouvelle version de Tablestore Writer, compatible avec le mode ligne, le mode colonne, les tables de séries temporelles et les tables à colonnes larges. Elle inclut également la fonctionnalité de clé primaire à incrémentation automatique. La nouvelle version de Tablestore Writer offre non seulement des fonctionnalités supplémentaires, mais consomme aussi moins de ressources système. Nous vous recommandons d'utiliser cette nouvelle version. Le plugin de la nouvelle version assure une rétrocompatibilité avec la configuration de la version héritée. Ajoutez simplement le paramètre newVersion=true aux tâches existantes pour qu'elles s'exécutent correctement.	Oui	false
    mode	Définit le mode d'écriture des données. Deux modes sont disponibles : normal : Écrit les données au format standard (mode ligne). multiVersion : Écrit les données au format multiversion (mode colonne). Ce paramètre n'est pris en compte que si newVersion:true est configuré. L'ancienne version de Tablestore Writer ignore le paramètre mode et ne permet l'écriture qu'en mode ligne.	Non	normal
    isTimeseriesTable	Indique si la table de données est une table de séries temporelles. false : Il s'agit d'une table à colonnes larges standard. true : Il s'agit d'une table de séries temporelles. Ce paramètre n'est effectif que lorsque newVersion:true & mode:normal est configuré (le mode colonne n'est pas compatible avec les tables de séries temporelles).	Non	false

    Paramètres supplémentaires du script Writer

    Tablestore Writer permet l'écriture en mode ligne vers des tables à colonnes larges, en mode ligne vers des tables de séries temporelles, ainsi qu'en mode colonne vers des tables à colonnes larges. Chaque mode dispose de paramètres supplémentaires spécifiques.

    Paramètres du mode ligne pour l'écriture dans des tables à colonnes larges

    Paramètre	Description	Obligatoire	Valeur par défaut
    primaryKey	Informations sur la clé primaire de la table Tablestore, décrites sous forme de tableau JSON. Tablestore étant un système NoSQL, vous devez spécifier les noms des colonnes lors de l'importation des données par Tablestore Writer. Le système de synchronisation des données prenant en charge la conversion de types, Tablestore Writer convertit automatiquement les données source dont le type n'est ni STRING ni INT. Exemple de configuration : "primaryKey" : [ {"name":"gid", "type":"INT"}, {"name":"uid", "type":"STRING"} ], Remarque La PrimaryKey de Tablestore accepte uniquement les types STRING et INT. Par conséquent, Tablestore Writer n'accepte que ces deux types.	Oui	N/A
    column	Ensemble des noms de colonnes à synchroniser depuis la table configurée, décrit sous forme de tableau JSON. Exemple de configuration : "column" : [ {"name":"col1", "type":"INT"}, {"name":"col2", "type":"DOUBLE"}, {"name":"col3", "type":"STRING"}, {"name":"col4", "type":"BINARY"}, {"name":"col5", "type":"BOOL"} ], Le champ name désigne la colonne Tablestore cible pour l'écriture, tandis que le champ type précise le type de données à écrire. Tablestore prend en charge les types STRING, INT, DOUBLE, BOOL et BINARY. Remarque Les constantes, fonctions ou expressions personnalisées ne sont pas prises en charge lors de l'écriture.	Oui	N/A
    writeMode	Mode d'écriture des données dans Tablestore. Les deux modes suivants sont disponibles : PutRow : Correspond à l'API Tablestore PutRow. Ce mode insère des données dans la ligne spécifiée. Si la ligne n'existe pas, elle est créée. Si elle existe déjà, son contenu est écrasé. UpdateRow : Correspond à l'API Tablestore UpdateRow. Ce mode met à jour les données de la ligne spécifiée. Si la ligne n'existe pas, elle est créée. Si elle existe, les valeurs des colonnes indiquées sont ajoutées, modifiées ou supprimées selon le contenu de la requête.	Oui	N/A
    enableAutoIncrement	Indique si l'écriture de données est autorisée dans une table Tablestore contenant des colonnes de clé primaire à incrémentation automatique. true : Le plugin détecte automatiquement les informations relatives aux colonnes à incrémentation automatique de la table de destination et intègre ces colonnes lors de l'écriture des données (il n'est pas nécessaire de configurer le nom de la colonne à incrémentation automatique). false : Une erreur est générée lors de toute tentative d'écriture dans une table comportant des colonnes de clé primaire à incrémentation automatique.	Non	false
    requestTotalSizeLimitation	Ce paramètre limite la taille d'une seule ligne de données lors de l'écriture dans Tablestore. La valeur attendue est numérique.	Non	1MB
    attributeColumnSizeLimitation	Ce paramètre limite la taille d'une colonne d'attribut individuelle lors de l'écriture dans Tablestore. La valeur attendue est numérique.	Non	2MB
    primaryKeyColumnSizeLimitation	Ce paramètre limite la taille d'une colonne de clé primaire individuelle lors de l'écriture dans Tablestore. La valeur attendue est numérique.	Non	1KB
    attributeColumnMaxCount	Ce paramètre limite le nombre de colonnes d'attributs lors de l'écriture dans Tablestore. La valeur attendue est numérique.	Non	1 024

    Paramètres du mode ligne pour l'écriture dans des tables de séries temporelles

    Paramètre	Description	Obligatoire	Valeur par défaut
    column	Chaque élément du tableau column correspond à un champ des données de série temporelle. Chaque élément admet les paramètres suivants : name : Nom de la colonne. Ce champ est obligatoire. Les champs prédéfinis suivants sont disponibles : Le nom de la mesure de la série temporelle est identifié par _m_name. Le type de données est String. La source de données de la série temporelle est identifiée par _data_source. Le type de données est String. Les tags de la série temporelle sont identifiés par _tags. Le type de données est String. Le format de la chaîne est ["tagKey1=value1","tagKey2=value2"]. L'horodatage de la série temporelle est identifié par _time. Le type de données est Long. L'unité par défaut est la microseconde. is_timeseries_tag : Indique si la colonne correspond à une paire clé-valeur au sein du champ tags. Ce champ est facultatif. Valeur par défaut : false. type : Type de valeur de la colonne. Ce champ est facultatif. Valeur par défaut : string. Types pris en charge : string, int, double, bool et binary. Étant donné que le nom de la mesure et l'horodatage des données de série temporelle ne peuvent pas être vides, vous devez configurer les champs _m_name et _time. Exemple : Un enregistrement de données à écrire contient six champs : mName1 source1 ["tag1=A","tag2=B"] 1677763080000000 field_value C Utilisez la configuration suivante : "column": [ { "name": "_m_name" }, { "name": "_data_source", }, { "name": "_tags", }, { "name": "_time", }, { "name": "string_1", "type":"string" }, { "name":"tag3", "is_timeseries_tag":"true", } ],	Oui	N/A
    timeunit	Unité du champ d'horodatage _time. Valeurs acceptées : NANOSECONDS, MICROSECONDS, MILLISECONDS, SECONDS et MINUTES.	Non	MICROSECONDS

    Paramètres du mode colonne pour l'écriture dans des tables à colonnes larges

    Paramètre	Description	Obligatoire	Valeur par défaut
    primaryKey	Colonnes de clé primaire de la table. Afin de réduire la charge de configuration, il n'est pas nécessaire de préciser la position de primaryKey dans l'enregistrement (ligne). Toutefois, le format de l'enregistrement doit rester fixe : primaryKey doit se trouver au début de la ligne, suivi de primaryKey puis de columnName. Le format de l'enregistrement est le suivant : {pk0,pk1...}, {columnName}, {timestamp}, {value}. Par exemple, pour les 9 enregistrements de données suivants : 1,pk1,row1,1677699863871,value_0_0 Exemple de configuration : 1,pk1,row2,1677699863871,value_0_1 1,pk1,row3,1677699863871,value_0_2 2,pk2,row1,1677699863871,value_1_0 2,pk2,row2,1677699863871,value_1_1 2,pk2,row3,1677699863871,value_1_2 3,pk3,row1,1677699863871,value_2_0 3,pk3,row2,1677699863871,value_2_1 3,pk3,row3,1677699863871,value_2_2 "primaryKey" : [ "gid", "uid" ], Résultat de l'écriture au format de ligne large : gid uid row1 row2 row3 1 pk1 value_0_0 value_0_1 value_0_2 2 pk2 value_1_0 value_1_1 value_1_2 3 pk3 value_2_0 value_2_1 value_2_2	Oui	N/A
    columnNamePrefixFilter	Filtre de préfixe de nom de colonne. Pour les données importées depuis HBase, cf et qulifier forment ensemble le columnName. Cependant, Tablestore ne prenant pas en charge cf, il est nécessaire de filtrer ce préfixe cf. Exemple de configuration : "columnNamePrefixFilter":"cf:" Remarque Ce paramètre est facultatif. S'il n'est pas spécifié ou si sa valeur est une chaîne vide, aucun filtrage de nom de colonne n'est appliqué. Si la colonne columnName des données ajoutées via Data Integration ne commence pas par le préfixe spécifié, l'enregistrement est envoyé au collecteur de données incorrectes.	Non	N/A

    Développer une tâche de synchronisation des données

    Pour connaître le point d'entrée et la procédure de configuration d'une tâche de synchronisation, reportez-vous aux guides de configuration suivants.

    Directives pour la configuration d'une tâche de synchronisation par lots sur table unique

    • Pour la procédure détaillée, consultez Configurer une tâche de synchronisation par lots sur table unique.

    • Pour obtenir la liste complète des paramètres et des exemples de scripts pour la configuration en mode script, consultez l'Annexe 1 : Exemples de scripts Reader et description des paramètres ci-dessous.

    FAQ

    • Q : Comment configurer Tablestore Writer pour écrire des données dans une table de destination contenant des colonnes de clé primaire à incrémentation automatique ?

      1. La configuration de Tablestore Writer doit respecter les deux exigences suivantes :

         "newVersion": "true",
         "enableAutoIncrement": "true",

      2. Ne configurez pas le nom de la colonne de clé primaire à incrémentation automatique dans Tablestore Writer.

      3. La somme du nombre d'entrées primaryKey et du nombre d'entrées column configurées dans Tablestore Writer doit être égale au nombre de colonnes présentes dans les données du Tablestore Reader en amont.

    • Q : Dans la configuration du modèle de séries temporelles, comment interpréter les champs _tag et is_timeseries_tag ?

      Exemple : Un enregistrement de données comporte trois tags : [phone=Xiaomi, RAM=8G, camera=Leica].

      • Exemple d'exportation de données (Tablestore Reader)

        • Pour fusionner les tags ci-dessus en une seule colonne lors de l'exportation, utilisez la configuration suivante :

          "column": [
                {
                  "name": "_tags",
                }
              ],

          DataWorks exporte les tags sous forme d'une colonne unique de données au format suivant :

          ["phone=xiaomi","camera=LEICA","RAM=8G"]

        • Pour exporter le tag phone et le tag camera dans des colonnes distinctes, utilisez la configuration suivante :

          "column": [
                {
                  "name": "phone",
                  "is_timeseries_tag":"true",
                },
                {
                  "name": "camera",
                  "is_timeseries_tag":"true",
                }
              ],

          DataWorks exporte alors deux colonnes de données au format suivant :

          xiaomi, LEICA

      • Exemple d'importation de données (Tablestore Writer)

        La source de données en amont (Reader) contient deux colonnes de données :

        • La première colonne contient : ["phone=xiaomi","camera=LEICA","RAM=8G"].

        • La seconde colonne contient : 6499.

        Pour ajouter ces deux colonnes au champ tags, le format attendu du champ tags après écriture est le suivant : Utilisez la configuration suivante :

        "column": [
              {
                "name": "_tags",
              },
              {
                "name": "price",
                "is_timeseries_tag":"true",
              },
            ],

        • La configuration de la première colonne importe l'ensemble ["phone=xiaomi","camera=LEICA","RAM=8G"] dans le champ tags.

        • La configuration de la seconde colonne importe individuellement price=6499 dans le champ tags.