DataWorks:Lire des données depuis MongoDB à l'aide de la synchronisation par lots

Assurez-vous que les conditions suivantes sont remplies :

• Vous avez activé DataWorks et créé une source de données MaxCompute.

• Ce tutoriel utilise un groupe de ressources exclusif pour Data Integration afin d'exécuter la tâche par lots. Vous devez acheter et configurer un groupe de ressources exclusif pour Data Integration. Pour plus d'informations, consultez la rubrique Utiliser un groupe de ressources exclusif pour Data Integration.

  Remarque

  Vous pouvez également utiliser un groupe de ressources serverless. Pour plus d'informations, consultez la rubrique Utiliser un groupe de ressources serverless.

Dans DataStudio de DataWorks, créez un nœud de synchronisation par lots et configurez sa source et sa destination. Seuls les paramètres clés sont mis en évidence ci-dessous ; conservez les valeurs par défaut pour les autres. Pour obtenir des instructions détaillées, consultez la rubrique Configurer un nœud de synchronisation par lots à l'aide de l'interface sans code.

1. Configurez la connexion réseau.

   Sélectionnez les sources de données MongoDB et MaxCompute, ainsi que le groupe de ressources exclusif correspondant pour Data Integration, puis testez la connectivité.

2. Configurez la tâche : sélectionnez les sources de données.

   Pour la source et la destination, sélectionnez respectivement la collection MongoDB et la table MaxCompute partitionnée.

3. Configurez la tâche : mappez les champs.

   Lorsque la source de données est MongoDB, l'option Map Fields in Same Row est utilisée par défaut. Vous pouvez également cliquer sur l'icône pour modifier manuellement les champs de la table source. L'exemple suivant illustre cette modification manuelle.

   {"name":"_id","type":"string"}
   {"name":"col_string","type":"string"}
   {"name":"col_int32","type":"long"}
   {"name":"col_int32_min","type":"long"}
   {"name":"col_int32_max","type":"long"}
   {"name":"col_int64","type":"long"}
   {"name":"col_int64_min","type":"long"}
   {"name":"col_int64_max","type":"long"}
   {"name":"col_decimal","type":"double"}
   {"name":"col_double","type":"double"}
   {"name":"col_boolean","type":"boolean"}
   {"name":"col_timestamp","type":"date"}
   {"name":"col_date","type":"date"}
   {"name":"col_array_to_json","type":"string"}
   {"name":"col_array_to_join","type":"array","splitter":","}
   {"name":"col_doc.key_string","type":"document.string"}
   {"name":"col_doc.key_int32","type":"document.long"}
   {"name":"col_doc.key_int32_min","type":"document.long"}
   {"name":"col_doc.key_int32_max","type":"document.long"}
   {"name":"col_doc.key_int64","type":"document.long"}
   {"name":"col_doc.key_int64_min","type":"document.long"}
   {"name":"col_doc.key_int64_max","type":"document.long"}
   {"name":"col_doc.key_decimal","type":"document.double"}
   {"name":"col_doc.key_double","type":"document.double"}
   {"name":"col_doc.key_boolean","type":"document.boolean"}
   {"name":"col_doc.key_timestamp","type":"document.date"}
   {"name":"col_doc.key_date","type":"document.date"}
   {"name":"col_doc.key_array_to_json","type":"document"}
   {"name":"col_doc.key_array_to_join","type":"document.array","splitter":","}
   {"name":"col_doc","type":"string"}
   {"name":"col_combine","type":"combine"}

   Une fois les champs modifiés, l'interface utilisateur affiche le mappage entre les champs source et destination.

Après avoir configuré le nœud, exécutez-le. Une fois la tâche terminée, consultez les données synchronisées dans la table MaxCompute. Les données synchronisées comprennent les champs et valeurs suivants : col_string (mock string value), col_int32 (1), col_int32_min (-2147483648), col_int32_max (2147483647), col_int64 (1234567890123456), col_decimal (9999999.4999999999), col_double (9999999.99), col_boolean (true), col_timestamp (2023-02-03 14:17:56.554), col_date (2023-02-03), col_array_to_json ([a, b]), col_array_to_join (a,b) et pt (20230202). Certains champs numériques sont stockés sous forme de texte. Les valeurs des champs complexes sont les suivantes :

• Le contenu du champ col_doc est le suivant.

  {
    "key_array_to_join": [
      "a",
      "b"
    ],
    "key_array_to_json": [
      "a",
      "b"
    ],
    "key_boolean": true,
    "key_date": "2023-02-03 14:17:56",
    "key_decimal": {
      "finite": true,
      "high": 34711494127958097792,
      "infinite": false,
      "low": 99999994999999999,
      "naN": false,
      "negative": false
    },
    "key_double": 9999999.99,
    "key_int32": 1,
    "key_int32_max": 2147483647,
    "key_int32_min": -2147483648,
    "key_int64": 1234567890123456,
    "key_int64_max": 9223372036854775807,
    "key_int64_min": -9223372036854775807,
    "key_string": "mock string value",
    "key_timestamp": "2023-02-03 14:17:56"
  }

• Le contenu du champ col_combine est le suivant.

  {
    "col_extra_1": "this is extra 1",
    "col_extra_2": "this is extra 2"
  }

Lorsqu'un document est sérialisé au format JSON, les données Decimal128 sont produites par défaut selon le format suivant :

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}

Pour produire les données sous forme de type numérique, procédez comme suit :

1. Lors de la configuration de la tâche de synchronisation par lots, basculez vers le mode script.

2. Modifiez la configuration de la tâche Reader : dans la section des paramètres, ajoutez le paramètre decimal128OutputType et définissez sa valeur sur bigDecimal.

   "parameter": {
       "collectionName": "di_mongodb_conf_test",
       "decimal128OutputType":"bigDecimal"
   },
   "name": "Reader",
   "category": "reader"

3. Exécutez à nouveau la tâche de synchronisation par lots et consultez le résultat.

   {
       "key_decimal": "9999999.4999999999"
   }