DataWorks:Lire des données depuis MongoDB à l'aide de la synchronisation par lots

Vérifiez que les conditions suivantes sont remplies :

• Vous avez activé DataWorks et créé une source de données MaxCompute.

• Ce tutoriel utilise un groupe de ressources exclusif pour Data Integration afin d'exécuter la tâche par lots. Vous devez acheter et configurer un groupe de ressources exclusif pour Data Integration. Pour plus d'informations, consultez Utiliser un groupe de ressources exclusif pour Data Integration.

  Remarque

  Vous pouvez également utiliser un groupe de ressources serverless. Pour plus d'informations, consultez Utiliser un groupe de ressources serverless.

Dans DataWorks DataStudio, créez un nœud de synchronisation par lots et configurez sa source et sa destination. Seuls les paramètres clés sont mis en évidence ci-dessous ; utilisez les valeurs par défaut pour les autres. Pour des instructions détaillées, consultez Configurer un nœud de synchronisation par lots à l'aide de l'interface sans code.

1. Configurez la connexion réseau.

   Sélectionnez les sources de données MongoDB et MaxCompute, ainsi que le groupe de ressources exclusif pour Data Integration correspondant, puis testez la connectivité.

2. Configurez la tâche : sélectionnez les sources de données.

   Pour la source et la destination, sélectionnez la collection MongoDB et la table MaxCompute partitionnée.

3. Configurez la tâche : mappez les champs.

   Lorsque la source de données est MongoDB, l'option Map Fields in Same Row est utilisée par défaut. Vous pouvez également cliquer sur l'icône pour modifier manuellement les champs de la table source. L'exemple suivant illustre une modification manuelle.

   {"name":"_id","type":"string"}
   {"name":"col_string","type":"string"}
   {"name":"col_int32","type":"long"}
   {"name":"col_int32_min","type":"long"}
   {"name":"col_int32_max","type":"long"}
   {"name":"col_int64","type":"long"}
   {"name":"col_int64_min","type":"long"}
   {"name":"col_int64_max","type":"long"}
   {"name":"col_decimal","type":"double"}
   {"name":"col_double","type":"double"}
   {"name":"col_boolean","type":"boolean"}
   {"name":"col_timestamp","type":"date"}
   {"name":"col_date","type":"date"}
   {"name":"col_array_to_json","type":"string"}
   {"name":"col_array_to_join","type":"array","splitter":","}
   {"name":"col_doc.key_string","type":"document.string"}
   {"name":"col_doc.key_int32","type":"document.long"}
   {"name":"col_doc.key_int32_min","type":"document.long"}
   {"name":"col_doc.key_int32_max","type":"document.long"}
   {"name":"col_doc.key_int64","type":"document.long"}
   {"name":"col_doc.key_int64_min","type":"document.long"}
   {"name":"col_doc.key_int64_max","type":"document.long"}
   {"name":"col_doc.key_decimal","type":"document.double"}
   {"name":"col_doc.key_double","type":"document.double"}
   {"name":"col_doc.key_boolean","type":"document.boolean"}
   {"name":"col_doc.key_timestamp","type":"document.date"}
   {"name":"col_doc.key_date","type":"document.date"}
   {"name":"col_doc.key_array_to_json","type":"document"}
   {"name":"col_doc.key_array_to_join","type":"document.array","splitter":","}
   {"name":"col_doc","type":"string"}
   {"name":"col_combine","type":"combine"}

   Après avoir modifié les champs, l'interface utilisateur affiche le mappage entre les champs source et destination.

Une fois le nœud configuré, exécutez-le. Lorsque la tâche est terminée, consultez les données synchronisées dans la table MaxCompute. Les données synchronisées incluent les champs et valeurs suivants : col_string (mock string value), col_int32 (1), col_int32_min (-2147483648), col_int32_max (2147483647), col_int64 (1234567890123456), col_decimal (9999999.4999999999), col_double (9999999.99), col_boolean (true), col_timestamp (2023-02-03 14:17:56.554), col_date (2023-02-03), col_array_to_json ([a, b]), col_array_to_join (a,b) et pt (20230202). Certains champs numériques sont stockés sous forme de texte. Les valeurs des champs complexes sont les suivantes :

• Le contenu du champ col_doc est le suivant.

  {
    "key_array_to_join": [
      "a",
      "b"
    ],
    "key_array_to_json": [
      "a",
      "b"
    ],
    "key_boolean": true,
    "key_date": "2023-02-03 14:17:56",
    "key_decimal": {
      "finite": true,
      "high": 34711494127958097792,
      "infinite": false,
      "low": 99999994999999999,
      "naN": false,
      "negative": false
    },
    "key_double": 9999999.99,
    "key_int32": 1,
    "key_int32_max": 2147483647,
    "key_int32_min": -2147483648,
    "key_int64": 1234567890123456,
    "key_int64_max": 9223372036854775807,
    "key_int64_min": -9223372036854775807,
    "key_string": "mock string value",
    "key_timestamp": "2023-02-03 14:17:56"
  }

• Le contenu du champ col_combine est le suivant.

  {
    "col_extra_1": "this is extra 1",
    "col_extra_2": "this is extra 2"
  }

Lorsqu'un document est sérialisé au format JSON, les données Decimal128 sont produites par défaut au format suivant :

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}

Pour produire les données sous forme de type numérique, suivez ces étapes :

1. Lors de la configuration de la tâche de synchronisation par lots, basculez en mode script.

2. Modifiez la configuration de la tâche Reader : dans la section des paramètres, ajoutez le paramètre decimal128OutputType et définissez sa valeur sur bigDecimal.

   "parameter": {
       "collectionName": "di_mongodb_conf_test",
       "decimal128OutputType":"bigDecimal"
   },
   "name": "Reader",
   "category": "reader"

3. Exécutez à nouveau la tâche de synchronisation par lots et consultez le résultat.

   {
       "key_decimal": "9999999.4999999999"
   }