DataWorks:Lectura de datos de MongoDB mediante sincronización por lotes

Asegúrese de cumplir con los siguientes requisitos:

• Activó DataWorks y creó un origen de datos de MaxCompute.

• Este tutorial utiliza un resource group exclusivo para Data Integration con el fin de ejecutar la tarea por lotes. Debe comprar y configurar un resource group exclusivo para Data Integration. Para obtener más información, consulte Use an exclusive resource group for Data Integration.

  Nota

  También puede usar un resource group serverless. Para obtener más información, consulte Use a serverless resource group.

En DataWorks DataStudio, cree un nodo de sincronización por lotes y configure su origen y destino. A continuación se destacan únicamente los parámetros clave; para los demás, utilice los valores predeterminados. Para consultar las instrucciones detalladas, consulte Configure a batch synchronization node using the Codeless UI.

1. Configure la conexión de red.

   Seleccione los orígenes de datos de MongoDB y MaxCompute junto con el resource group exclusivo correspondiente para Data Integration. Después, pruebe la conectividad.

2. Configure la tarea: seleccione los orígenes de datos.

   Para el origen y el destino, seleccione la colección de MongoDB y la tabla particionada de MaxCompute.

3. Configure la tarea: asigne los campos.

   Cuando el origen de datos es MongoDB, se utiliza de forma predeterminada la opción Map Fields in Same Row. También puede hacer clic en el ícono para editar manualmente los campos de la tabla de origen. A continuación se muestra un ejemplo de edición manual.

   {"name":"_id","type":"string"}
   {"name":"col_string","type":"string"}
   {"name":"col_int32","type":"long"}
   {"name":"col_int32_min","type":"long"}
   {"name":"col_int32_max","type":"long"}
   {"name":"col_int64","type":"long"}
   {"name":"col_int64_min","type":"long"}
   {"name":"col_int64_max","type":"long"}
   {"name":"col_decimal","type":"double"}
   {"name":"col_double","type":"double"}
   {"name":"col_boolean","type":"boolean"}
   {"name":"col_timestamp","type":"date"}
   {"name":"col_date","type":"date"}
   {"name":"col_array_to_json","type":"string"}
   {"name":"col_array_to_join","type":"array","splitter":","}
   {"name":"col_doc.key_string","type":"document.string"}
   {"name":"col_doc.key_int32","type":"document.long"}
   {"name":"col_doc.key_int32_min","type":"document.long"}
   {"name":"col_doc.key_int32_max","type":"document.long"}
   {"name":"col_doc.key_int64","type":"document.long"}
   {"name":"col_doc.key_int64_min","type":"document.long"}
   {"name":"col_doc.key_int64_max","type":"document.long"}
   {"name":"col_doc.key_decimal","type":"document.double"}
   {"name":"col_doc.key_double","type":"document.double"}
   {"name":"col_doc.key_boolean","type":"document.boolean"}
   {"name":"col_doc.key_timestamp","type":"document.date"}
   {"name":"col_doc.key_date","type":"document.date"}
   {"name":"col_doc.key_array_to_json","type":"document"}
   {"name":"col_doc.key_array_to_join","type":"document.array","splitter":","}
   {"name":"col_doc","type":"string"}
   {"name":"col_combine","type":"combine"}

   Una vez editados los campos, la interfaz muestra la asignación entre los campos de origen y de destino.

Después de configurar el nodo, ejecútelo. Cuando finalice la tarea, consulte los datos sincronizados en la tabla de MaxCompute. Los datos sincronizados incluyen los siguientes campos y valores: col_string (mock string value), col_int32 (1), col_int32_min (-2147483648), col_int32_max (2147483647), col_int64 (1234567890123456), col_decimal (9999999.4999999999), col_double (9999999.99), col_boolean (true), col_timestamp (2023-02-03 14:17:56.554), col_date (2023-02-03), col_array_to_json ([a, b]), col_array_to_join (a,b) y pt (20230202). Algunos campos numéricos se almacenan como texto. Los valores de los campos complejos son los siguientes:

• El contenido del campo col_doc es el siguiente.

  {
    "key_array_to_join": [
      "a",
      "b"
    ],
    "key_array_to_json": [
      "a",
      "b"
    ],
    "key_boolean": true,
    "key_date": "2023-02-03 14:17:56",
    "key_decimal": {
      "finite": true,
      "high": 34711494127958097792,
      "infinite": false,
      "low": 99999994999999999,
      "naN": false,
      "negative": false
    },
    "key_double": 9999999.99,
    "key_int32": 1,
    "key_int32_max": 2147483647,
    "key_int32_min": -2147483648,
    "key_int64": 1234567890123456,
    "key_int64_max": 9223372036854775807,
    "key_int64_min": -9223372036854775807,
    "key_string": "mock string value",
    "key_timestamp": "2023-02-03 14:17:56"
  }

• El contenido del campo col_combine es el siguiente.

  {
    "col_extra_1": "this is extra 1",
    "col_extra_2": "this is extra 2"
  }

Cuando un documento se serializa a JSON, los datos Decimal128 se generan de forma predeterminada con el siguiente formato:

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}

Para generar los datos como un tipo numérico, siga estos pasos:

1. Al configurar la tarea de sincronización por lotes, cambie al modo de script.

2. Modifique la configuración de la tarea Reader: en la sección de parámetros, agregue el parámetro decimal128OutputType y establezca su valor en bigDecimal.

   "parameter": {
       "collectionName": "di_mongodb_conf_test",
       "decimal128OutputType":"bigDecimal"
   },
   "name": "Reader",
   "category": "reader"

3. Ejecute de nuevo la tarea de sincronización por lotes y consulte el resultado.

   {
       "key_decimal": "9999999.4999999999"
   }