DataWorks:Leitura de dados do MongoDB com sincronização em lote

Antes de iniciar, verifique se você atende aos seguintes requisitos:

• Você ativou o DataWorks e criou uma fonte de dados do MaxCompute.

• Este tutorial utiliza um grupo de recursos exclusivo para Data Integration na execução da tarefa em lote. Adquira e configure um grupo de recursos exclusivo para Data Integration. Para mais informações, consulte Usar um grupo de recursos exclusivo para Data Integration.

  Nota

  Também é possível utilizar um grupo de recursos serverless. Para mais informações, consulte Usar um grupo de recursos serverless.

No DataWorks DataStudio, crie um nó de sincronização em lote e configure sua source e seu destino. Esta seção destaca os parâmetros principais; para os demais, utilize os valores padrão. Para instruções detalhadas, consulte Configurar um nó de sincronização em lote usando a Codeless UI.

1. Configure a conexão de rede.

   Selecione as fontes de dados do MongoDB e do MaxCompute, o grupo de recursos exclusivo correspondente para Data Integration e, em seguida, teste a conectividade.

2. Configure a tarefa: selecione as fontes de dados.

   Para source e destino, selecione a coleção do MongoDB e a tabela particionada do MaxCompute.

3. Configure a tarefa: mapeie os campos.

   Quando a fonte de dados é o MongoDB, o Peer mapping é usado por padrão. Você também pode clicar em no ícone para editar manualmente os campos da tabela de origem. O exemplo a seguir ilustra a edição manual.

   {"name":"_id","type":"string"}
   {"name":"col_string","type":"string"}
   {"name":"col_int32","type":"long"}
   {"name":"col_int32_min","type":"long"}
   {"name":"col_int32_max","type":"long"}
   {"name":"col_int64","type":"long"}
   {"name":"col_int64_min","type":"long"}
   {"name":"col_int64_max","type":"long"}
   {"name":"col_decimal","type":"double"}
   {"name":"col_double","type":"double"}
   {"name":"col_boolean","type":"boolean"}
   {"name":"col_timestamp","type":"date"}
   {"name":"col_date","type":"date"}
   {"name":"col_array_to_json","type":"string"}
   {"name":"col_array_to_join","type":"array","splitter":","}
   {"name":"col_doc.key_string","type":"document.string"}
   {"name":"col_doc.key_int32","type":"document.long"}
   {"name":"col_doc.key_int32_min","type":"document.long"}
   {"name":"col_doc.key_int32_max","type":"document.long"}
   {"name":"col_doc.key_int64","type":"document.long"}
   {"name":"col_doc.key_int64_min","type":"document.long"}
   {"name":"col_doc.key_int64_max","type":"document.long"}
   {"name":"col_doc.key_decimal","type":"document.double"}
   {"name":"col_doc.key_double","type":"document.double"}
   {"name":"col_doc.key_boolean","type":"document.boolean"}
   {"name":"col_doc.key_timestamp","type":"document.date"}
   {"name":"col_doc.key_date","type":"document.date"}
   {"name":"col_doc.key_array_to_json","type":"document"}
   {"name":"col_doc.key_array_to_join","type":"document.array","splitter":","}
   {"name":"col_doc","type":"string"}
   {"name":"col_combine","type":"combine"}

   Após editar os campos, a interface exibe o mapeamento entre os campos de origem e de destino.

Após configurar o nó, execute-o. Quando a tarefa for concluída, visualize os dados sincronizados na tabela do MaxCompute. Os dados sincronizados incluem os seguintes campos e valores: col_string (mock string value), col_int32 (1), col_int32_min (-2147483648), col_int32_max (2147483647), col_int64 (1234567890123456), col_decimal (9999999.4999999999), col_double (9999999.99), col_boolean (true), col_timestamp (2023-02-03 14:17:56.554), col_date (2023-02-03), col_array_to_json ([a, b]), col_array_to_join (a,b) e pt (20230202). Alguns campos numéricos são armazenados como texto. Os valores dos campos complexos são os seguintes:

• O conteúdo do campo col_doc é apresentado abaixo.

  {
    "key_array_to_join": [
      "a",
      "b"
    ],
    "key_array_to_json": [
      "a",
      "b"
    ],
    "key_boolean": true,
    "key_date": "2023-02-03 14:17:56",
    "key_decimal": {
      "finite": true,
      "high": 34711494127958097792,
      "infinite": false,
      "low": 99999994999999999,
      "naN": false,
      "negative": false
    },
    "key_double": 9999999.99,
    "key_int32": 1,
    "key_int32_max": 2147483647,
    "key_int32_min": -2147483648,
    "key_int64": 1234567890123456,
    "key_int64_max": 9223372036854775807,
    "key_int64_min": -9223372036854775807,
    "key_string": "mock string value",
    "key_timestamp": "2023-02-03 14:17:56"
  }

• O conteúdo do campo col_combine é apresentado abaixo.

  {
    "col_extra_1": "this is extra 1",
    "col_extra_2": "this is extra 2"
  }

Quando um documento é serializado para o formato JSON, os dados Decimal128 são, por padrão, gerados da seguinte forma:

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}

Para gerar os dados como um tipo numérico, siga estas etapas:

1. Ao configurar a tarefa de sincronização em lote, alterne para o modo script.

2. Modifique a configuração da tarefa Reader: na seção de parâmetros, adicione o parâmetro decimal128OutputType e defina seu valor como bigDecimal.

   "parameter": {
       "collectionName": "di_mongodb_conf_test",
       "decimal128OutputType":"bigDecimal"
   },
   "name": "Reader",
   "category": "reader"

3. Execute novamente a tarefa de sincronização em lote e visualize o resultado.

   {
       "key_decimal": "9999999.4999999999"
   }