DataWorks:Toplu senkronizasyon ile MongoDB'den veri okuma

Aşağıdaki gereksinimlerin karşılandığından emin olun:

• DataWorks'ü etkinleştirdiniz ve bir MaxCompute veri kaynağı oluşturdunuz.

• Bu kılavuzda toplu iş görevini çalıştırmak için Data Integration özel kaynak grubu kullanılır. Bir Data Integration özel kaynak grubu satın almanız ve yapılandırmanız gerekir. Daha fazla bilgi için bkz. Data Integration için özel kaynak grubu kullanma.

  Not

  Bunun yerine sunucusuz bir kaynak grubu da kullanabilirsiniz. Daha fazla bilgi için bkz. Sunucusuz kaynak grubu kullanma.

DataWorks DataStudio'da bir toplu senkronizasyon düğümü oluşturun ve kaynak ile hedef ayarlarını yapılandırın. Aşağıda yalnızca temel parametreler vurgulanmıştır; diğerleri için varsayılan değerleri kullanın. Ayrıntılı talimatlar için bkz. Kodsuz UI kullanarak toplu senkronizasyon düğümü yapılandırma.

1. Ağ bağlantısını yapılandırın.

   MongoDB ve MaxCompute veri kaynaklarını, ilgili Data Integration özel kaynak grubunu seçin ve ardından bağlantıyı test edin.

2. Görevi yapılandırın: Veri kaynaklarını seçin.

   Kaynak ve hedef için MongoDB koleksiyonunu ve bölümlendirilmiş MaxCompute tablosunu seçin.

3. Görevi yapılandırın: Alanları eşleyin.

   Veri kaynağı MongoDB olduğunda, varsayılan olarak Map Fields in Same Row kullanılır. Kaynak tablo alanlarını manuel olarak düzenlemek için simgesine tıklayabilirsiniz. Aşağıda manuel düzenlemeye bir örnek verilmiştir.

   {"name":"_id","type":"string"}
   {"name":"col_string","type":"string"}
   {"name":"col_int32","type":"long"}
   {"name":"col_int32_min","type":"long"}
   {"name":"col_int32_max","type":"long"}
   {"name":"col_int64","type":"long"}
   {"name":"col_int64_min","type":"long"}
   {"name":"col_int64_max","type":"long"}
   {"name":"col_decimal","type":"double"}
   {"name":"col_double","type":"double"}
   {"name":"col_boolean","type":"boolean"}
   {"name":"col_timestamp","type":"date"}
   {"name":"col_date","type":"date"}
   {"name":"col_array_to_json","type":"string"}
   {"name":"col_array_to_join","type":"array","splitter":","}
   {"name":"col_doc.key_string","type":"document.string"}
   {"name":"col_doc.key_int32","type":"document.long"}
   {"name":"col_doc.key_int32_min","type":"document.long"}
   {"name":"col_doc.key_int32_max","type":"document.long"}
   {"name":"col_doc.key_int64","type":"document.long"}
   {"name":"col_doc.key_int64_min","type":"document.long"}
   {"name":"col_doc.key_int64_max","type":"document.long"}
   {"name":"col_doc.key_decimal","type":"document.double"}
   {"name":"col_doc.key_double","type":"document.double"}
   {"name":"col_doc.key_boolean","type":"document.boolean"}
   {"name":"col_doc.key_timestamp","type":"document.date"}
   {"name":"col_doc.key_date","type":"document.date"}
   {"name":"col_doc.key_array_to_json","type":"document"}
   {"name":"col_doc.key_array_to_join","type":"document.array","splitter":","}
   {"name":"col_doc","type":"string"}
   {"name":"col_combine","type":"combine"}

   Alanları düzenledikten sonra UI, kaynak ve hedef alanları arasındaki eşlemeyi görüntüler.

Düğümü yapılandırdıktan sonra çalıştırın. Görev tamamlandığında, MaxCompute tablosundaki senkronize edilmiş verileri görüntüleyin. Senkronize edilen veriler aşağıdaki alanları ve değerleri içerir: col_string (mock string value), col_int32 (1), col_int32_min (-2147483648), col_int32_max (2147483647), col_int64 (1234567890123456), col_decimal (9999999.4999999999), col_double (9999999.99), col_boolean (true), col_timestamp (2023-02-03 14:17:56.554), col_date (2023-02-03), col_array_to_json ([a, b]), col_array_to_join (a,b) ve pt (20230202). Bazı sayısal alanlar metin olarak depolanır. Karmaşık alanların değerleri aşağıdaki gibidir:

• col_doc alanının içeriği aşağıdaki gibidir.

  {
    "key_array_to_join": [
      "a",
      "b"
    ],
    "key_array_to_json": [
      "a",
      "b"
    ],
    "key_boolean": true,
    "key_date": "2023-02-03 14:17:56",
    "key_decimal": {
      "finite": true,
      "high": 34711494127958097792,
      "infinite": false,
      "low": 99999994999999999,
      "naN": false,
      "negative": false
    },
    "key_double": 9999999.99,
    "key_int32": 1,
    "key_int32_max": 2147483647,
    "key_int32_min": -2147483648,
    "key_int64": 1234567890123456,
    "key_int64_max": 9223372036854775807,
    "key_int64_min": -9223372036854775807,
    "key_string": "mock string value",
    "key_timestamp": "2023-02-03 14:17:56"
  }

• col_combine alanının içeriği aşağıdaki gibidir.

  {
    "col_extra_1": "this is extra 1",
    "col_extra_2": "this is extra 2"
  }

Bir belge JSON'a seri hale getirildiğinde Decimal128 verisi varsayılan olarak aşağıdaki biçimde çıktı verilir:

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}

Verileri sayısal tür olarak çıktı almak için şu adımları izleyin:

1. Toplu senkronizasyon görevini yapılandırırken betik moduna geçin.

2. Reader görev yapılandırmasını değiştirin: parametre bölümünde decimal128OutputType parametresini ekleyin ve değerini bigDecimal olarak ayarlayın.

   "parameter": {
       "collectionName": "di_mongodb_conf_test",
       "decimal128OutputType":"bigDecimal"
   },
   "name": "Reader",
   "category": "reader"

3. Toplu senkronizasyon görevini yeniden çalıştırın ve sonucu görüntüleyin.

   {
       "key_decimal": "9999999.4999999999"
   }