DataWorks:バッチ同期を使用した MongoDB からのデータ読み取り

開始する前に、次の要件を満たしていることを確認してください：

• DataWorks を有効化し、MaxCompute データソースを作成済みであること。

• このチュートリアルでは、データ統合専用リソースグループを使用してバッチタスクを実行します。データ統合専用リソースグループを購入して設定する必要があります。詳細については、「データ統合専用リソースグループの使用」をご参照ください。

  説明

  サーバーレスリソースグループを使用することもできます。詳細については、「サーバーレスリソースグループの使用」をご参照ください。

DataWorks の DataStudio でバッチ同期ノードを作成し、ソースとターゲットを設定します。このセクションでは主要なパラメータを説明します。その他のパラメータは、デフォルト値のままでかまいません。詳細な手順については、「コードレス UI を使用したバッチ同期ノードの設定」をご参照ください。

1. ネットワーク接続を設定します。

   MongoDB と MaxCompute のデータソース、および対応するデータ統合専用リソースグループを選択し、接続テストを実行します。

2. タスクの設定：データソースを選択します。

   ソースとターゲットとして、MongoDB コレクションと MaxCompute のパーティションテーブルを選択します。

3. タスクの設定：フィールドをマッピングします。

   データソースが MongoDB の場合、デフォルトで [Peer mapping] が使用されます。 アイコンをクリックして、ソーステーブルのフィールドを手動で編集することもできます。以下に手動編集の例を示します。

   {"name":"_id","type":"string"}
   {"name":"col_string","type":"string"}
   {"name":"col_int32","type":"long"}
   {"name":"col_int32_min","type":"long"}
   {"name":"col_int32_max","type":"long"}
   {"name":"col_int64","type":"long"}
   {"name":"col_int64_min","type":"long"}
   {"name":"col_int64_max","type":"long"}
   {"name":"col_decimal","type":"double"}
   {"name":"col_double","type":"double"}
   {"name":"col_boolean","type":"boolean"}
   {"name":"col_timestamp","type":"date"}
   {"name":"col_date","type":"date"}
   {"name":"col_array_to_json","type":"string"}
   {"name":"col_array_to_join","type":"array","splitter":","}
   {"name":"col_doc.key_string","type":"document.string"}
   {"name":"col_doc.key_int32","type":"document.long"}
   {"name":"col_doc.key_int32_min","type":"document.long"}
   {"name":"col_doc.key_int32_max","type":"document.long"}
   {"name":"col_doc.key_int64","type":"document.long"}
   {"name":"col_doc.key_int64_min","type":"document.long"}
   {"name":"col_doc.key_int64_max","type":"document.long"}
   {"name":"col_doc.key_decimal","type":"document.double"}
   {"name":"col_doc.key_double","type":"document.double"}
   {"name":"col_doc.key_boolean","type":"document.boolean"}
   {"name":"col_doc.key_timestamp","type":"document.date"}
   {"name":"col_doc.key_date","type":"document.date"}
   {"name":"col_doc.key_array_to_json","type":"document.string"}
   {"name":"col_doc.key_array_to_join","type":"document.array","splitter":","}
   {"name":"col_doc","type":"string"}
   {"name":"col_combine","type":"combine"}

   フィールドを編集すると、UI にソースフィールドとターゲットフィールドのマッピングが表示されます。

ノードを設定した後に実行します。タスクが完了したら、MaxCompute テーブルで同期されたデータを確認します。同期データには、次のフィールドと値が含まれます： col_string (mock string value)、 col_int32 (1)、 col_int32_min (-2147483648)、 col_int32_max (2147483647)、 col_int64 (1234567890123456)、 col_decimal (9999999.4999999999)、 col_double (9999999.99)、 col_boolean (true)、 col_timestamp (2023-02-03 14:17:56.554)、 col_date (2023-02-03)、 col_array_to_json ([a, b])、 col_array_to_join (a,b)、 pt (20230202)。一部の数値フィールドはテキストとして保存されます。複合フィールドの値は次のとおりです：

• col_doc フィールドの内容は次のとおりです。

  {
    "key_array_to_join": [
      "a",
      "b"
    ],
    "key_array_to_json": [
      "a",
      "b"
    ],
    "key_boolean": true,
    "key_date": "2023-02-03 14:17:56",
    "key_decimal": {
      "finite": true,
      "high": 3471149412795809792,
      "infinite": false,
      "low": 99999994999999999,
      "naN": false,
      "negative": false
    },
    "key_double": 9999999.99,
    "key_int32": 1,
    "key_int32_max": 2147483647,
    "key_int32_min": -2147483648,
    "key_int64": 1234567890123456,
    "key_int64_max": 9223372036854775807,
    "key_int64_min": -9223372036854775807,
    "key_string": "mock string value",
    "key_timestamp": "2023-02-03 14:17:56"
  }

• col_combine フィールドの内容は次のとおりです。

  {
    "col_extra_1": "this is extra 1",
    "col_extra_2": "this is extra 2"
  }

ドキュメントが JSON 形式にシリアル化されると、Decimal128 データはデフォルトで次のように出力されます。

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}

数値型として出力するには、次の手順に従ってください：

1. バッチ同期タスクを設定する際に、スクリプトモードに切り替えます。

2. Reader タスク設定を変更します：パラメータセクションに decimal128OutputType パラメータを追加し、値を bigDecimal に設定します。

   "parameter": {
       "collectionName": "di_mongodb_conf_test",
       "decimal128OutputType":"bigDecimal"
   },
   "name": "Reader",
   "category": "reader"

3. バッチ同期タスクを再実行し、結果を確認します。

   {
       "key_decimal": "9999999.4999999999"
   }