DataWorks:バッチ同期による MongoDB データソースからのデータ読み取り

前提条件

サンプルデータテーブルの準備

オフラインデータ同期のために、MongoDB のデータコレクションと MaxCompute のテーブルを準備します。

1. MongoDB データコレクションを準備します。

   このチュートリアルでは、ApsaraDB for MongoDB を例として使用します。以下のコードは、MongoDB データコレクションの準備方法を示しています。

   1. di_mongodb_conf_test という名前のデータコレクションを作成します。

      db.createCollection('di_mongodb_conf_test')

   2. このチュートリアルのサンプルデータをデータコレクションに挿入します。

      db.di_mongodb_conf_test.insertOne({
          'col_string':'mock string value',
          'col_int32':NumberInt("1"),
          'col_int32_min':NumberInt("-2147483648"),
          'col_int32_max':NumberInt("2147483647"),
          'col_int64':NumberLong("1234567890123456"),
          'col_int64_min':NumberLong("-9223372036854775807"),
          'col_int64_max':NumberLong("9223372036854775807"),
          'col_decimal':NumberDecimal("9999999.4999999999"),
          'col_double':9999999.99,
          'col_boolean':true,
          'col_timestamp':ISODate(),
          'col_date':new Date(),
          'col_array_to_json':['a','b'],
          'col_array_to_join':['a','b'],
          'col_doc':{
              'key_string':'mock string value',
              'key_int32':NumberInt("1"),
              'key_int32_min':NumberInt("-2147483648"),
              'key_int32_max':NumberInt("2147483647"),
              'key_int64':NumberLong("1234567890123456"),
              'key_int64_min':NumberLong("-9223372036854775807"),
              'key_int64_max':NumberLong("9223372036854775807"),
              'key_decimal':NumberDecimal("9999999.4999999999"),
              'key_double':9999999.99,
              'key_boolean':true,
              'key_timestamp':ISODate(),
              'key_date':new Date(),
              'key_array_to_json':['a','b'],
              'key_array_to_join':['a','b'],
          },
          'col_extra_1':'this is extra 1',
          'col_extra_2':'this is extra 2',
      })

   3. MongoDB に挿入されたデータをクエリします。

      db.getCollection("di_mongodb_conf_test").find({})

      クエリ結果は次の図のようになります。

2. MaxCompute テーブルを準備します。

   1. di_mongodb_conf_test という名前のパーティションテーブルを作成します。パーティションフィールドは pt です。

      CREATE TABLE IF NOT EXISTS di_mongodb_conf_test
      (
        `id`                 STRING
        ,`col_string`        STRING
        ,`col_int32`         INT
        ,`col_int32_min`     INT
        ,`col_int32_max`     INT
        ,`col_int64`         BIGINT
        ,`col_int64_min`     BIGINT
        ,`col_int64_max`     BIGINT
        ,`col_decimal`       DECIMAL(38,18)
        ,`col_double`        DOUBLE
        ,`col_boolean`       BOOLEAN
        ,`col_timestamp`     TIMESTAMP
        ,`col_date`          DATE
        ,`col_array_to_json` STRING
        ,`col_array_to_join` STRING
        ,`key_string`        STRING
        ,`key_int32`         INT
        ,`key_int32_min`     INT
        ,`key_int32_max`     INT
        ,`key_int64`         BIGINT
        ,`key_int64_min`     BIGINT
        ,`key_int64_max`     BIGINT
        ,`key_decimal`       DECIMAL(38,18)
        ,`key_double`        DOUBLE
        ,`key_boolean`       BOOLEAN
        ,`key_timestamp`     TIMESTAMP
        ,`key_date`          DATE
        ,`key_array_to_json` STRING
        ,`key_array_to_join` STRING
        ,`col_doc`           STRING
        ,`col_combine`       STRING
      )
      PARTITIONED BY
      (
        pt                   STRING
      )
      LIFECYCLE 36500
      ;

   2. 値が 20230202 のパーティションを追加します。

      alter table di_mongodb_conf_test add if not exists partition (pt='20230202');

   3. パーティションテーブルが作成されたことを確認します。

      SELECT*FROM di_mongodb_conf_test
      WHEREpt='20230202';

オフラインタスクの設定

ステップ 1: MongoDB データソースの追加

MongoDB データソースを追加し、データソースとデータ統合専用リソースグループの間にネットワーク接続があることを確認します。詳細については、「MongoDB データソースの設定」をご参照ください。

ステップ 2: オフライン同期ノードの作成と同期タスクの設定

ステップ 3: オフライン同期ノードの送信と公開

標準モードの DataWorks ワークスペースを使用し、オフライン同期タスクを本番環境で定期的に実行するようにスケジュールしたい場合は、ノードを送信して公開する必要があります。詳細については、「タスクの公開」をご参照ください。

ステップ 4: オフライン同期ノードの実行と結果の表示

付録 1: 同期中のデータフォーマット変換

配列データを JSON フォーマットに変換：col_array_to_json

{
    "col_array_to_json":
    [
        "a",
        "b"
    ]
}

{"name":"col_array_to_json","type":"string"}

[a, b]

配列データを連結文字列に変換：col_array_to_join

{
    "col_array_to_join":
    [
        "a",
        "b"
    ]
}

{"name":"col_array_to_join","type":"array","splitter":","}

a,b

ネストされたドキュメントから指定されたフィールドを読み取る

{
    "col_doc":
    {
        "key_string": "mock string value"
    }
}

{"name":"col_doc.key_string","type":"document.string"}

mock string value

JSON シリアル化出力としてのドキュメントデータ

{
    "col_doc":
    {
        "key_string": "mock string value",
        "key_int32": 1
    }
}

{"name":"col_doc","type":"string"}

{"key_string":"mockstringvalue","key_int32":1}

残りのドキュメントフィールドを JSON フォーマットにシリアル化する

{
    "col_1": "value1",
    "col_2": "value2",
    "col_3": "value3",
    "col_4": "value4"
}

{"name":"col_1","type":"string"}
{"name":"col_2","type":"string"}
{"name":"col_combine","type":"combine"}

{"col_3":"value3","col_4":"value4"}

付録 2: ドキュメント内の Decimal 型の出力

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}