ApsaraDB for MongoDB:シャードノードの追加・削除の進捗確認方法

MongoDB 6.0 より前のバージョン

タスクの進捗を推定する前に、バランサーの実行統計 (成功数と失敗数) と、移行を待機しているシャード化されたコレクションのチャンク情報を取得します。

以下の 2 つの方法を使用して、バランサーの実行結果と、移行待ちのシャード化されたテーブルのチャンクに関する情報を取得できます。

• 方法 1：sh.status() コマンドの出力を使用します。

  sh.status() の出力の 2 つの部分に注目します。最初の部分は、この例のように、最近のバランサーの結果を示しています。

  ...
    balancer:
          Collections with active migrations: 
                  <db>.<collection> started at Wed Sep 27 2023 10:25:21 GMT+0800 (CST)
          Failed balancer rounds in last 5 attempts:  0
          Migration Results for the last 24 hours: 
                  300 : Success
    databases:
  ...

  2 番目の部分は、この例のように、シャード化されたコレクションのチャンク詳細を示しています。

  ...
  databases:
  ...
      {  "_id" : "<db>",  "primary" : "d-xxxxxxxxxxxxxxx3",  "partitioned" : true,  "version" : {  "uuid" : UUID("3409a337-c370-4425-ad72-8b8c6b0abd52"),  "lastMod" : 1 } }
            <db>.<collection>
                          shard key: { "<shard_key>" : "hashed" }
                          unique: false
                          balancing: true
                          chunks:
                                  d-xxxxxxxxxxxxxxx1      13630
                                  d-xxxxxxxxxxxxxxx2      13629
                                  d-xxxxxxxxxxxxxxx3      13652
                                  d-xxxxxxxxxxxxxxx4      13630
                                  d-xxxxxxxxxxxxxxx5      3719
                          too many chunks to print, use verbose if you want to force print
  ...

  この例では、「d-xxxxxxxxxxxxxxx5」が新しく追加されたシャードノードです。また、シャード化されたコレクションを含むデータベースで getShardDistribution コマンドを実行して、以下に示すようにチャンクの分散詳細を取得することもできます。

  use <db>
  db.<collection>.getShardDistribution()

• 方法 2：config データベースから関連データを直接読み取ります。

  シャードごとに集計されたチャンク統計を次のように表示します。

  db.getSiblingDB("config").chunks.aggregate([{$group: {_id: "$shard", count: {$sum: 1}}}])

  特定のシャード上のチャンクを名前空間でグループ化して表示するには、次のコマンドを実行します。

  db.getSiblingDB("config").chunks.aggregate([{$match: {shard: "d-xxxxxxxxxxxxxx"}},{$group: {_id: "$ns", count: {$sum: 1}}}])

  過去 24 時間に特定のシャードノードに正常に移行されたチャンクをカウントするには、次のコマンドを実行します。

  // details.to はチャンク移行の移行先シャードを指定します
  // ISODate を使用して time フィールドの時間範囲を定義します
  db.getSiblingDB("config").changelog.find({"what" : "moveChunk.commit", "details.to" : "d-xxxxxxxxxxxxx","time" : {"$gte": ISODate("2023-09-26T00:00:00")}}).count()

MongoDB 6.0 以降のバージョン

タスクの進捗を推定する前に、シャード間のデータ分散に注目します。引き続き sh.status() の出力を参照として使用できますが、不均一なチャンク数から実際のデータ量分散に注意を移してください。

• シャード化されたコレクションの分散とデータバランスに関する情報を取得します。

  getShardDistribution コマンドを使用して分散の詳細を取得し、データバランスに注目します。例：

  mongos> db.xxx.getShardDistribution()
  Shard d-xxx at xxx
   data : 379.26MiB docs : 8277367 chunks : 1
   estimated data per chunk : 379.26MiB
   estimated docs per chunk : 8277367
  Shard d-xxx at xxx
   data : 379.11MiB docs : 8272852 chunks : 1
   estimated data per chunk : 379.11MiB
   estimated docs per chunk : 8272852
  Shard d-xxx at xxx
   data : 379.18MiB docs : 8275108 chunks : 1
   estimated data per chunk : 379.18MiB
   estimated docs per chunk : 8275108
  Totals
   data : 1.11GiB docs : 24825327 chunks : 3
   Shard d-xxx contains 33.34% data, 33.34% docs in cluster, avg obj size on shard : 48B
   Shard d-xxx contains 33.32% data, 33.32% docs in cluster, avg obj size on shard : 48B
   Shard d-xxx contains 33.33% data, 33.33% docs in cluster, avg obj size on shard : 48B

  また、次のコマンドを実行して、より詳細な分散情報 (ドキュメント数、合計サイズ、孤立ドキュメント数、孤立サイズを含む) を取得することもできます。

  db.getSiblingDB("admin").aggregate( [{ $shardedDataDistribution: { } },{ $match: { "ns": "<db>.<collection>" } }] ).pretty()

  次の出力例は、シャード間で顕著なデータ不均衡があることを示しています。

  {
          "ns" : "<db>.<collection>",
          "shards" : [
                  {
                          "shardName" : "d-xxxxxxxxxxxxxxx1",
                          "numOrphanedDocs" : 0,
                          "numOwnedDocuments" : 504298920,
                          "ownedSizeBytes" : NumberLong("833101815840"),
                          "orphanedSizeBytes" : 0
                  },
                  {
                          "shardName" : "d-xxxxxxxxxxxxxxx2",
                          "numOrphanedDocs" : 0,
                          "numOwnedDocuments" : 250283901,
                          "ownedSizeBytes" : NumberLong("409714745937"),
                          "orphanedSizeBytes" : 0
                  },
                  {
                          "shardName" : "d-xxxxxxxxxxxxxxx3",
                          "numOrphanedDocs" : 0,
                          "numOwnedDocuments" : 109098088,
                          "ownedSizeBytes" : NumberLong("178157177704"),
                          "orphanedSizeBytes" : 0
                  },
                  {
                          "shardName" : "d-xxxxxxxxxxxxxxx4",
                          "numOrphanedDocs" : 0,
                          "numOwnedDocuments" : 382018055,
                          "ownedSizeBytes" : NumberLong("630329790750"),
                          "orphanedSizeBytes" : 0
                  }
            ]
  }

  この出力から、インスタンスには 4 つのシャードノードがあり、シャード化されたコレクション <db>.<collection> の合計データ量は約 2051303530231 バイト (833101815840 + 409714745937 + 178157177704 + 630329790750 = 2051303530231)、つまり約 1910.4 GB であると判断できます。

• 過去 1 日間に正常に移行されたデータ量を確認します。

  次のクエリを実行します。

  pipeline = [
      { '$match': {
          'what': 'moveChunk.commit',
      } },
      { '$group': {
          '_id': {
              'date': { '$dateToString': { 'format': '%Y-%m-%d', 'date': '$time'} },
           },
          'chunks_moved': { '$sum': 1 },
          'docs_moved': { '$sum': '$details.counts.cloned' },
          'bytes_moved': { '$sum': '$details.counts.clonedBytes' },
      } }, 
      { '$sort': { '_id.date': -1} },
  ]
  db.getSiblingDB("config").changelog.aggregate(pipeline)

  出力例：

  mongos> db.getSiblingDB("config").changelog.aggregate(pipeline)
  { "_id" : { "date" : "2024-09-24" }, "chunks_moved" : 91, "docs_moved" : NumberLong(33071040), "bytes_moved" : NumberLong("11532786734") }
  { "_id" : { "date" : "2024-09-23" }, "chunks_moved" : 294, "docs_moved" : NumberLong(109806635), "bytes_moved" : NumberLong("38294757573") }
  { "_id" : { "date" : "2024-09-22" }, "chunks_moved" : 737, "docs_moved" : NumberLong(266800041), "bytes_moved" : NumberLong("93047288531") }
  { "_id" : { "date" : "2024-09-21" }, "chunks_moved" : 1448, "docs_moved" : NumberLong(525308393), "bytes_moved" : NumberLong("183117965820") }
  { "_id" : { "date" : "2024-09-20" }, "chunks_moved" : 1459, "docs_moved" : NumberLong(530020503), "bytes_moved" : NumberLong("184390749022") }
  { "_id" : { "date" : "2024-09-19" }, "chunks_moved" : 1478, "docs_moved" : NumberLong(557833705), "bytes_moved" : NumberLong("186910196651") }
  { "_id" : { "date" : "2024-09-18" }, "chunks_moved" : 1360, "docs_moved" : NumberLong(508484825), "bytes_moved" : NumberLong("173486932689") }

  この出力は、2024-09-21 に 183117965820 バイト (約 170.5 GB) が移行されたことを示しています。

MongoDB 6.0 より前のバージョン

正常に移行されたチャンクの数と現在のデータ分散を取得した後、タスク全体の進捗と予想される完了時間を推定します。

シャード追加中に次の理想的な条件を想定します：合計チャンク数は一定で、シャード数は固定 (同時のシャード追加または削除なし)、サービス負荷は安定しており、バランサーパラメーターはデフォルト値を使用します。MongoDB 6.0 より前のバージョンのステップ 3 の例を使用すると、次のことがわかります。

• 5 つのシャードノードがあります。

• バランサーウィンドウ中に 300 個のチャンクが正常に移行されました。

• シャード化されたコレクション <db>.<collection> には、合計 58260 個のチャンクがあります (13630 + 13629 + 13652 + 13630 + 3719 = 58260)。

したがって、以下を計算できます。

• 平衡状態では、各シャードは 11652 個のチャンクを保持する必要があります (58260 ÷ 5 = 11652)。

• 現在の移行レートでは、タスクの完了にはさらに 26.4 日かかります ((11652 – 3719) ÷ 300 ≈ 26.4)。

• シャード追加タスクは 32% 完了しています (3719 ÷ 11652 = 32%)。

MongoDB 6.0 以降のバージョン

シャードクラスターインスタンスにバランシングが必要なコレクションが 1 つしかないと仮定します。MongoDB 6.0 以降のバージョンのステップ 3 の例を使用すると、次のことがわかります。

• 4 つのシャードノードがあります。

• 2024-09-21 に、約 170.5 GB (183117965820 バイト) が移行されました。

• シャード化されたコレクション <db>.<collection> の合計データ量は約 1910.4 GB (2051303530231 バイト) です。

したがって、以下を計算できます。

• 平衡状態では、各シャードは約 477.6 GB (512825882557.75 バイト) を保持する必要があります。

• 平衡状態に達するために移行が必要な合計データ量は 875559682949 バイト (815.4 GB) で、内訳は次のとおりです。

  Shard1 は 320275933282.25 バイト (833101815840 – 512825882557.75) を移行する必要があります。

  Shard2 は 103111136620.75 バイト (409714745937 – 512825882557.75) を移行する必要があります。

  Shard3 は 334668704853.75 バイト (178157177704 – 512825882557.75) を移行する必要があります。

  Shard4 は 117503908192.25 バイト (630329790750 – 512825882557.75) を移行する必要があります。

  (320275933282.25 + 103111136620.75 + 334668704853.75 + 117503908192.25 = 875559682949)

• 現在の移行レートでは、約 4.8 日で平衡状態に達します (815.4 GB ÷ 170.5 GB/日 ≈ 4.8 日)。