File Storage NAS:Robocopy ツールを使用したデータの移行

SMB ファイルシステムへのデータ移行を高速化するにはどうすればよいですか?

SMB ファイルシステムに大量のデータを書き込んだり、大量のデータ (たとえば、合計 10 TB を超える、それぞれ約 100 KB の小さなファイルが何億もある) の移行を高速化する必要がある場合があります。この場合、Windows ECS インスタンスに最新の Python プログラムをインストールして、移行を実行できます。次の手順を実行する必要があります。

1. ダウンロード して最新の Python プログラムをインストールします。

2. システム環境変数 PATH を Python 実行パス (例: `C:\Python27`) に設定します。

   set PATH=%PATH%;C:\python27

   また、where python コマンドを実行して、Python のインストールパスを表示することもできます (次の図を参照)。

3. 次の `migration.py` スクリプトを Alibaba Cloud ECS インスタンスのローカルディレクトリ (例: `C:\`) にコピーします。

   #!/usr/bin/python
   
   # 必要なモジュールをインポートします
   import os
   import random
   import string
   import sys, getopt
   import datetime
   import time
   
   # コマンドを実行する関数
   def execute_cmd(cmd):
      print('\tコマンドを実行しています: %s' % cmd)
      count = 0
      rc = 0
      while (count < 3*60):
          rc = os.system(cmd)
          if (rc != 0):
              count += 1
              time.sleep(1)
              continue
          else:
              break
   
      if rc != 0:
          print('\tコマンドの実行に失敗しました: %s. rc:%d' %(cmd, rc))
      return
   
   # サブディレクトリを移行する関数
   def migrate_subdirs(srcPath, dstPath, rangeBegin, rangeEnd, ignoreFile):
      currTimeStr = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
      print('サブディレクトリ範囲[%s, %s] の %s から %s への移行を %s に開始します。\n' %(srcPath, dstPath, rangeBegin, rangeEnd, currTimeStr))
      index = 0
   
      for entry in os.listdir(srcPath):
          if os.path.isdir(os.path.join(srcPath, entry)):
              if index >= rangeBegin and index <= rangeEnd:
                  srcSubDir = srcPath + "\\" + entry
                  dstSubDir = dstPath + "\\" + entry
                  print('\t%d 番目のディレクトリ %s から %s への移行を開始します。' %(index, srcSubDir, dstSubDir))
                  cmd = "robocopy \"" + srcSubDir + "\" \"" + dstSubDir + "\" /e /w:5 /z /mt:32"
                  if ignoreFile.strip():
                      cmd += " /XF \"" + ignoreFile + "\""
                  cmd += " >> robocopy.log"
                  execute_cmd(cmd)
                  print('\t%s から %s への移行が完了しました。\n' %(srcSubDir, dstSubDir))
              index += 1
      print('サブディレクトリ範囲[%s, %s] の %s から %s への移行を %s に完了しました。\n' %(srcPath, dstPath, rangeBegin, rangeEnd, datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")))
   
   # 通常ファイルを移行する関数
   def migrate_regfiles(srcPath, dstPath, ignoreFile):
      currTimeStr = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
      print('%s から %s への通常ファイルの移行を %s に開始します。\n' %(srcPath, dstPath, currTimeStr))
      for entry in os.listdir(srcPath):
          if os.path.isfile(os.path.join(srcPath, entry)):
              print('\t%s の %s から %s への移行を開始します。\n' %(entry, srcPath, dstPath))
              cmd = "attrib -R \"" + dstPath + "\\\\" + entry + "\""
              execute_cmd(cmd)
              cmd = "copy \"" + srcPath + "\\\\" + entry + "\" \"" + dstPath + "\" /Y"
              if ignoreFile.strip():
                  cmd += " /XF \"" + ignoreFile + "\""
              cmd += " >> robocopy.log"
              execute_cmd(cmd)
              print('\t%s の %s から %s への移行が完了しました。' %(entry, srcPath, dstPath))
      print('%s から %s への通常ファイルの移行を %s に完了しました。\n' %(srcPath, dstPath, datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")))
   
   
   def main(argv):
      srcPath = ''
      dstPath = ''
      range = ''
      ignoreFile = ''
      try:
          opts, args = getopt.getopt(argv,"hs:d:r:i:f",["srcPath=","dstPath=","range=","ignore="])
      except getopt.GetoptError:
          print('migration.py -s <ソースパス> -d <ターゲットパス> [-r 開始インデックス:終了インデックス | -f] [-i 無視するファイル]')
          print('例: migration.py -s x:\pic -d z:\pic [-r 0:100]')
          sys.exit(2)
   
      subdironly = False
      fileonly = False
      for opt, arg in opts:
          if opt == '-h':
              print('migration.py -s <ソースパス> -d <ターゲットパス> [-r 開始インデックス:終了インデックス | -f] [-i 無視するファイル]')
              sys.exit()
          elif opt in ("-s", "--srcPath"):
              srcPath = arg
          elif opt in ("-d", "--dstPath"):
              dstPath = arg
          elif opt in ("-r", "--range"):
              range = arg
              subdironly = True
          elif opt in ("-f", "--file"):
              fileonly = True
          elif opt in ("-i", "--ignore"):
              ignoreFile = arg
   
      if not srcPath.strip() or not dstPath.strip():
           print('migration.py -s <ソースパス> -d <ターゲットパス> [-r 開始インデックス:終了インデックス | -f] [-i 無視するファイル]')
           sys.exit()
   
      if subdironly and fileonly:
           print('migration.py -s <ソースパス> -d <ターゲットパス> [-r 開始インデックス:終了インデックス | -f] [-i 無視するファイル]')
   
           sys.exit()
   
      if not fileonly:
          if not range.strip():
               rangeBegin = 0
               rangeEnd = sys.maxsize-1
          else:
               rangeBegin, rangeEnd = (int(x) for x in range.split(":"))
               if rangeBegin < 0 or rangeEnd >= sys.maxsize or rangeEnd < rangeBegin:
                   print('migration.py -s <ソースパス> -d <ターゲットパス> [-r 開始インデックス:終了インデックス | -f] [-i 無視するファイル]')
                   print('例: migration.py -s x:\pic -d z:\pic -r 0:99')
                   sys.exit()
          migrate_subdirs(srcPath, dstPath, rangeBegin, rangeEnd, ignoreFile)
   
      if not subdironly:
           migrate_regfiles(srcPath, dstPath, ignoreFile)
   
   if __name__ == "__main__":
   
     main(sys.argv[1:])

4. データを移行します。コマンド形式は次のとおりです。 python ./migration.py -s <ソースパス> -d <ターゲットパス> [-r 開始インデックス:終了インデックス | -f] [-i 無視するファイル]。

   次の表に、コマンドの主なパラメータを示します。

   パラメータ	説明
   -s <ソースパス>	ソースファイルシステムのマウントポイントのディレクトリを指定します。たとえば、-s Z:\ は、ソースファイルシステムのマウントポイントのディレクトリがドライブ Z のルートディレクトリであることを示します。
   -d <ターゲットパス>	ターゲットファイルシステムのマウントポイントのディレクトリを指定します。たとえば、-d Y:\ は、ターゲットファイルシステムのマウントポイントのディレクトリがドライブ Y のルートディレクトリであることを示します。
   -r 開始インデックス:終了インデックス	移行するファイルの範囲を 開始インデックス から 終了インデックス まで指定します。たとえば、-r 1:100 は、1 から 100 までのファイルが移行されることを示します。
   -f	ソースファイルシステムディレクトリの最初のレベルにある通常ファイルのみを移行することを指定します。 ソースファイルシステムディレクトリのすべてのファイルが移行され、範囲制限は無視されます。
   -i 無視するファイル	移行する必要のないソースファイルシステムディレクトリのファイルを指定します。たとえば、-i ignored.txt は、ignored.txt という名前のファイルが移行されないことを示します。

   説明

   デフォルトでは、-r または -f パラメータを設定する必要はありません。スクリプトは、すべてのサブディレクトリで Robocopy を順番に実行し、次に最初のレベルにある通常ファイルをコピーします。複数のクライアントの CPU とネットワークリソースを使用して、異なるサブディレクトリの移行を同時並行的に高速化し、すべてのクライアントが同じソースディスクにアクセスできるようにする場合は、移行するサブディレクトリの範囲を指定できます。たとえば、最初のクライアントは -r 0:9999 を使用でき、2 番目のクライアントは -r 10000:19999 を使用できます。

   たとえば、ソースファイルシステムの `Z:\` ディレクトリからターゲットファイルシステムの `Y:\` ディレクトリにデータを移行するには、次のサンプルコマンドを使用します。

   python ./migration.py -s Z:\ -d Y:\