File Storage NAS:Robocopy を使用したデータ移行

SMB ファイルシステムへのデータ移行を高速化する方法

同じ SMB ファイルシステムにワークロードが書き込みを行っている間に、大規模な移行 (例えば、それぞれ約 100 KB の数億個の小さなファイルで合計 10 TB 以上) を高速化するには、Windows ECS インスタンスに Python をインストールし、以下の移行スクリプトを実行します。

1. 最新バージョンの Python をダウンロードしてインストールします。

2. Python の実行可能ファイルのパスを PATH 環境変数に追加します (例：C:\Python27)。

   set PATH=%PATH%;C:\python27

   また、where python コマンドを実行して、以下のように Python のインストールパスを確認することもできます。

   C:\Users\Administrator\Desktop>set PATH=%PATH%;C:\python27
   
   C:\Users\Administrator\Desktop>where python
   C:\Python27\python.exe
   
   C:\Users\Administrator\Desktop>path
   PATH=C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\python27

3. 以下の migration.py スクリプトを、ECS インスタンスのローカルディレクトリ (例：C:\) にコピーします。

   #!/usr/bin/python
   
   import os
   import random
   import string
   import sys, getopt
   import datetime
   import time
   
   def execute_cmd(cmd):
      print('\tExecuting cmd: %s' % cmd)
      count = 0
      rc = 0
      while (count < 3*60):
          rc = os.system(cmd)
          if (rc != 0):
              count += 1
              time.sleep(1)
              continue
          else:
              break
   
      if rc != 0:
          print('\tFailed to execute cmd: %s. rc:%d' %(cmd, rc))
      return
   
   def migrate_subdirs(srcPath, dstPath, rangeBegin, rangeEnd, ignoreFile):
      currTimeStr = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
      print('Start to migrate from %s to %s for subdir range[%s, %s] at %s.\n' %(srcPath, dstPath, rangeBegin, rangeEnd, currTimeStr))
      index = 0
   
      for entry in os.listdir(srcPath):
          if os.path.isdir(os.path.join(srcPath, entry)):
              if index >= rangeBegin and index <= rangeEnd:
                  srcSubDir = srcPath + "\\" + entry
                  dstSubDir = dstPath + "\\" + entry
                  print('\tBegin of migrating from the %d th dir %s to %s.' %(index, srcSubDir, dstSubDir))
                  cmd = "robocopy \"" + srcSubDir + "\" \"" + dstSubDir + "\" /e /w:5 /z /mt:32"
                  if ignoreFile.strip():
                      cmd += " /XF \"" + ignoreFile + "\""
                  cmd += " >> robocopy.log"
                  execute_cmd(cmd)
                  print('\tEnd of migrating from %s to %s.\n' %(srcSubDir, dstSubDir))
              index += 1
      print('Finish to migrate from %s to %s for subdir range[%s, %s] at %s.\n' %(srcPath, dstPath, rangeBegin, rangeEnd, datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")))
   
   def migrate_regfiles(srcPath, dstPath, ignoreFile):
      currTimeStr = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
      print('Start to migrate from %s to %s for regular files at %s.\n' %(srcPath, dstPath, currTimeStr))
      for entry in os.listdir(srcPath):
          if os.path.isfile(os.path.join(srcPath, entry)):
              print('\tBegin of migrating %s from %s to %s.\n' %(entry, srcPath, dstPath))
              cmd = "attrib -R \"" + dstPath + "\\\\" + entry + "\""
              execute_cmd(cmd)
              cmd = "copy \"" + srcPath + "\\\\" + entry + "\" \"" + dstPath + "\" /Y"
              if ignoreFile.strip():
                  cmd += " /XF \"" + ignoreFile + "\""
              cmd += " >> robocopy.log"
              execute_cmd(cmd)
              print('\tEnd of migrating %s from %s to %s' %(entry, srcPath, dstPath))
      print('Finish to migrate from %s to %s for regular files at %s.\n' %(srcPath, dstPath, datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")))
   
   
   def main(argv):
      srcPath = ''
      dstPath = ''
      range = ''
      ignoreFile = ''
      try:
          opts, args = getopt.getopt(argv,"hs:d:r:i:f",["srcPath=","dstPath=","range=","ignore="])
      except getopt.GetoptError:
          print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
          print('example: migration.py -s x:\pic -d z:\pic [-r 0:100]')
          sys.exit(2)
   
      subdironly = False
      fileonly = False
      for opt, arg in opts:
          if opt == '-h':
              print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
              sys.exit()
          elif opt in ("-s", "--srcPath"):
              srcPath = arg
          elif opt in ("-d", "--dstPath"):
              dstPath = arg
          elif opt in ("-r", "--range"):
              range = arg
              subdironly = True
          elif opt in ("-f", "--file"):
              fileonly = True
          elif opt in ("-i", "--ignore"):
              ignoreFile = arg
   
      if not srcPath.strip() or not dstPath.strip():
           print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
           sys.exit()
   
      if subdironly and fileonly:
           print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
   
           sys.exit()
   
      if not fileonly:
          if not range.strip():
               rangeBegin = 0
               rangeEnd = sys.maxsize-1
          else:
               rangeBegin, rangeEnd = (int(x) for x in range.split(":"))
               if rangeBegin < 0 or rangeEnd >= sys.maxsize or rangeEnd < rangeBegin:
                   print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
                   print('example: migration.py -s x:\pic -d z:\pic -r 0:99')
                   sys.exit()
          migrate_subdirs(srcPath, dstPath, rangeBegin, rangeEnd, ignoreFile)
   
      if not subdironly:
           migrate_regfiles(srcPath, dstPath, ignoreFile)
   
   if __name__ == "__main__":
   
     main(sys.argv[1:])

4. データを移行します。コマンドは次のフォーマットを使用します：python ./migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]。

   次の表に、コマンドの主要なパラメーターを示します。

   パラメーター	説明
   -s <source path>	ソースディレクトリのパスを指定します。例えば、-s Z:\ は Z ドライブのルートディレクトリを指定します。
   -d <destination path>	宛先ディレクトリのパスを指定します。例えば、-d Y:\ は Y ドライブのルートディレクトリを指定します。
   -r BeginIndex:EndIndex	移行するサブディレクトリの範囲を BeginIndex から EndIndex まで指定します。例えば、-r 1:100 は 1 番目から 100 番目までのサブディレクトリを移行します。
   -f	ソースディレクトリのトップレベルにある通常のファイルのみを移行します。 範囲の制限を無視して、ソースファイルシステムディレクトリ内のすべてのファイルを移行します。
   -i ignoredFile	移行から除外するソースディレクトリ内のファイルを指定します。例えば、-i ignored.txt は ignored.txt という名前のファイルを除外します。

   説明

   デフォルトでは、スクリプトはすべてのサブディレクトリに対して順番に Robocopy を実行し、その後ルートレベルのファイルをコピーします。移行を高速化するには、複数のクライアントで一意のサブディレクトリ範囲を指定してスクリプトを並行して実行します。例えば、最初のクライアントは -r 0:9999 を使用し、2 番目のクライアントは -r 10000:19999 を使用する、といった具合です。

   例えば、ソース Z:\ から宛先 Y:\ にデータを移行するには、次のコマンドを実行します：

   python ./migration.py -s Z:\ -d Y:\