File Storage NAS：Migrasi data menggunakan Robocopy

Kapan menggunakan metode ini

Cara kerja

Robocopy membuat salinan cermin struktur direktori serta mempertahankan atribut file dan timestamp. Alat ini melewati file duplikat, sehingga efisien untuk sinkronisasi inkremental.

Penagihan

Migrasi data mengakibatkan biaya sebagai berikut:

Langkah 1: Siapkan lingkungan

Pastikan instance ECS dapat mengakses kedua sistem file.

1. Dapatkan informasi titik pemasangan sistem file sumber.

2. Konfigurasikan sistem file tujuan sesuai skenario Anda:

   Skenario	Tindakan
   VPC yang sama	Lanjutkan ke Langkah 2: Buat instance ECS.
   VPC berbeda dalam wilayah yang sama	Buat titik pemasangan untuk sistem file tujuan, lalu gunakan CEN untuk menghubungkan VPC tersebut.
   Akun atau wilayah berbeda	Gunakan CEN untuk menghubungkan VPC tersebut.

Langkah 2: Buat instance ECS

Penting: Buat instance ECS khusus untuk migrasi data. Menggunakan instance yang sudah ada dapat menghabiskan CPU dan lebar pita jaringan yang dialokasikan untuk beban kerja yang sedang berjalan.

1. Login ke ECS console dan klik Create Instance.

2. Konfigurasikan parameter berikut:

   Parameter	Konfigurasi
   Region	Pilih wilayah tempat sistem file sumber berada.
   Network and Zone	Pilih VPC, zona, dan vSwitch dari sistem file sumber.
   Instance	Untuk migrasi di bawah 100 GB, pilih spesifikasi minimum. Untuk migrasi di atas 1 TB, pilih minimal 8 vCPU dan memori 16 GiB.
   Image	Pilih Windows Server 2019 untuk kompatibilitas optimal.
   Storage	Klik Elastic Ephemeral Disk | NAS File System | Dedicated Block Storage Cluster(Optional), lalu klik Add File System.

   Jika Anda menggunakan Windows Server 2025, nonaktifkan SMB signing sebelum memasang sistem file NAS. Jalankan perintah berikut di PowerShell sebagai administrator, lalu restart instance:

   reg add "HKLM\SYSTEM\CurrentControlSet\Services\LanmanWorkstation\Parameters" /v RequireSecuritySignature /t REG_DWORD /d 0 /f

Langkah 3: Pasang sistem file

1. Pasang kedua sistem file sumber dan tujuan ke instance ECS.

2. Verifikasi pemasangan:

   net use

   Output yang diharapkan:

   Status     Local      Remote                                                Network
   -------------------------------------------------------------------------------
   OK         Y:         \\29e9c24****-eab13.cn-hangzhou.nas.aliyuncs.com\myshare
                                                                              Microsoft Windows Network
   OK         Z:         \\29fe7f4****-txr31.cn-hangzhou.nas.aliyuncs.com\myshare
                                                                              Microsoft Windows Network

Langkah 4: Jalankan Robocopy

Jalankan perintah berikut untuk memigrasikan data dari sistem file sumber (Z:) ke sistem file tujuan (Y:):

robocopy Z:\ Y:\ /E /COPY:DAT /MT:8 /R:3 /W:5

Peringatan: Jangan gunakan /COPYALL untuk migrasi NAS-ke-NAS. SMB NAS tidak mendukung atribut keamanan NTFS lengkap. Penggunaan /COPYALL menyebabkan error: A required privilege is not held by the client.

Langkah 5: Verifikasi migrasi

Jalankan perintah berikut untuk memverifikasi konsistensi data:

robocopy Z:\ Y:\ /E /L /NS /NJS /NJH /NDL /FP /LOG:reconcile.txt

Instance ECS

1. Jalankan net use untuk mendapatkan informasi pemasangan.

2. Lepas pemasangan sistem file asli:

   net use Z: /delete

3. Pasang sistem file baru ke huruf drive asli.

4. Restart proses yang mengakses sistem file tersebut.

5. Perbarui file auto_mount.bat dengan titik pemasangan baru.

Kontainer Windows

1. Ubah file konfigurasi YAML dengan titik pemasangan baru.

2. Buat Pod baru dengan konfigurasi yang telah dimodifikasi.

3. Recycle semua Pod yang menggunakan sistem file asli.

Penting: Simpan data di sistem file asli setidaknya selama satu minggu setelah memindahkan beban kerja. Penghapusan langsung dapat menyebabkan kehilangan data akibat penghapusan tidak sengaja atau sinkronisasi.

Bagaimana cara mempercepat migrasi data berskala besar?

Untuk migrasi yang melibatkan ratusan juta file kecil (di atas 10 TB), gunakan skrip migrasi paralel berbasis Python:

1. Instal Python versi terbaru pada instance ECS Windows.

2. Atur variabel lingkungan PATH:

   set PATH=%PATH%;C:\python27

3. Salin skrip migration.py ke instance ECS.

4. Jalankan migrasi:

   python ./migration.py -s Z:\ -d Y:\

Untuk migrasi paralel multi-client, tetapkan rentang subdirektori berbeda untuk setiap client:

• Client 1: -r 0:9999

• Client 2: -r 10000:19999