File Storage NAS:Migrasi data ke File Storage NAS

Migrasi data menggunakan klien SFTP

1. Instal klien SFTP pada sistem operasi lokal Anda.

   Tersedia berbagai klien SFTP. Topik ini menggunakan FileZilla sebagai contoh. Pilih versi yang kompatibel dengan sistem operasi lokal Anda dan unduh serta instal klien SFTP.

2. Hubungkan klien SFTP ke Instance ECS transit.

   1. Buka klien FileZilla dan konfigurasikan parameter seperti yang dijelaskan dalam tabel berikut. Klik Quickconnect.

      Setelah terhubung ke server ECS, panel kiri menampilkan sistem file lokal Anda, sedangkan panel kanan menampilkan sistem file server.

      Parameter	Deskripsi
      Host	Alamat IP publik Instance ECS transit. Contoh: 192.0.2.1.
      Username	Username untuk Instance ECS transit. Pengguna ini harus memiliki izin baca dan tulis pada direktori sistem file NAS. Contoh: root. Catatan Username default untuk Instance ECS Linux adalah root atau ecs-user. Username default untuk Instance ECS Windows adalah administrator.
      Password	Kata sandi logon untuk Instance ECS transit. Misalnya, kata sandi logon untuk pengguna root. Catatan Jika Anda lupa kata sandi Instance ECS transit, Anda dapat meresetnya dan menetapkan kata sandi baru. Untuk informasi selengkapnya, lihat Reset kata sandi logon instans.
      Port	Nomor port SFTP. Nilai default adalah 22.

   2. Di panel kanan, atur jalur pada bidang Remote site ke jalur mount sistem file NAS, misalnya /mnt. Tekan Enter untuk melihat file dalam sistem file NAS.

3. Unggah data.

   Seret file atau direktori dari panel kiri ke panel kanan untuk mengunggahnya.

Migrasi data menggunakan rsync

1. Instal rsync.

   • Sistem operasi Linux

     Sistem operasi	Perintah
     CentOS	Gunakan yum untuk menginstal rsync. sudo yum install rsync
     Redhat
     Ubuntu	Gunakan apt untuk menginstal rsync. sudo apt-get install rsync
     Debian

     Catatan

     Jika Anda menggunakan distribusi Linux lain, gunakan manajer paket yang sesuai untuk menginstal rsync.

   • macOS

     Unduh dan instal manajer paket homebrew, lalu jalankan perintah berikut untuk menginstal rsync.

     brew install rsync

   • Sistem operasi Windows

     Unduh dan instal lingkungan Cygwin. Anda dapat mencari dan menginstal rsync selama proses instalasi, atau Anda dapat secara manual mengunduh, mengompilasi, dan menginstal rsync.

     Catatan

     Anda harus membuka port SSH (TCP 22) di security group VPC.

2. Unggah data.

   Jalankan perintah berikut untuk melakukan sinkronisasi inkremental dan mengunggah direktori lokal ke File Storage NAS.

   rsync -avP DirToSync/ root@192.0.2.0:/mnt/DirToSync/

   Ganti nilai contoh dalam perintah dengan nilai aktual Anda. Tabel berikut menjelaskan parameter tersebut.

   Parameter	Deskripsi
   DirToSync	Nama direktori lokal yang akan diunggah.
   root	Username untuk Instance ECS transit.
   192.0.2.0	Alamat IP publik Instance ECS transit.
   /mnt	Jalur mount sistem file NAS pada Instance ECS transit.

   Catatan

   • Jalur sumber dalam perintah rsync harus diakhiri dengan garis miring (/). Jika tidak, struktur direktori akan salah setelah sinkronisasi.

   • Untuk menyalin data secara konkuren menggunakan rsync, jalankan perintah berikut:

     threads=<number_of_threads>; 
     src=<source_path/>; 
     dest=<destination_path/>; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

     Sebagai contoh, untuk mengatur jumlah thread menjadi 10, jalur sumber ke /abc, dan jalur tujuan ke /mnt1, jalankan perintah berikut:

     threads=10; 
     src=/abc/; 
     dest=/mnt1/; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

3. Opsi: Konfigurasi tugas pencadangan terjadwal.

   Pada sistem Linux atau macOS lokal, Anda dapat menggunakan perintah rsync bersama crontab untuk mengonfigurasi tugas unggah dan pencadangan terjadwal.

   • Sistem operasi Linux

     1. Buat koneksi SSH tanpa kata sandi dari sistem lokal Anda ke Instance ECS. Untuk informasi selengkapnya, lihat Hubungkan ke instans Linux menggunakan pasangan kunci.

        Jalankan perintah berikut untuk mengonfirmasi koneksi:

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        Catatan

        ~/.ssh/ecs.pem adalah jalur tempat file kunci disimpan secara lokal.

     2. Konfigurasi crontab.

        Jalankan perintah crontab -e untuk membuka editor dan mengonfigurasi tugas unggah terjadwal. Berikut adalah contoh konfigurasi:

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@192.0.2.0:/mnt/Documents/

        Konfigurasi crontab ini secara otomatis melakukan pencadangan direktori Documents milik pengguna saat ini ke File Storage NAS setiap hari pukul 23.00. Sesuaikan parameter sesuai kebutuhan.

   • macOS

     1. Berikan izin akses disk penuh ke direktori /usr/sbin/cron.

        Buka System Settings, pilih , klik Unlock, lalu klik +. Pilih direktori Macintosh HD, tekan Cmd+Shift+. untuk menampilkan direktori tersembunyi, lalu pilih /usr/sbin/cron.

     2. Buat koneksi SSH tanpa kata sandi dari sistem lokal Anda ke Instance ECS. Untuk informasi selengkapnya, lihat Hubungkan ke instans Linux menggunakan pasangan kunci.

        Jalankan perintah berikut untuk mengonfirmasi koneksi:

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        Catatan

        ~/.ssh/ecs.pem adalah jalur tempat file kunci disimpan secara lokal.

     3. Konfigurasi crontab.

        Jalankan perintah crontab -e untuk membuka editor dan mengonfigurasi tugas unggah terjadwal. Berikut adalah contoh konfigurasi:

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@1.2.3.4:/mnt/Documents/

        Konfigurasi crontab ini secara otomatis melakukan pencadangan direktori Documents milik pengguna saat ini ke File Storage NAS setiap hari pukul 23.00. Sesuaikan parameter sesuai kebutuhan.

   Catatan

   Jika Anda mengalami performa buruk saat menggunakan rsync untuk migrasi data, gunakan alat fpsync untuk migrasi multi-threaded. Untuk informasi selengkapnya, lihat Lampiran: Migrasi data menggunakan alat baris perintah fpsync.

Migrasi data menggunakan Robocopy

Robocopy adalah alat baris perintah replikasi direktori bawaan Windows. Alat ini dapat membuat mirror lengkap dari dua direktori tanpa menyalin file duplikat yang tidak perlu. Robocopy juga mempertahankan semua metadata file, termasuk stempel tanggal dan waktu.

1. Login ke Instance ECS transit.

2. Migrasi data.

   Jalankan perintah berikut untuk memigrasikan data dari sistem file sumber (drive Z) ke sistem file tujuan (drive Y):

   robocopy Z:\ Y:\ /e /w:5 /z /mt:32

   Catatan

   Perintah ini hanya memigrasikan data di dalam direktori yang ditentukan, bukan direktorinya sendiri.

   Tabel berikut menjelaskan parameter penting. Ganti dengan nilai aktual Anda.

   Parameter	Deskripsi
   /mt	Jumlah thread konkuren. Nilai default adalah 8. Nilai valid: 1 hingga 128. Contoh ini menggunakan 32 thread untuk penyalinan multi-threaded.
   /w	Menentukan waktu tunggu dalam detik antar percobaan ulang.
   /z	Mengaktifkan transfer yang dapat dilanjutkan.
   /e	Menyalin semua subdirektori, termasuk yang kosong.
   /copyall	Menyalin semua informasi file. Ini mencakup: Data Atribut Stempel waktu Daftar Kontrol Akses (ACL) Informasi pemilik Informasi audit

   Catatan

   Untuk mempercepat migrasi data dalam jumlah besar, seperti lebih dari 100 juta file kecil dengan ukuran total melebihi 10 TB, Anda dapat menginstal program Python terbaru pada Instance ECS Windows untuk melakukan migrasi. Untuk informasi selengkapnya, lihat Cara mempercepat migrasi data ke sistem file SMB Apsara File Storage NAS.

3. Verifikasi hasil migrasi.

   Setelah migrasi selesai, jalankan perintah Robocopy berikut untuk memverifikasi bahwa data di tujuan konsisten dengan sumber:

   ROBOCOPY Z:\ Y:\ /e /l /ns /njs /njh /ndl /fp /log:reconcile.txt

   Tabel berikut menjelaskan parameter penting. Ganti dengan nilai aktual Anda.

   Parameter	Deskripsi
   /e	Hanya mencantumkan direktori, termasuk yang kosong.
   /l	Memberikan laporan perbedaan tanpa memodifikasi atau menyalin file.
   /fp	Menyertakan jalur lengkap file dalam log. Ini hanya diperlukan jika /ndl dihilangkan.
   /ns	Menentukan agar ukuran file tidak disertakan dalam log.
   /ndl	Menentukan agar folder tidak disertakan dalam log.
   /njs	Menentukan agar ringkasan pekerjaan tidak disertakan.
   /njh	Menentukan agar header pekerjaan tidak disertakan.
   /log:reconcile.txt	Menulis hasil migrasi ke file log reconcile.txt. Jika file sudah ada, file tersebut akan ditimpa.

Migrasi data menggunakan IIS FTP

Untuk mengonfigurasi layanan IIS FTP pada Instance ECS dan klien FTP pada sistem lokal Anda, lihat Konfigurasi Windows IIS.

Lampiran: Migrasi data menggunakan fpsync

1. Unduh dan instal fpsync.

   wget -N https://github.com/martymac/fpart/archive/fpart-1.1.0.tar.gz -P /tmp
   tar -C /tmp/ -xvf /tmp/fpart-1.1.0.tar.gz
   cd /tmp/fpart-fpart-1.1.0
   sudo yum install -y automake libtool
   autoreconf -i
   ./configure
   make
   sudo make install
   sudo yum install parallel -y
   printf "will cite" | parallel --bibtex
   sudo yum install -y rsync

2. Salin seluruh direktori file.

   fpsync -n 10 -f 10000 /data/src/ /data/dst/

   Catatan

   Untuk informasi selengkapnya tentang fpsync, lihat dokumentasi alat fpsync.

Dokumen terkait

Jika Anda perlu sering membaca dan menulis data dalam jumlah besar pada NAS dari pusat data Anda, gunakan Jalur sewa untuk memasang dan mengakses sistem file NAS langsung dari pusat data. Untuk informasi selengkapnya, lihat Akses sistem file dari pusat data on-premises.

Jika lebar pita jaringan publik untuk mengakses Instance ECS Anda tidak mencukupi untuk mengunggah data dalam jumlah besar ke NAS, pertimbangkan untuk terlebih dahulu mengunggah data ke Object Storage Service (OSS) lalu memigrasikannya ke File Storage NAS. Untuk informasi selengkapnya, lihat Unggah objek dan Implementasi migrasi.