File Storage NAS：Migrasi Data ke Sistem File NAS

Migrasi data menggunakan klien Protokol Transfer File SSH (SFTP)

1. Instal klien SFTP di komputer lokal Anda.

   Unduh dan instal klien SFTP berdasarkan sistem operasi lokal Anda. Beberapa versi SFTP tersedia. Dalam contoh ini, FileZilla digunakan.

2. Buat koneksi antara klien SFTP dan instance ECS.

   1. Buka dan konfigurasikan klien FileZilla. Tabel berikut menjelaskan parameter-parameter tersebut. Klik Quickconnect untuk membuat koneksi.

      Setelah klien lokal dan instance ECS terhubung, sistem file lokal ditampilkan di panel kiri. Sistem file yang dipasang pada instance ECS ditampilkan di panel kanan.

      Parameter	Deskripsi
      Host	Alamat IP publik dari instance ECS. Sebagai contoh, Anda dapat memasukkan 192.0.2.1.
      Username	Nama pengguna dari instance ECS. Pengguna memiliki izin baca dan tulis pada sistem file NAS. Sebagai contoh, Anda dapat memasukkan root. Catatan Nama pengguna default untuk instance ECS Linux adalah root atau ecs-user. Nama pengguna default untuk instance ECS Windows adalah administrator.
      Password	Kata sandi logon dari instance ECS. Sebagai contoh, Anda dapat memasukkan kata sandi logon pengguna root. Catatan Jika Anda lupa kata sandi logon dari instance ECS, Anda dapat menyetel ulang kata sandi. Untuk informasi lebih lanjut, lihat Atur ulang kata sandi logon sebuah instance.
      Port	Nomor port yang digunakan oleh SFTP. Nilai default: 22.

   2. Di bidang Remote site di panel kanan, masukkan jalur ke direktori tempat sistem file NAS dipasang, misalnya, /mnt. Tekan Enter untuk melihat daftar file dalam sistem file NAS.

      

3. Unggah data.

   Seret dan lepas satu atau beberapa file atau direktori dari panel kiri ke panel kanan untuk mengunggah data.

Migrasi data menggunakan alat baris perintah rsync

1. Instal alat rsync.

   • Linux

     Sistem Operasi	Perintah
     CentOS	Gunakan manajer paket yum untuk menginstal rsync. sudo yum install rsync
     Redhat
     Ubuntu	Gunakan manajer paket apt untuk menginstal rsync. sudo apt-get install rsync
     Debian

     Catatan

     Jika Anda menggunakan versi Linux yang berbeda, gunakan manajer paket yang sesuai untuk menginstal rsync.

   • macOS

     Unduh dan instal manajer paket Homebrew, lalu jalankan perintah berikut untuk menginstal rsync:

     brew install rsync

   • Windows

     Unduh dan instal lingkungan simulasi Cygwin. Selama proses instalasi, Anda dapat mencari dan menginstal rsync. Anda juga dapat mengunduh, mengompilasi, dan menginstal rsync.

     Catatan

     Anda harus mengaktifkan port TCP SSH 22 untuk grup keamanan VPC terkait.

2. Unggah data.

   Jalankan perintah berikut untuk mengunggah direktori lokal tertentu ke sistem file NAS dalam mode sinkronisasi inkremental:

   rsync -avP DirToSync/ root@192.0.2.0:/mnt/DirToSync/

   Ganti parameter dalam perintah dengan nilai aktual. Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi
   DirToSync	Nama direktori lokal yang ingin Anda unggah.
   root	Pemilik direktori tujuan dalam sistem file NAS.
   192.0.2.0	Alamat IP publik dari instance ECS Linux atau Windows tempat sistem file NAS dipasang.
   /mnt	Sebuah jalur dalam instance ECS. Jalur ini digunakan untuk memasang sistem file NAS.

   Catatan

   • Jalur sumber dalam perintah rsync harus diakhiri dengan garis miring (/). Jika tidak, jalur sumber tidak akan cocok dengan jalur tujuan setelah data disinkronkan.

   • Anda juga dapat menggunakan rsync untuk menyalin dan mengunggah data secara bersamaan ke File Storage NAS. Jalankan perintah berikut:

     threads=<Jumlah thread>; 
     src=<Jalur sumber/>; 
     dest=<Jalur tujuan/>; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

     Sebagai contoh, jumlah thread adalah 10, jalur sumber adalah /abc, dan jalur tujuan adalah /mnt1.

     threads=10; 
     src=/abc/; 
     dest=/mnt1/; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

3. Opsional. Konfigurasikan pekerjaan unggah dan cadangan terjadwal.

   Anda dapat menjalankan perintah rsync untuk mengonfigurasi crontab untuk sistem Linux atau macOS lokal Anda untuk mengunggah data pada interval reguler.

   • Linux

     1. Buat koneksi bebas kata sandi antara komputer lokal dan instance ECS. Untuk informasi lebih lanjut, lihat Hubungkan ke instance Linux menggunakan pasangan kunci SSH.

        Jalankan perintah berikut untuk memeriksa apakah koneksi berhasil:

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        Catatan

        ~/.ssh/ecs.pem adalah jalur file kunci di komputer lokal Anda.

     2. Konfigurasikan crontab.

        Jalankan perintah crontab -e untuk membuka editor dan mengonfigurasi pekerjaan unggah terjadwal. Contoh berikut menunjukkan pengaturan sampel:

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@192.0.2.0:/mnt/Documents/

        Konfigurasi crontab sebelumnya memungkinkan sistem operasi Linux mengunggah data secara otomatis dari direktori Documents lokal ke sistem file NAS pada pukul 23:00:00 setiap hari. Anda dapat memodifikasi parameter dalam konfigurasi crontab berdasarkan kebutuhan bisnis Anda.

   • macOS

     1. Konfigurasikan izin akses pada direktori /usr/sbin/cron.

        Buka System Preferences. Di jendela yang muncul, pilih Security & Privacy > Privacy > Full Disk Access, klik Unlock, lalu klik +. Di jendela yang muncul, pilih Direktori Macintosh HD dan tekan kombinasi tombol cmd+shift+. untuk menampilkan direktori tersembunyi. Lalu, pilih direktori /usr/sbin/cron.

     2. Buat koneksi bebas kata sandi antara komputer lokal dan instance ECS. Untuk informasi lebih lanjut, lihat Hubungkan ke instance Linux menggunakan pasangan kunci SSH.

        Jalankan perintah berikut untuk memeriksa apakah koneksi berhasil:

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        Catatan

        ~/.ssh/ecs.pem adalah jalur file kunci di komputer lokal Anda.

     3. Konfigurasikan crontab.

        Jalankan perintah crontab -e untuk membuka editor dan mengonfigurasi pekerjaan unggah terjadwal. Contoh berikut menunjukkan pengaturan sampel:

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@1.2.3.4:/mnt/Documents/

        Konfigurasi crontab sebelumnya memungkinkan sistem operasi Linux mengunggah data secara otomatis dari direktori Documents lokal ke sistem file NAS pada pukul 23:00:00 setiap hari. Anda dapat memodifikasi parameter dalam konfigurasi crontab berdasarkan kebutuhan bisnis Anda.

   Catatan

   Jika alat resync tidak dapat memenuhi kebutuhan Anda, Anda dapat menggunakan alat fpsync untuk memigrasi data Anda dalam beberapa thread. Untuk informasi lebih lanjut, lihat Lampiran: Migrasi data menggunakan alat baris perintah fpsync.

Migrasi data menggunakan alat Robocopy

Robocopy adalah perintah salinan direktori yang disediakan oleh Windows. Anda dapat membuat dua salinan gambar yang memiliki struktur file yang sama tanpa perlu menyalin file duplikat yang tidak perlu. Anda dapat mempertahankan semua informasi file terkait, seperti tanggal dan timestamp. Untuk memigrasi sejumlah besar data, Anda dapat menginstal program Python terbaru pada instance ECS Windows dan mengonfigurasi skrip migration.py.

1. Masuk ke instance ECS yang digunakan untuk memigrasi data.

2. Migrasi data.

   Jalankan perintah berikut untuk memigrasi data dari sistem file sumber (disk Z) ke sistem file tujuan (disk Y):

   robocopy Z:\ Y:\ /e /w:5 /z /mt:32

   Catatan

   Hanya data dalam direktori yang ditentukan yang dimigrasi. Direktori itu sendiri tidak dimigrasi.

   Tabel berikut menjelaskan parameter-parameter tersebut. Ganti nilai parameter dengan nilai aktual.

   Parameter	Deskripsi
   /mt	Menentukan jumlah utas konkuren. Nilai default: 8. Nilai valid: 1 hingga 128. Dalam contoh ini, 32 utas digunakan untuk replikasi multi-thread.
   /w	Menentukan jumlah detik antara dua percobaan ulang berturut-turut yang disebabkan oleh kesalahan.
   /z	Mengaktifkan unggah yang dapat dilanjutkan.
   /e	Menyalin semua subdirektori, termasuk direktori kosong.
   /copyall	Menyalin semua informasi file. Informasi tersebut mencakup item-item berikut: Data Atribut Timestamp Daftar kontrol akses (ACL) Informasi pemilik Informasi audit

   Catatan

   Jika Anda ingin mempercepat migrasi sejumlah besar data, misalnya, ratusan juta file kecil lebih besar dari 10 TB, Anda dapat menginstal program Python terbaru pada instance ECS Windows. Untuk informasi lebih lanjut, lihat Bagaimana cara mempercepat migrasi data ke sistem file SMB?

3. Periksa hasil migrasi.

   Setelah Anda menyelesaikan migrasi data, jalankan perintah berikut untuk memeriksa apakah data yang disimpan dalam sistem file tujuan konsisten dengan data yang disimpan dalam sistem file sumber.

   ROBOCOPY Z:\ Y:\ /e /l /ns /njs /njh /ndl /fp /log:reconcile.txt

   Tabel berikut menjelaskan parameter-parameter tersebut. Ganti nilai parameter dengan nilai aktual.

   Parameter	Deskripsi
   /e	Menampilkan hanya direktori, termasuk direktori kosong.
   /l	Mencatat perbedaan tanpa memodifikasi atau menyalin file.
   /fp	Memasukkan jalur lengkap file dalam log. Parameter ini diperlukan hanya jika parameter /ndl tidak ditentukan.
   /ns	Tidak memasukkan ukuran file dalam log.
   /ndl	Tidak memasukkan folder dalam log.
   /njs	Tidak memasukkan ringkasan pekerjaan.
   /njh	Tidak memasukkan header pekerjaan.
   /log:reconcile.txt	Menulis hasil migrasi ke file log reconcile.txt. Jika hasil migrasi sudah ada dalam file log, konten yang ada akan ditimpa.

Migrasi data menggunakan IIS FTP

Konfigurasikan layanan IIS FTP pada instance ECS dan konfigurasikan klien FTP pada komputer lokal Anda. Untuk informasi lebih lanjut, lihat Siapkan layanan web IIS Windows.

Lampiran: Migrasi data menggunakan alat baris perintah fpsync

1. Unduh dan instal alat fpsync.

   wget -N https://github.com/martymac/fpart/archive/fpart-1.1.0.tar.gz -P /tmp
   tar -C /tmp/ -xvf /tmp/fpart-1.1.0.tar.gz
   cd /tmp/fpart-fpart-1.1.0
   sudo yum install -y automake libtool
   autoreconf -i
   ./configure
   make
   sudo make install
   sudo yum install parallel -y
   printf "will cite" | parallel --bibtex
   sudo yum install -y rsync

2. Salin seluruh direktori file.

   fpsync -n 10 -f 10000 /data/src/ /data/dst/

   Catatan

   Untuk informasi lebih lanjut tentang alat fpsync, lihat fpsync.

Referensi

Jika pusat data Anda sering membaca dan menulis sejumlah besar data ke dan dari sistem file NAS, Anda harus membuat koneksi fisik dan memasang sistem file NAS ke pusat data. Untuk informasi lebih lanjut, lihat Akses sistem file di pusat data lokal.

Jika Anda perlu mengunggah sejumlah besar data ke sistem file NAS, Anda dapat mengunggah data ke Object Storage Service (OSS) dan kemudian memigrasi data dari OSS ke NAS. Kami sarankan Anda menggunakan solusi ini jika bandwidth Internet dari instance ECS tidak dapat memenuhi kebutuhan Anda. Untuk informasi lebih lanjut, lihat Unggah objek dan Migrasi data.