Data Online Migration：Deploy ossimport dalam mode standalone

Memulai cepat

1. Unduh dan ekstrak ossimport-2.3.7.zip.

   Berikut adalah struktur direktori setelah mengekstrak paket:

   ossimport
   ├── bin
   │   └── ossimport2.jar  # Paket JAR yang berisi modul Master, Worker, TaskTracker, dan Console.
   ├── conf
   │   ├── local_job.cfg   # File konfigurasi pekerjaan.
   │   └── sys.properties  # File konfigurasi yang berisi parameter sistem.
   ├── console.bat         # Alat baris perintah untuk Windows yang digunakan untuk menjalankan tugas secara terdistribusi.
   ├── console.sh          # Alat baris perintah untuk Linux yang digunakan untuk menjalankan tugas secara terdistribusi.
   ├── import.bat          # Skrip yang secara otomatis mengimpor file berdasarkan file konfigurasi conf/local_job.cfg di Windows. File konfigurasi berisi parameter yang menentukan operasi migrasi data seperti mulai, migrasi, verifikasi, dan ulangi.
   ├── import.sh           # Skrip yang secara otomatis mengimpor file berdasarkan file konfigurasi conf/local_job.cfg di Linux. File konfigurasi berisi parameter yang menentukan operasi migrasi data seperti mulai, migrasi, verifikasi, dan ulangi.
   ├── logs                # Direktori yang berisi log.
   └── README.md           # File yang memberikan deskripsi tentang ossimport. Kami sarankan Anda membaca file ini sebelum menggunakan ossimport.

2. Ubah file konfigurasi berikut sesuai dengan kebutuhan bisnis Anda: conf/sys.properties dan conf/local_job.cfg.

   Jangan ubah item berikut:

   • Parameter workingDir, workerUserName, workerPassword, dan privateKeyFile dalam file conf/sys.properties.

   • Nama dan jalur file conf/local_job.cfg serta parameter jobName dalam file konfigurasi.

   Untuk informasi lebih lanjut tentang contoh konfigurasi, lihat Contoh File Konfigurasi.

   Penting

   Sebelum mengirimkan pekerjaan migrasi, periksa parameter dalam file sys.properties dan local_job.cfg. Parameter pekerjaan migrasi tidak dapat diubah setelah pekerjaan dikirimkan.

3. Mulai pekerjaan migrasi.

   • Klik dua kali file import.bat di Windows.

   • Jalankan perintah bash import.sh di Linux.

Jalankan pekerjaan migrasi

Dalam ossimport yang diterapkan dalam mode standalone, Anda dapat menjalankan pekerjaan migrasi menggunakan salah satu metode berikut:

• Impor Satu Klik: Metode ini menggabungkan semua langkah ke dalam skrip. Anda dapat menjalankan pekerjaan migrasi dengan mengikuti petunjuk dari skrip. Jika Anda seorang pemula, disarankan untuk menggunakan metode ini. Untuk informasi lebih lanjut, lihat Memulai Cepat.

  1. Mulai impor satu klik.

     • Klik dua kali file import.bat di Windows.

     • Jalankan perintah bash import.sh di Linux.

     Catatan

     Jika pekerjaan migrasi terakhir belum selesai, ossimport akan bertanya apakah Anda ingin melanjutkan dari titik pemeriksaan yang tercatat atau memulai sinkronisasi data kembali. Jika Anda ingin memulai pekerjaan migrasi lain atau telah memodifikasi sumber atau tujuan migrasi, mulailah sinkronisasi data kembali.

  2. Di Windows, jendela Command Prompt baru dibuka untuk menjalankan pekerjaan dan menampilkan log. Status pekerjaan ditampilkan setiap 10 detik. Jangan tutup jendela Command Prompt saat pekerjaan sedang berjalan. Di Linux, pekerjaan dijalankan di latar belakang.

  3. Jika suatu tugas gagal setelah pekerjaan dijalankan, Anda akan diminta apakah ingin mencoba lagi. Untuk mencoba kembali tugas, masukkan y. Untuk melewati tugas dan keluar, masukkan n.

  4. Jika pekerjaan gagal, Anda dapat melihat file master/jobs/local_test/failed_tasks/<taskid>/audit.log untuk mengidentifikasi penyebab kegagalan.

• Impor Langkah Demi Langkah: Metode ini menjalankan pekerjaan migrasi dengan melakukan beberapa langkah.

  1. Hapus pekerjaan yang ada dengan nama yang sama.

     Jika Anda ingin menjalankan pekerjaan migrasi yang memiliki nama yang sama dengan pekerjaan yang ada, hapus pekerjaan yang ada terlebih dahulu. Jika Anda ingin menjalankan pekerjaan migrasi baru atau mencoba kembali tugas yang gagal dari pekerjaan migrasi, jangan jalankan perintah bersih.

     • Di Windows, jalankan perintah console.bat clean di Command Prompt.

     • Di Linux, jalankan perintah bash console.sh clean.

  2. Kirimkan pekerjaan migrasi.

     Pastikan bahwa nama pekerjaan migrasi Anda unik. File konfigurasi pekerjaan yang akan dikirimkan adalah conf/local_job.cfg. Nama default pekerjaan yang akan dikirimkan adalah local_test. Jalankan salah satu perintah berikut untuk mengirimkan pekerjaan:

     • Di Windows, jalankan perintah console.bat submit di Command Prompt.

     • Di Linux, jalankan perintah bash console.sh submit.

  3. Mulai layanan.

     • Di Windows, jalankan perintah console.bat start di Command Prompt.

     • Di Linux, jalankan perintah bash console.sh start.

  4. Lihat status pekerjaan.

     • Di Windows, jalankan console.bat stat di Command Prompt.

     • Di Linux, jalankan perintah bash console.sh stat.

  5. Coba kembali tugas yang gagal.

     Tugas mungkin gagal karena alasan seperti masalah jaringan. Saat menjalankan perintah coba kembali, hanya tugas yang gagal yang akan dicoba kembali.

     • Di Windows, jalankan perintah console.bat retry di Command Prompt.

     • Di Linux, jalankan perintah bash console.sh retry.

  6. Hentikan layanan.

     • Di Windows, tutup jendela %JAVA_HOME%/bin/java.exe.

     • Di Linux, jalankan perintah bash console.sh stop.

Lihat status pekerjaan dan log

ossimport
├── bin
│   └── ossimport2.jar    # Paket JAR ossimport yang diterapkan dalam mode standalone.
├── conf
│   ├── local_job.cfg     # File konfigurasi pekerjaan.
│   └── sys.properties    # File konfigurasi yang berisi parameter sistem.
├── console.sh            # Alat baris perintah.
├── import.sh             # Skrip untuk impor satu klik.
├── logs
│   ├── import.log        # Log migrasi.
│   ├── job_stat.log      # Log yang mencatat status pekerjaan.
│   ├── ossimport2.log    # Log operasi ossimport yang diterapkan dalam mode standalone.
│   └── submit.log        # Log yang mencatat pengiriman pekerjaan.
├── master
│   ├── jobqueue                # Pekerjaan yang belum dibagi.
│   └── jobs                    # Informasi tentang pekerjaan.
│       └── local_test          # Nama pekerjaan.
│           ├── checkpoints     # Titik pemeriksaan yang dihasilkan ketika master membagi pekerjaan menjadi tugas.
│           │   └── 0
│           │       └── 034DC9DD2860B0CFE884242BC6FF92E7.cpt
│           ├── dispatched      # Tugas yang dikirimkan ke worker tetapi belum selesai.
│           │   └── localhost
│           ├── failed_tasks    # Tugas yang gagal.
│           ├── pending_tasks   # Tugas yang belum dikirimkan.
│           └── succeed_tasks   # Tugas yang berhasil dijalankan.
│               └── A41506C07BF1DF2A3EDB4CE31756B93F_1499744514501@localhost
│                   ├── audit.log   # Log operasi tugas. Anda dapat melihat log untuk mengidentifikasi penyebab kesalahan.
│                   ├── DONE        # File penanda yang menunjukkan penyelesaian tugas.
│                   ├── error.list  # Kesalahan tugas. Anda dapat melihat kesalahan dalam file ini.
│                   ├── STATUS      # File penanda yang menunjukkan status tugas. Isi file ini adalah Gagal atau Selesai.
│                   └── TASK        # Deskripsi tugas.
└── worker      # Tugas yang sedang dijalankan oleh worker. Setelah tugas dijalankan, mereka dikelola oleh master.
    └── jobs
        └── local_test
            └── tasks

Verifikasi hasil migrasi

ossimport tidak memverifikasi data setelah migrasi dan oleh karena itu tidak menjamin konsistensi atau integritas data. Setelah pekerjaan migrasi selesai, pastikan untuk memverifikasi konsistensi data antara sumber dan tujuan migrasi.

Jika Anda menghapus data sumber tanpa memverifikasi konsistensi data antara sumber dan tujuan migrasi, Anda bertanggung jawab atas segala kerugian dan konsekuensi yang timbul.

Penyebab umum kegagalan migrasi

• Jika data sumber dimodifikasi selama migrasi, kesalahan SIZE_NOT_MATCH dicatat dalam file log/audit.log. Kesalahan ini menunjukkan bahwa data asli telah diunggah, tetapi modifikasi tidak diunggah ke Object Storage Service (OSS).

• Jika data sumber dihapus selama migrasi, pekerjaan migrasi gagal.

• Jika file sumber tidak sesuai dengan aturan penamaan objek OSS, migrasi ke OSS gagal. Nama objek di OSS tidak boleh dimulai dengan garis miring (/) dan tidak boleh kosong.

• Jika terjadi masalah jaringan atau akun Anda tidak memiliki izin yang diperlukan, data sumber gagal diunduh. Untuk mengidentifikasi penyebab sebenarnya, lihat file logs/ossimport2.log atau logs/import.log.

• Jika ossimport keluar secara tak terduga saat Anda menjalankan pekerjaan migrasi, status pekerjaan adalah Abort. Dalam hal ini, hubungi Dukungan Teknis.