Object Storage Service：Migrasi data dari kluster JindoFS semi-hosted ke OSS-HDFS

Langkah 1: Migrasi data penuh

Dalam mode migrasi data penuh, Anda dapat memigrasikan metadata dalam direktori dari kluster JindoFS semi-hosted ke direktori di OSS-HDFS sekaligus. Data hanya dapat dimigrasikan ke subdirektori tingkat pertama di OSS-HDFS.

• Sintaks Perintah

  jindo distjob -migrateImport -srcPath <srcPath> -destPath <destPath> -backendLoc <backendLoc>

  Tabel berikut menjelaskan parameter dalam sintaks perintah.

  Parameter	Deskripsi
  -srcPath	Path sumber yang menyimpan data kluster JindoFS semi-hosted sebelum migrasi.
  -destPath	Path tujuan di OSS-HDFS yang menyimpan data kluster JindoFS semi-hosted setelah migrasi.
  -backendLoc	Path Object Storage Service (OSS) yang menyimpan data sumber kluster JindoFS semi-hosted.

• Contoh

  Migrasikan data penuh dari direktori jfs://mycluster/foo di kluster JindoFS semi-hosted ke direktori bar di OSS-HDFS. Data OSS-HDFS disimpan di bucket examplebucket.

  jindo distjob -migrateImport -srcPath jfs://mycluster/foo -destPath oss://examplebucket/bar/

Langkah 2: (Opsional) Migrasi data tambahan

1. Konversikan log audit kluster JindoFS semi-hosted menjadi log perubahan.

   Untuk memigrasikan data tambahan kluster JindoFS semi-hosted ke OSS-HDFS, Anda harus menggunakan alat Jindo untuk mengonversi log audit kluster JindoFS semi-hosted menjadi log perubahan.

   • Sintaks Perintah

     jindo distjob -mkchangelog -auditLogDir <auditLogDir> -changeLogDir <changeLogDir> -startTime <startTime>

     Tabel berikut menjelaskan parameter dalam sintaks perintah.

     Parameter	Deskripsi
     -auditLogDir	Path yang menyimpan log audit kluster JindoFS semi-hosted.
     -changeLogDir	Path yang menyimpan log perubahan yang dihasilkan.
     -startTime	Waktu untuk mulai mengonversi log audit.

   • Contoh

     Konversikan log audit kluster JindoFS semi-hosted di path oss://examplebucket/sysinfo/auditlog menjadi log perubahan dan simpan log perubahan di path oss://examplebucket/sysinfo/changelog. Dalam contoh ini, hanya log audit yang dihasilkan pada atau setelah 1 Juni 2022 yang dikonversi.

     jindo distjob -mkchangelog -auditLogDir oss://examplebucket/sysinfo/auditlog -changeLogDir oss://examplebucket/sysinfo/changelog -startTime 2022-06-01T12:00:00Z

2. Migrasikan data tambahan satu kali.

   Anda dapat memigrasikan pembaruan metadata tambahan dari kluster JindoFS semi-hosted ke OSS-HDFS saat log audit dikonversi menjadi log perubahan.

   • Sintaks Perintah

     jindo distjob -migrateImport -srcPath <srcPath> -destPath <destPath> -changeLogDir <changeLogDir> -backendLoc <backendLoc> -update

     Tabel berikut menjelaskan parameter dalam sintaks perintah.

     Parameter	Deskripsi
     -srcPath	Path sumber yang menyimpan data kluster JindoFS semi-hosted sebelum migrasi.
     -destPath	Path tujuan di OSS-HDFS yang menyimpan data kluster JindoFS semi-hosted setelah migrasi.
     -changeLogDir	Path yang menyimpan log perubahan yang dihasilkan.
     -backendLoc	Path OSS yang menyimpan data sumber kluster JindoFS semi-hosted.
     -update	Mengaktifkan mode migrasi data tambahan.

   • Contoh

     Migrasikan data tambahan dari direktori jfs://mycluster/foo di kluster JindoFS semi-hosted ke direktori bar di OSS-HDFS. Dalam contoh ini, data OSS-HDFS disimpan di bucket examplebucket. Log perubahan yang dihasilkan disimpan di path oss://logbucket/logdir/.

     jindo distjob -migrateImport -srcPath jfs://mycluster/foo -destPath oss://examplebucket/bar/ -changeLogDir oss://logbucket/logdir/ -backendLoc oss://examplebucket/jfsdataDir -update

3. Opsional: Migrasikan data tambahan beberapa kali.

   Untuk memigrasikan data tambahan dari kluster JindoFS semi-hosted ke OSS-HDFS beberapa kali, Anda dapat menyetel parameter -startTime untuk menyesuaikan rentang waktu untuk mengonversi log audit. Kemudian ulangi Langkah 1 dan Langkah 2.