E-MapReduce:FAQ tentang Jindo DistCp

Apa yang harus saya lakukan jika daftar objek ditampilkan dengan kecepatan rendah?

• Deskripsi Masalah

  Saat menggunakan Jindo DistCp, objek terdaftar dengan kecepatan rendah dan pesan berikut muncul:

  Berhasil mendaftarkan objek dengan awalan xxx/yyy/ di bucket xxx rekursif 0 hasil 315 dur 100036.615031MS

  Dalam pesan tersebut, dur 100036.615031MS menunjukkan waktu yang diperlukan untuk mendaftarkan objek dalam milidetik. Secara normal, 1.000 objek Object Storage Service (OSS) dapat didaftarkan dalam waktu 1 detik. Anda dapat memeriksa apakah waktu pendaftaran objek dalam direktori sesuai dengan kecepatan normal. Sebagai contoh, pesan sebelumnya menunjukkan bahwa 100 detik diperlukan untuk mendaftarkan 315 objek dalam sebuah direktori, yang tidak normal.

• Solusi

  Jalankan perintah berikut untuk meningkatkan memori klien:

  export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Xmx4096m"

Apa yang harus saya lakukan jika terjadi kesalahan terkait checksum?

• Deskripsi Masalah

  Pesan kesalahan berikut muncul saat menggunakan Jindo DistCp:

  Gagal mendapatkan penyimpanan checksum.

• Solusi

  Secara default, OSS-HDFS menggunakan algoritma checksum COMPOSITE_CRC. Jika parameter dfs.checksum.combine.mode dari HDFS disetel ke MD5MD5CRC, ubah nilai parameter fs.oss.checksum.combine.mode menjadi MD5MD5CRC. Contoh perintah:

  hadoop jar jindo-distcp-${version}.jar --src /data --dest oss://destBucket/ --hadoopConf fs.oss.checksum.combine.mode=MD5MD5CRC

Apa yang harus saya lakukan jika terjadi kesalahan ketika saya menyalin objek Object Storage Service (OSS) ke OSS-HDFS?

• Deskripsi Masalah

  Pesan kesalahan berikut muncul saat menggunakan Jindo DistCp untuk menyalin objek OSS ke OSS-HDFS:

  Pengecualian muncul saat menyalin file data, verifikasi checksum gagal

• Solusi

  Jika objek di OSS tidak dimigrasikan dari HDFS ke OSS menggunakan Jindo DistCp, konfigurasikan parameter --disableChecksum untuk menonaktifkan fitur checksum. Contoh perintah:

  hadoop jar jindo-distcp-${version}.jar --src oss://ossBucket/ --dest oss://dlsBucket/ --disableChecksum

Bagaimana cara memeriksa apakah Jindo DistCp berhasil dijalankan?

Jika Anda tidak menambahkan parameter --ignore saat menjalankan Jindo DistCp dan terjadi pengecualian selama proses penyalinan, sistem akan melaporkan kesalahan dan menghentikan operasi penyalinan. Jika Anda menambahkan parameter --ignore, Anda dapat memeriksa informasi penghitung Jindo DistCp seperti COPY_FAILED dan CHECKSUM_DIFF untuk memastikan kelengkapan data. Untuk informasi lebih lanjut, lihat penghitung Jindo DistCp dalam topik Gunakan Jindo DistCp.