E-MapReduce:Apa yang harus saya lakukan jika terjadi error Reached timeout saat menggunakan JindoSDK untuk mengakses OSS?

Pesan timeout

[ErrorCode]: 25201, [ErrorType]: OSS Op Error. [ErrorMessage]: [E1008]Reached timeout=30000ms

Metode untuk mengidentifikasi penyebab

rename muncul dalam pesan error stack exception

• Pesan error contoh

  java.io.IOException: rename src:oss://bucket.oss-cn-xxxx-internal.aliyuncs.com/user/hive/warehouse/tmp/hive/xxxx/c185ce78-f843-4104-8dca-f5b96fc9****/hive_xxxx_00-07-51_265_5593904247532586093-47957/_tmp.-mr-10006, dst:oss://bucket.oss-cn-xxxx-internal.aliyuncs.com/user/hive/warehouse/tmp/hive/xxx/c185ce78-f843-4104-8dca-f5b96fc9****/hive_xxxx-07-21_00-07-51_265_5593904247532586093-47957/_tmp.-mr-10006.moved
  ,java.io.IOException: [ErrorCode] : 25201 , [ErrorType]: OSS Op Error. [ErrorMessage]: [E1008]Reached timeout=30000ms @100.118.xx.xx:80 ERROR_CODE : 1008

• Penyebab

  Operasi Rename pada JindoSDK diimplementasikan berdasarkan operasi CopyObject OSS. Error terjadi karena optimisasi fastcopy OSS untuk operasi CopyObject belum lengkap. Akibatnya, operasi Rename pada JindoSDK mengalami timeout.

• Solusi

  Anda dapat menghubungi technical support OSS untuk mengonfirmasi persyaratan konfigurasi untuk bucket.oss-cn-xxx-internal.aliyuncs.com dan menelusuri penyebab kegagalan optimisasi fastcopy internal.

  Optimisasi fastcopy hanya dapat dilakukan pada objek umum yang kelas penyimpanannya adalah Standard. Jika kelas penyimpanan objek OSS Anda bukan Standard atau objek OSS tersebut merupakan tipe khusus, optimisasi fastcopy mungkin gagal. Akibatnya, operasi rename bisa mengalami timeout. Kami menyarankan agar Anda hanya mengunggah objek umum ke OSS menggunakan JindoSDK dan menggunakan kelas penyimpanan Standard. Optimisasi fastcopy mungkin gagal pada objek berikut:

  • Objek yang kelas penyimpanannya bukan Standard, seperti objek dengan kelas penyimpanan IA, Archive, atau Cold Archive

  • Objek bertipe AppendableObject di OSS

  • Objek kecil yang diunggah dengan memanggil operasi selain MultiPart

  • Objek yang menggunakan fitur seperti server-side encryption

  • Objek khusus, seperti objek bertipe LINK, SYMLINK, dan DELETEMARKER

InputStream atau Read muncul dalam pesan error stack exception

• Pesan error contoh

  Read from oss://xxxx with error message:  [HostId]: oss-cn-zhangjiakou-internal.aliyuncs.com [ErrorMessage]: [E1008]Reached timeout=30000ms

• Penyebab dan solusi

  • Operasi SeekRead pada JindoData 4.0.0 memiliki cacat yang dapat menyebabkan error Reached timeout. Jika Anda menggunakan JindoData 4.0.0, upgrade JindoData ke versi 4.3.X atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoSDK in EMR clusters in the new EMR console.

  • Pembatasan bandwidth OSS dipicu. Hubungi technical support OSS untuk mengidentifikasi alasan pembatasan tersebut.

OutputStream, write, atau Close muncul dalam pesan error stack exception

• Pesan error contoh

  com.aliyun.emr.fs.oss.commit.magic.JindoOssMagicOutputStream.write(JindoOssMagicOutputStream.java:146)
          ... 14 more
  Caused by: java.io.IOException: ErrorCode : 25201 , ErrorMsg: OSS Op Error.  [HostId]: oss-cn-beijing-internal.aliyuncs.com [ErrorMessage]: [E1008]Reached timeout=30000ms @100.118.xx.xx:80 ERROR_CODE : 1008
          at com.alibaba.jboot.JbootFuture.get(JbootFuture.java:179)
          at com.alibaba.jboot.JbootOssWriter.write(JbootOssWriter.java:85)

  Atau

  Caused by: java.io.IOException: Close stream oss://xxx error java.io.IOException: [ErrorCode] : 25201 , [ErrorType]: OSS Op Error.  [HostId]: xxx [ErrorMessage]: [E1008]Reached timeout=30000ms @xxx ERROR_CODE : 1008

• Penyebab dan solusi

  Error ini biasanya terjadi karena pembatasan bandwidth OSS dipicu. Hubungi technical support OSS untuk mengidentifikasi alasan pembatasan tersebut.

getFileStatus muncul dalam pesan error stack exception

• Penyebab

  Pengendalian versi diaktifkan untuk bucket OSS.

• Solusi

  1. Konfirmasi apakah pengendalian versi sedang atau pernah diaktifkan untuk bucket tersebut. Di Konsol Manajemen OSS, buka bucket target. Di panel navigasi kiri, pilih Data Security lalu klik Versioning untuk melihat status pengendalian versi. Jika statusnya Enabled atau Suspended, berarti pengendalian versi pernah diaktifkan untuk bucket tersebut.

  2. Hubungi technical support OSS untuk memeriksa apakah terdapat lebih dari 100.000 penanda hapus di bucket atau di bawah path tertentu. Jika iya, bersihkan penanda-penanda tersebut.

perintah rm

• perintah rm dengan skipTrash

  Perintah rm yang mencakup opsi skipTrash dijalankan dalam dua langkah. Operasi getFileStatus dipanggil, lalu operasi delete dipanggil. Jika terjadi error timeout saat menjalankan perintah rm dengan opsi skipTrash, error timeout tersebut terjadi saat operasi getFileStatus dipanggil. Untuk memperbaiki error timeout ini, ikuti petunjuk yang dijelaskan dalam getFileStatus muncul dalam pesan error stack exception.

• perintah rm tanpa skipTrash

  Perintah rm yang tidak mencakup opsi skipTrash dijalankan dalam dua langkah. Operasi getFileStatus dipanggil, lalu operasi Rename dipanggil. Jika terjadi error timeout saat menjalankan perintah rm tanpa opsi skipTrash, ikuti petunjuk yang dijelaskan dalam getFileStatus muncul dalam pesan error stack exception dan rename muncul dalam pesan error stack exception untuk memperbaiki error tersebut.

perintah ls

Perintah ls dijalankan dalam dua langkah. Operasi getFileStatus dipanggil, lalu operasi listDirectory dipanggil. Jika terjadi error timeout saat menjalankan perintah ls, error timeout tersebut terjadi saat operasi getFileStatus dipanggil. Untuk memperbaiki error timeout ini, ikuti petunjuk yang dijelaskan dalam getFileStatus muncul dalam pesan error stack exception.