Topik ini menjelaskan masalah-masalah yang diketahui di JindoData 4.X.
JindoData 4.6.X
4.6.2
Secara default, parameter fs.oss.checksum.crc64.enable diatur ke true pada JindoSDK 4.6.0 dan versi berikutnya. Ini memungkinkan penggunaan CRC-64 untuk memverifikasi integritas data dari jalur penulisan.
Namun, konfigurasi ini dapat memengaruhi kinerja penulisan data ke OSS-HDFS. Jika prioritas utama Anda adalah kinerja, kami sarankan menonaktifkan verifikasi berbasis CRC-64. Untuk menonaktifkannya, buka tab Configure halaman layanan Hadoop-Common di konsol E-MapReduce (EMR), klik tab core-site.xml, dan tambahkan item konfigurasi dengan kunci fs.oss.checksum.crc64.enable dan nilai false. Untuk informasi lebih lanjut tentang cara menambahkan item konfigurasi, lihat Kelola item konfigurasi.
4.6.1
Pada kluster EMR dengan JindoSDK 4.6.1 terpasang, saat mengakses OSS-HDFS dalam mode bebas kata sandi, muncul kesalahan yang menunjukkan bahwa token akses harus diperbarui. Hal ini menyebabkan beberapa pekerjaan terganggu.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.6.1 terpasang, saat menggunakan JindoUtil dalam mode bebas kata sandi, terjadi kesalahan izin.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Secara default, parameter fs.oss.checksum.crc64.enable diatur ke true pada JindoSDK 4.6.0 dan versi berikutnya. Ini memungkinkan penggunaan CRC-64 untuk memverifikasi integritas data dari jalur penulisan.
Namun, konfigurasi ini dapat memengaruhi kinerja penulisan data ke OSS-HDFS. Jika prioritas utama Anda adalah kinerja, kami sarankan menonaktifkan verifikasi berbasis CRC-64. Untuk menonaktifkannya, buka tab Configure halaman layanan Hadoop-Common di konsol E-MapReduce (EMR), klik tab core-site.xml, dan tambahkan item konfigurasi dengan kunci fs.oss.checksum.crc64.enable dan nilai false. Untuk informasi lebih lanjut tentang cara menambahkan item konfigurasi, lihat Kelola item konfigurasi.
4.6.0
Pada kluster EMR dengan JindoSDK 4.6.0 terpasang, saat mengakses OSS-HDFS dalam mode bebas kata sandi, muncul kesalahan yang menunjukkan bahwa token akses harus diperbarui. Hal ini menyebabkan beberapa pekerjaan terganggu.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.6.0 dan JindoFSx 4.6.0 terpasang serta otentikasi Kerberos diaktifkan, jika parameter fs.oss.credentials.provider diatur ke com.aliyun.jindodata.oss.auth.RangerCredentialsProvider, terjadi kebocoran memori di Layanan Namespace JindoFSx.
Untuk menyelesaikan masalah ini, perbarui JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru dan Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.6.0 terpasang, saat menggunakan JindoUtil dalam mode bebas kata sandi, terjadi kesalahan izin.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Secara default, parameter fs.oss.checksum.crc64.enable diatur ke true pada JindoSDK 4.6.0 dan versi berikutnya. Ini memungkinkan penggunaan CRC-64 untuk memverifikasi integritas data dari jalur penulisan.
Namun, konfigurasi ini dapat memengaruhi kinerja penulisan data ke OSS-HDFS. Jika prioritas utama Anda adalah kinerja, kami sarankan menonaktifkan verifikasi berbasis CRC-64. Untuk menonaktifkannya, buka tab Configure halaman layanan Hadoop-Common di konsol E-MapReduce (EMR), klik tab core-site.xml, dan tambahkan item konfigurasi dengan kunci fs.oss.checksum.crc64.enable dan nilai false. Untuk informasi lebih lanjut tentang cara menambahkan item konfigurasi, lihat Kelola item konfigurasi.
JindoData 4.5.X
4.5.2
Pada kluster EMR dengan JindoSDK 4.5.2 dan JindoFSx 4.5.2 terpasang serta otentikasi Kerberos diaktifkan, jika parameter fs.oss.credentials.provider diatur ke com.aliyun.jindodata.oss.auth.RangerCredentialsProvider, terjadi kebocoran memori di Layanan Namespace JindoFSx.
Untuk menyelesaikan masalah ini, perbarui JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru dan Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.5.2 terpasang, saat menggunakan JindoUtil dalam mode bebas kata sandi, terjadi kesalahan izin.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
4.5.1
Pada kluster EMR dengan JindoSDK 4.5.1 dan JindoFSx 4.5.1 terpasang serta otentikasi Kerberos diaktifkan, jika parameter fs.oss.credentials.provider diatur ke com.aliyun.jindodata.oss.auth.RangerCredentialsProvider, terjadi kebocoran memori di Layanan Namespace JindoFSx.
Untuk menyelesaikan masalah ini, perbarui JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru dan Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.5.1 terpasang, saat menggunakan JindoUtil dalam mode bebas kata sandi, terjadi kesalahan izin.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
4.5.0
Pada kluster EMR dengan JindoSDK 4.5.0 dan JindoFSx 4.5.0 terpasang serta otentikasi Kerberos diaktifkan, jika parameter fs.oss.credentials.provider diatur ke com.aliyun.jindodata.oss.auth.RangerCredentialsProvider, terjadi kebocoran memori di Layanan Namespace JindoFSx.
Untuk menyelesaikan masalah ini, perbarui JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru dan Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.5.0 terpasang, saat melakukan percobaan ulang setelah gagal mengakses Object Storage Service (OSS) atau OSS-HDFS dalam mode bebas kata sandi, token akses tidak dapat diperbarui. Akibatnya, beberapa pekerjaan terganggu.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.5.0 terpasang, saat menggunakan JindoUtil dalam mode bebas kata sandi, terjadi kesalahan izin.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
JindoData 4.4.X
Pada kluster EMR dengan JindoSDK 4.4.0, 4.4.1, atau 4.4.2 dan JindoFSx 4.4.0, 4.4.1, atau 4.4.2 terpasang serta otentikasi Kerberos diaktifkan, jika parameter fs.oss.credentials.provider diatur ke com.aliyun.jindodata.oss.auth.RangerCredentialsProvider, terjadi kebocoran memori di Layanan Namespace JindoFSx.
Untuk menyelesaikan masalah ini, perbarui JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru dan Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Pada kluster EMR dengan JindoSDK 4.4.0 terpasang, saat memulai akses konkurensi tinggi ke OSS atau OSS-HDFS dalam mode bebas kata sandi, core dump mungkin terjadi.
Untuk menyelesaikan masalah ini, gunakan pasangan AccessKey tetap atau perbarui JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi lebih lanjut tentang cara memperbarui JindoSDK, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
JindoData 4.3.X
Pada kluster EMR V3.40.0 atau V5.6.0 dengan JindoSDK 4.3.0 terpasang, waktu terakhir kali direktori diperbarui tidak dapat ditampilkan. Hal ini disebabkan oleh penurunan performa perintah ls karena tampilan waktu direktori.
Untuk menampilkan waktu, perbarui JindoSDK ke versi 4.3.1 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Saat menggunakan MagicCommitter pada kluster EMR V3.40.0 atau V5.6.0 dengan JindoSDK 4.3.0 terpasang, muncul pesan kesalahan berikut: "Nomor bagian harus berupa bilangan bulat antara 1 dan 10000". Hal ini disebabkan oleh pemanggilan operasi uploadPart yang berlebihan.
Untuk menyelesaikan masalah ini, perbarui JindoSDK ke versi 4.3.1 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoSDK di kluster EMR di konsol EMR baru.
Saat membaca data yang di-cache di jalur tertentu pada server JindoFSx versi 4.3.0, terjadi kesalahan, namun kesalahan tersebut tidak dikembalikan ke klien. Akibatnya, klien mengembalikan data yang tidak valid.
Untuk menyelesaikan masalah ini, perbarui JindoFSx ke versi 4.3.1 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru.
Server JindoFSx versi 4.3.0 tidak dapat memproses perintah yang digunakan untuk memuat data ke memori untuk caching data. Akibatnya, kesalahan mungkin terjadi saat memuat data ke memori, dan data yang tidak valid mungkin dibaca dari cache.
Untuk menyelesaikan masalah ini, perbarui JindoFSx ke versi 4.3.1 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru.
Kebocoran handle file terjadi pada server JindoFSx versi 4.3.0 atau 4.3.1. Setelah server berjalan untuk jangka waktu yang lama, jumlah handle file yang dibuka oleh proses sistem operasi mungkin mencapai batas atas. Akibatnya, server tidak dapat membuka handle file baru, dan layanan tidak tersedia.
Untuk menyelesaikan masalah ini, perbarui JindoFSx ke versi 4.3.2 atau yang lebih baru. Untuk informasi lebih lanjut, lihat Tingkatkan JindoData di kluster EMR di konsol EMR baru.
JindoData 4.2.X
Pada JindoSDK 4.2.0, masalah overflow mungkin terjadi saat memanggil metode seek untuk file besar. Akibatnya, beberapa pekerjaan yang menggunakan metode seek mungkin gagal membaca file besar dari OSS.
JindoData 4.1.X
Pada JindoSDK 4.1.0, masalah overflow mungkin terjadi saat memanggil metode seek untuk file besar. Akibatnya, beberapa pekerjaan yang menggunakan metode seek mungkin gagal membaca file besar dari OSS.
JindoData 4.0.X
Pada JindoSDK 4.0.0 (EMR V3.39.0 atau EMR V5.5.0), masalah overflow mungkin terjadi saat memanggil metode seek untuk file besar. Akibatnya, beberapa pekerjaan yang menggunakan metode seek mungkin gagal membaca file besar dari OSS.
Masalah lainnya
JindoSDK tidak mengizinkan penulisan file yang lebih besar dari 80 GB ke OSS.
JindoSDK tidak mendukung penulisan data ke OSS dalam mode append.
JindoSDK tidak mendukung enkripsi data yang diunggah di klien oleh OSS.
JindoSDK tidak mendukung versi sebelumnya dari JindoFS dalam mode blok atau mode cache.
OSS-HDFS tidak mendukung pembaruan versi sebelumnya dari JindoFS dalam mode blok.
Anda dapat menggunakan JindoDistCp untuk memigrasi data dari versi sebelumnya ke versi terbaru.