JindoData 4.x memiliki sejumlah masalah yang diketahui yang dapat memengaruhi stabilitas, kinerja, atau keakuratan data. Tinjau masalah untuk versi Anda dan terapkan perbaikan yang direkomendasikan.
Versi 4.6.x
Versi 4.6.2
JindoSDK 4.6.0 dan versi yang lebih baru mendukung verifikasi checksum CRC64 untuk jalur tulis. Secara default, parameter fs.oss.checksum.crc64.enable diaktifkan.
Konfigurasi ini secara signifikan mengurangi kinerja penulisan OSS-HDFS. Jika kinerja menjadi prioritas, Anda dapat menonaktifkannya. Pada tab Configure layanan Hadoop-Common di EMR, tambahkan item konfigurasi di core-site.xml untuk mengatur parameter fs.oss.checksum.crc64.enable ke false. Untuk informasi selengkapnya tentang cara menambahkan item konfigurasi, lihat Manage configuration items.
Versi 4.6.1
-
Pada JindoSDK 4.6.1, saat akses tanpa password ke OSS-HDFS digunakan dalam kluster EMR, beberapa pekerjaan terganggu saat menunggu pembaruan token.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.6.1, penggunaan tool JindoUtil dengan akses tanpa password dalam kluster EMR menyebabkan error izin.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
JindoSDK 4.6.0 dan versi yang lebih baru mendukung verifikasi checksum CRC64 untuk jalur tulis. Secara default, parameter fs.oss.checksum.crc64.enable diaktifkan.
Konfigurasi ini secara signifikan mengurangi kinerja penulisan OSS-HDFS. Jika kinerja menjadi prioritas, Anda dapat menonaktifkannya. Pada tab Configure layanan Hadoop-Common di EMR, tambahkan item konfigurasi di core-site.xml untuk mengatur parameter fs.oss.checksum.crc64.enable ke
false. Untuk informasi selengkapnya tentang cara menambahkan item konfigurasi, lihat Manage configuration items.
Versi 4.6.0
-
Pada JindoSDK 4.6.0, saat akses tanpa password ke OSS-HDFS digunakan dalam kluster EMR, beberapa pekerjaan hang saat menunggu pembaruan token.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.6.0 dan JindoFSx 4.6.0, pengaturan fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider dalam kluster Kerberos menyebabkan memory leak pada JindoFSx Namespace Service.
Upgrade JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster dan Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.6.0, penggunaan tool JindoUtil dengan akses tanpa password dalam kluster EMR menyebabkan error izin.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
JindoSDK 4.6.0 dan versi yang lebih baru mendukung verifikasi checksum CRC64 untuk jalur tulis. Secara default, parameter fs.oss.checksum.crc64.enable diaktifkan.
Konfigurasi ini secara signifikan mengurangi kinerja penulisan OSS-HDFS. Jika kinerja menjadi prioritas, Anda dapat menonaktifkannya. Pada tab Configure layanan Hadoop-Common di EMR, tambahkan item konfigurasi di core-site.xml untuk mengatur parameter fs.oss.checksum.crc64.enable ke
false. Untuk informasi selengkapnya tentang cara menambahkan item konfigurasi, lihat Manage configuration items.
Versi 4.5.x
Versi 4.5.2
-
Pada JindoSDK 4.5.2 dan JindoFSx 4.5.2, pengaturan fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider dalam kluster Kerberos menyebabkan memory leak pada JindoFSx Namespace Service.
Upgrade JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster dan Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.5.2, penggunaan tool JindoUtil dengan akses tanpa password dalam kluster EMR menyebabkan error izin.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
Versi 4.5.1
-
Pada JindoSDK 4.5.1 dan JindoFSx 4.5.1, pengaturan fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider dalam kluster Kerberos menyebabkan memory leak pada JindoFSx Namespace Service.
Upgrade JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster dan Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.5.1, penggunaan tool JindoUtil dengan akses tanpa password dalam kluster EMR menyebabkan error izin.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
Versi 4.5.0
-
Pada JindoSDK 4.5.0 dan JindoFSx 4.5.0, pengaturan fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider dalam kluster Kerberos menyebabkan memory leak pada JindoFSx Namespace Service.
Upgrade JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster dan Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.5.0, jika upaya akses tanpa password ke OSS atau OSS-HDFS gagal dalam kluster EMR, client tidak memperbarui token saat mencoba ulang, sehingga menyebabkan beberapa pekerjaan hang.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.5.0, penggunaan tool JindoUtil dengan akses tanpa password dalam kluster EMR menyebabkan error izin.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
Versi 4.4.x
-
Pada JindoSDK 4.4.0, 4.4.1, dan 4.4.2, serta JindoFSx 4.4.0, 4.4.1, dan 4.4.2, pengaturan fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider dalam kluster Kerberos menyebabkan memory leak pada JindoFSx Namespace Service.
Upgrade JindoFSx dan JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster dan Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.4.0, akses tanpa password dengan konkurensi tinggi ke OSS dan OSS-HDFS dalam kluster EMR dapat memicu core dump.
Gunakan AccessKey tetap atau upgrade JindoSDK ke versi 4.6.2 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
Versi 4.3.x
-
Pada JindoSDK 4.3.0 (pada kluster EMR-3.40.0 atau EMR-5.6.0), menampilkan timestamp direktori menurunkan kinerja perintah
ls, sehingga timestamp direktori tidak ditampilkan.Untuk menampilkan timestamp tersebut, upgrade JindoSDK ke versi 4.3.1 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
Pada JindoSDK 4.3.0 (pada kluster EMR-3.40.0 atau EMR-5.6.0), MagicCommitter dapat memicu panggilan
uploadPartyang sering, sehingga menghasilkan error "Part number must be an integer between 1 and 10000".Untuk mengatasi masalah ini, upgrade JindoSDK ke versi 4.3.1 atau yang lebih baru. Untuk petunjuk upgrade, lihat Upgrade and roll back JindoSDK for an EMR cluster (X86).
-
JindoFSx 4.3.0 salah menangani error saat membaca data cache dari jalur tertentu. Server tidak mengembalikan error ke client, sehingga client menerima data yang salah.
Untuk mengatasi masalah ini, upgrade JindoFSx ke versi 4.3.1 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster.
-
JindoFSx 4.3.0 salah memproses perintah preload cache memori, yang dapat merusak data cache dan menyebabkan pembacaan berikutnya mengembalikan hasil yang salah.
Untuk mengatasi masalah ini, upgrade JindoFSx ke versi 4.3.1 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster.
-
JindoFSx 4.3.0 dan 4.3.1 mengalami kebocoran handle file. Seiring waktu, proses dapat mencapai batas handle file sistem operasi, sehingga mencegah layanan membuka handle baru dan menyebabkannya tidak tersedia.
Untuk mengatasi masalah ini, upgrade JindoFSx ke versi 4.3.2 atau yang lebih baru. Untuk informasi selengkapnya, lihat Upgrade JindoData for an EMR cluster.
Versi 4.2.x
Pada JindoSDK 4.2.0, operasi SEEK pada file besar dapat menyebabkan integer overflow, yang dapat menyebabkan pekerjaan berbasis SEEK yang membaca file besar dari OSS gagal.
Versi 4.1.x
Pada JindoSDK 4.1.0, operasi SEEK pada file besar dapat menyebabkan integer overflow, yang dapat menyebabkan pekerjaan berbasis SEEK yang membaca file besar dari OSS gagal.
Versi 4.0.x
Pada JindoSDK 4.0.0 (pada kluster EMR-3.39.0 atau EMR-5.5.0), operasi SEEK pada file besar dapat menyebabkan integer overflow, yang dapat menyebabkan pekerjaan berbasis SEEK yang membaca file besar dari OSS gagal.
Batasan
-
JindoSDK tidak mendukung penulisan file yang berukuran lebih dari 80 GB ke OSS.
-
JindoSDK tidak mendukung penulisan ke OSS dalam mode append.
-
JindoSDK tidak mendukung enkripsi sisi client untuk OSS.
-
JindoSDK tidak mendukung versi lama JindoFS dalam mode block dan mode cache.
-
Layanan OSS-HDFS Alibaba Cloud (layanan JindoFS) tidak mendukung upgrade dari versi lama JindoFS yang berjalan dalam mode block.
Anda dapat menggunakan tool JindoDistCp untuk memigrasikan data dari sistem lama ke layanan baru.