Topik ini menjelaskan masalah umum terkait pasangan AccessKey dan solusinya ketika Anda mengakses OSS atau OSS-HDFS dari kluster EMR.
Aktifkan akses tanpa password ke OSS atau OSS-HDFS
JindoSDK memperoleh token keamanan untuk mengakses OSS atau OSS-HDFS menggunakan RAM role yang ditautkan ke instance ECS kluster. Secara default, role tersebut adalah AliyunECSInstanceForEMRRole.
Pada halaman konfigurasi layanan Hadoop-Common, buka tab core-site.xml. Pastikan nilai parameter fs.oss.credentials.provider adalah com.aliyun.jindodata.oss.auth.EcsStsCredentialsProvider. Jika tidak, atur parameter tersebut ke nilai ini lalu klik Save. Hal ini akan mengaktifkan akses tanpa password ke OSS atau OSS-HDFS.
Periksa ketersediaan akses tanpa password
-
Metode 1: Jalankan perintah berikut untuk mengambil kredensial RAM role.
curl http://100.100.100.200/latest/meta-data/Ram/Security-credentials/AliyunECSInstanceForEMRRoleJika perintah mengembalikan hasil dalam format berikut, berarti akses tanpa password tersedia.
{ "AccessKeyId" : "STS.NUreXXXXXX", "AccessKeySecret" : "BsmbnDoXXXXXXXX", "Expiration" : "2022-11-22T11:27:39Z", "SecurityToken" : "CAISlwJ1q6FXXXXXXX", "LastUpdated" : "2022-11-22T05:27:39Z", "Code" : "Success" } -
Metode 2: Konfigurasikan dan uji akses tanpa password.
-
Pada halaman konfigurasi layanan Hadoop-Common, buka tab core-site.xml. Pastikan nilai parameter fs.oss.credentials.provider adalah com.aliyun.jindodata.oss.auth.EcsStsCredentialsProvider. Jika tidak, atur parameter tersebut ke nilai ini lalu klik Save.
-
Gunakan shell HDFS untuk mengakses OSS atau OSS-HDFS. Akses yang berhasil menunjukkan bahwa akses tanpa password tersedia.
-
Kegagalan akses berkala dari HiveServer2 atau Presto
Beberapa versi JindoSDK memiliki isu yang diketahui terkait akses tanpa password. Untuk informasi lebih lanjut, lihat Isu yang Diketahui di JindoData.
-
Metode 1: Gunakan pasangan AccessKey statis.
Konfigurasikan sistem Anda untuk menggunakan SimpleCredentialsProvider. Untuk informasi lebih lanjut, lihat Konfigurasikan Credential Provider OSS/OSS-HDFS.
-
Metode 2: Tingkatkan JindoSDK ke versi terbaru. Untuk informasi lebih lanjut, lihat Tingkatkan dan kembalikan JindoSDK pada kluster EMR (x86).
Error: Pasangan AccessKey dalam path akses
-
Pesan error:
The Filesystem URI contains login details. This authentication mechanism is no longer supported. -
Penyebab:
Untuk mencegah risiko keamanan seperti kebocoran pasangan AccessKey (AccessKey ID dan AccessKey Secret), JindoSDK versi 4.0.0 dan yang lebih baru tidak mendukung penyertaan kredensial dalam path akses.
-
Solusi:
-
Metode 1: Hapus pasangan AccessKey dari path akses.
-
Metode 2: Jika Anda harus menyertakan pasangan AccessKey dalam path, buka halaman konfigurasi layanan Hadoop-Common, klik tab core-site.xml, lalu klik Add Configuration Item. Tambahkan konfigurasi berikut:
Parameter
Value
fs.oss.uri-with-secrets.enable
true
Setelah menambahkan konfigurasi tersebut, klik Save.
-