E-MapReduce:FAQ tentang Pasangan AccessKey saat mengakses OSS atau OSS-HDFS

Bagaimana cara mengakses OSS atau OSS-HDFS di kluster EMR dalam mode tanpa password?

Saat membuat kluster EMR, sebuah role aplikasi Elastic Compute Service (ECS) secara otomatis dikaitkan dengan kluster tersebut. Secara default, role ini adalah AliyunECSInstanceForEMRRole. JindoSDK menggunakan role ini untuk memperoleh token keamanan guna mengakses Object Storage Service (OSS) atau OSS-HDFS.

Untuk mengaktifkan akses tanpa password, pastikan bahwa EcsStsCredentialsProvider telah dikonfigurasi dalam core-site.xml:

1. Buka tab Configure pada halaman layanan Hadoop-Common dan klik tab core-site.xml.

2. Periksa apakah nilai fs.oss.credentials.provider berisi com.aliyun.jindodata.oss.auth.EcsStsCredentialsProvider.

3. Jika nilainya belum ada, tambahkan com.aliyun.jindodata.oss.auth.EcsStsCredentialsProvider ke nilai parameter tersebut dan klik Save.

Bagaimana cara memeriksa apakah akses tanpa password ke OSS atau OSS-HDFS tersedia di kluster EMR?

Opsi 1: Verifikasi bahwa role RAM mengembalikan kredensial yang valid

Jalankan perintah berikut pada node kluster untuk mengkueri kredensial role RAM:

curl http://100.100.100.200/latest/meta-data/Ram/Security-credentials/AliyunECSInstanceForEMRRole

Jika respons mencakup "Code": "Success" dan SecurityToken yang valid, maka akses tanpa password tersedia:

{
  "AccessKeyId": "STS.NUreXXXXXX",
  "AccessKeySecret": "BsmbnDoXXXXXXXX",
  "Expiration": "2022-11-22T11:27:39Z",
  "SecurityToken": "CAISlwJ1q6FXXXXXXX",
  "LastUpdated": "2022-11-22T05:27:39Z",
  "Code": "Success"
}

Opsi 2: Uji akses menggunakan perintah shell Hadoop

1. Buka tab Configure pada halaman layanan Hadoop-Common dan klik tab core-site.xml.

2. Pastikan bahwa fs.oss.credentials.provider berisi com.aliyun.jindodata.oss.auth.EcsStsCredentialsProvider. Jika nilainya belum ada, tambahkan dan klik Save.

3. Jalankan perintah shell Hadoop Distributed File System (HDFS) untuk mengakses OSS atau OSS-HDFS. Jika perintah berhasil, berarti akses tanpa password berfungsi dengan baik.

Apa yang harus saya lakukan jika tidak dapat mengakses OSS atau OSS-HDFS melalui HiveServer2 atau Presto setiap 5 hingga 6 jam?

Pada beberapa versi JindoData, terdapat isu yang diketahui terkait akses tanpa password. Lihat Isu yang diketahui di JindoData 4.X untuk daftar lengkap versi yang terdampak.

Metode 1: Gunakan Pasangan AccessKey tetap

Konfigurasikan SimpleCredentialsProvider untuk melakukan autentikasi dengan Pasangan AccessKey tetap. Lihat Konfigurasikan penyedia kredensial untuk OSS atau OSS-HDFS.

Metode 2: Memperbarui JindoSDK

Tingkatkan JindoSDK ke versi terbaru yang mencakup perbaikan untuk isu akses tanpa password yang diketahui. Lihat Tingkatkan JindoSDK di kluster EMR.

Apa yang harus saya lakukan jika muncul error yang menunjukkan bahwa path OSS atau OSS-HDFS berisi Pasangan AccessKey?

Pesan error:

The Filesystem URI contains login details. This authentication mechanism is no longer supported.

Versi JindoSDK V4.0.0 dan yang lebih baru menolak Pasangan AccessKey yang disematkan dalam URI filesystem untuk mencegah kebocoran kredensial.

Opsi 1: Hapus Pasangan AccessKey dari URI (disarankan)

Perbarui aplikasi atau konfigurasi Anda agar menggunakan penyedia kredensial alih-alih menyematkan Pasangan AccessKey dalam path akses.

Opsi 2: Aktifkan kembali autentikasi berbasis URI

Jika kasus penggunaan Anda memerlukan penyematan kredensial dalam URI, tambahkan item konfigurasi berikut pada tab core-site.xml di halaman layanan Hadoop-Common:

Klik Add Configuration Item, masukkan nilai-nilai di atas, lalu klik Save.