E-MapReduce：Gunakan peran aplikasi ECS kustom untuk mengakses sumber daya cloud lainnya di akun Alibaba Cloud Anda

Prasyarat

• Buat Kluster.

• Tetapkan Peran ke Akun Alibaba Cloud.

• Bucket OSS dibuat di konsol OSS. Pastikan bucket tersebut berada di wilayah tempat Anda ingin membuat kluster EMR. Untuk informasi lebih lanjut tentang cara membuat bucket, lihat Buat Bucket.

Prosedur

1. Langkah 1: Buat Kebijakan.

2. Langkah 2: Buat Peran RAM.

3. Langkah 3: Buat Kluster dan Akses Sumber Daya Eksternal.

Langkah 1: Buat kebijakan

1. Pergi ke halaman Buat Kebijakan.

   1. Masuk ke konsol RAM menggunakan akun Alibaba Cloud.

   2. Di panel navigasi sisi kiri, pilih Permissions > Policies.

   3. Di halaman Policies, klik Create Policy.

2. Di halaman Create Policy, klik tab JSON.

3. Masukkan isi kebijakan dan klik OK.

   Masukkan isi kebijakan berikut di editor skrip:

   {
       "Version": "1",
       "Statement": [
           {
               "Action": [
                   "oss:GetObject",
                   "oss:ListObjects"
               ],
               "Resource": [
                   "acs:oss:*:*:emr-logs2",
                   "acs:oss:*:*:emr-logs2/*"
               ],
               "Effect": "Allow"
           }
       ]
   }

   Catatan

   Elemen dalam kebijakan:

   • Action: tindakan pada sumber daya. Dalam contoh ini, izin untuk membaca dan menanyakan data OSS diberikan.

   • Resource: sumber daya tempat izin diberikan. Dalam contoh ini, Bucket OSS emr-logs2 dan objek dalam Bucket OSS ini digunakan sebagai sumber daya.

   Untuk informasi lebih lanjut tentang elemen dasar kebijakan, lihat Elemen Dasar Kebijakan.

4. Konfigurasikan parameter Name di bagian Informasi Dasar untuk menentukan nama kebijakan.

   Dalam contoh ini, nama tersebut adalah test-emr.

5. Klik OK.

Langkah 2: Buat peran RAM

1. Di panel navigasi sisi kiri konsol RAM, pilih Identities > Roles.

2. Di halaman Roles, klik Create Role.

3. Buat peran RAM.

   1. Di langkah Pilih Jenis Peran, pilih Alibaba Cloud Service untuk Pilih Entitas Tepercaya.

   2. Klik Next.

   3. Di langkah Configure Role, konfigurasikan parameter.

      Parameter	Deskripsi
      RAM Role Name	Dalam contoh ini, nama tersebut adalah test-emr.
      Select Trusted Service	Pilih Elastic Compute Service dari daftar drop-down.

   4. Klik OK.

4. Opsional. Ubah layanan tepercaya.

   Penting

   Jika Anda ingin membuat kluster EMR V5.X atau lebih baru, versi minor setelah EMR V4.5, atau versi minor setelah EMR V3.32, lewati langkah ini.

   1. Di halaman Roles, klik name peran RAM yang Anda buat.

   2. Klik tab Trust Policy.

   3. Klik Edit Trust Policy.

   4. Ubah ecs.aliyuncs.com menjadi emr.aliyuncs.com.

      

   5. Klik Save trust policy document.

5. Tambahkan izin yang diperlukan.

   1. Di halaman Roles, temukan RAM role yang Anda buat dan klik Grant Permission di kolom Tindakan.

   2. Di panel Grant Permission, pilih Custom Policy dari daftar drop-down di bagian Kebijakan dan pilih kebijakan yang Anda buat di Langkah 1.

   3. Klik Grant permissions.

   4. Klik Close.

Langkah 3: Buat kluster dan akses sumber daya eksternal

1. Masuk ke konsol EMR. Di panel navigasi sisi kiri, klik EMR on ECS.

2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih grup sumber daya berdasarkan kebutuhan bisnis Anda.

3. Di halaman EMR on ECS, klik Create Cluster. Di bagian Advanced Settings dari langkah Basic Configuration, masukkan nama peran RAM yang Anda buat di Langkah 2: Buat Peran RAM. Untuk informasi lebih lanjut, lihat Buat Kluster.

   

4. Setelah kluster dibuat, masuk ke kluster menggunakan SSH. Untuk informasi lebih lanjut, lihat Masuk ke Kluster.

   Jalankan perintah berikut untuk memeriksa apakah Anda dapat mengakses Bucket OSS yang ditentukan dalam kebijakan:

   hdfs dfs -ls oss://<yourBucketName>/

   Catatan

   Ganti <yourBucketName> dalam perintah dengan nama Bucket OSS.

   • Jika Anda tidak memiliki izin untuk mengakses bucket, akses ke Bucket OSS akan ditolak.

   • Jika Anda memiliki izin untuk mengakses bucket, akses ke Bucket OSS diizinkan.

Tanya Jawab Umum

• Pertanyaan: Apa yang harus saya lakukan jika pesan NoPermission muncul saat saya membuat kluster?
  Jawaban: Lakukan operasi berikut secara berurutan untuk menyelesaikan masalah:

  1. Periksa apakah pengguna RAM yang Anda gunakan untuk membuat kluster memiliki otorisasi untuk membuat kluster dan mengubah peran aplikasi ECS. Jika pengguna RAM diberi izin AliyunEMRDevelopAccess, Anda harus mengubah izin tersebut menjadi AliyunEMRFullAccess.
  2. Periksa apakah nama peran aplikasi ECS yang Anda tentukan saat membuat kluster valid.
  3. Periksa apakah kebijakan kepercayaan diubah menjadi emr.aliyuncs.com.

• Pertanyaan: Apa yang harus saya lakukan jika saya tidak dapat mengakses Bucket OSS dari Hadoop Distributed File System (HDFS)?

  Jawaban: Lakukan operasi berikut secara berurutan untuk menyelesaikan masalah:

  1. Periksa apakah Bucket OSS yang ingin Anda akses berada di wilayah yang sama dengan kluster Anda. Jika Bucket OSS dan kluster Anda tidak berada di wilayah yang sama, Anda harus menambahkan titik akhir Bucket OSS ke tautan akses.

  2. Periksa apakah Bucket OSS yang ingin Anda akses adalah salah satu sumber daya yang ditentukan dalam kebijakan yang dibuat. Jika Bucket OSS bukan salah satu sumber daya, ubah kebijakan.

  3. Periksa apakah izin terkait pada Bucket OSS dikonfigurasi di konsol OSS. Jika izin dikonfigurasi, Anda harus membatalkan pengaturan di konsol OSS dan menentukan Action dalam kebijakan untuk mengonfigurasi izin.