E-MapReduce：Peran aplikasi ECS (digunakan di EMR V3.32.0 atau versi minor lebih lama, atau EMR V4.5.0 atau versi minor lebih lama)

Prasyarat

Peran ini telah diberi otorisasi. Untuk informasi lebih lanjut, lihat Menetapkan Peran ke Akun Alibaba Cloud.

Informasi latar belakang

MetaService memungkinkan Anda mengakses Object Storage Service (OSS), Log Service, dan Message Service (MNS) tanpa memerlukan sepasang AccessKey.

Izin

Sumber data yang mendukung MetaService

MetaService memungkinkan Anda mengakses OSS, Log Service, dan MNS. Anda dapat menggunakan SDK EMR di kluster EMR untuk membaca dan menulis data ke sumber daya tersebut tanpa memerlukan sepasang AccessKey.

Secara default, hanya akses ke OSS yang diaktifkan. Jika ingin membaca dan menulis data ke Log Service dan MNS, masuk ke Konsol RAM dan konfigurasikan izin yang diperlukan untuk peran AliyunEmrEcsDefaultRole. Untuk informasi lebih lanjut, lihat Konsol RAM.

Untuk informasi lebih lanjut tentang cara memberi otorisasi pada peran RAM, lihat Memberikan Izin kepada Peran RAM.

Menggunakan MetaService

• Memberikan manfaat berikut untuk layanan di kluster EMR Anda:

  Pekerjaan yang dijalankan di layanan tersebut dapat mengakses sumber daya Alibaba Cloud (OSS, Log Service, dan MNS) tanpa memerlukan sepasang AccessKey.

  Perbandingan operasi sebelum dan sesudah MetaService digunakan:

  • Jalankan perintah hadoop fs -ls untuk melihat data OSS.
    • MetaService tidak digunakan:

      hadoop fs -ls oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c

    • MetaService digunakan:

      hadoop fs -ls oss://bucket/a/b/c

  • Buat tabel eksternal di Hive.
    • MetaService tidak digunakan:

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c';

    • MetaService digunakan:

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://bucket/a/b/c';

  • Gunakan Spark untuk melihat data OSS.
    • MetaService tidak digunakan:

      val data = sc.textFile("oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c")

    • MetaService digunakan:

      val data = sc.textFile("oss://bucket/a/b/c")

• Memberikan manfaat berikut untuk layanan yang diterapkan sendiri:
  MetaService adalah layanan HTTP. Anda dapat mengakses URL layanan HTTP ini untuk mendapatkan kredensial sementara Security Token Service (STS). Kemudian, Anda dapat menggunakan kredensial sementara STS untuk mengakses sumber daya Alibaba Cloud tanpa memerlukan sepasang AccessKey di sistem yang dikelola sendiri.

  Penting Kredensial sementara STS baru dihasilkan 30 menit sebelum kredensial saat ini kedaluwarsa. Kedua kredensial STS dapat digunakan dalam waktu 30 menit.

  Sebagai contoh, Anda dapat menjalankan curl http://localhost:10011/cluster-region untuk mendapatkan wilayah tempat kluster Anda berada.

  Anda dapat menggunakan MetaService untuk mendapatkan informasi berikut:

  • Wilayah: /cluster-region
  • Nama peran: /cluster-role-name
  • ID AccessKey: /role-access-key-id
  • Rahasia AccessKey: /role-access-key-secret
  • Token keamanan: /role-security-token
  • Tipe jaringan: /cluster-network-type