DataWorks:Konfigurasikan pemetaan antara akun anggota penyewa dan akun kluster EMR

Tindakan Pencegahan

• Pemetaan antara akun anggota penyewa dan akun kluster EMR berlaku untuk semua ruang kerja tempat kluster EMR tersebut terdaftar. Jangan mengubah kluster EMR kecuali diperlukan untuk keperluan bisnis.

• Jika Anda tidak mengonfigurasi pemetaan antara akun anggota penyewa dan akun kluster EMR sesuai dengan petunjuk dalam topik ini, DataWorks akan menjalankan tugas di kluster EMR berdasarkan kebijakan berikut secara default:

  • Jika Anda menggunakan Pengguna RAM, akun sistem kluster EMR yang memiliki nama yang sama dengan Pengguna RAM tersebut digunakan untuk menjalankan tugas. Jika Protokol Akses Direktori Ringan (LDAP) atau otentikasi Kerberos tidak diaktifkan untuk kluster EMR, Anda harus mengonfigurasi pemetaan antara Pengguna RAM dan akun sistem kluster EMR sesuai dengan prosedur dalam topik ini. Jika tidak, tugas gagal dijalankan di DataWorks.

  • Jika Anda menggunakan Akun Alibaba Cloud, Anda harus mengonfigurasi secara manual pemetaan antara Akun Alibaba Cloud dan akun kluster EMR, terlepas dari apakah otentikasi LDAP atau Kerberos diaktifkan untuk kluster EMR tersebut. Jika tidak, tugas gagal dijalankan di DataWorks.

    Catatan

    Akun yang digunakan pengguna untuk mengakses kluster EMR di DataWorks bergantung pada identitas akses yang Anda tentukan saat mendaftarkan kluster EMR.

    • Jalankan tugas sebagai Pengguna RAM: Saat Anda mengikat sumber daya komputasi EMR di DataWorks, pilih Cluster Account Mapped To The Task Owner atau Cluster Account Mapped To The RAM User sebagai identitas akses default.

    • Jalankan tugas sebagai Akun Alibaba Cloud: Saat Anda mengikat sumber daya komputasi EMR di DataWorks, pilih Cluster Account Mapped To The Alibaba Cloud Account sebagai identitas akses default.

Catatan Penggunaan

• Metode otentikasi

  DataWorks tidak memperbolehkan Anda mengonfigurasi pemetaan antara akun anggota penyewa dan akun kluster EMR yang telah mengaktifkan otentikasi LDAP dan otentikasi Kerberos. Jika Anda tetap mengonfigurasi jenis pemetaan ini, tugas akan gagal dijalankan di DataWorks.

• Konfigurasi daftar putih

  Jika otentikasi Ranger diaktifkan untuk kluster EMR, Anda harus menambahkan DataWorks ke daftar putih kluster EMR agar DataWorks dapat mengakses kluster tersebut. Untuk informasi tentang cara menambahkan DataWorks ke daftar putih kluster EMR, lihat bagian Lampiran: Menambahkan DataWorks ke daftar putih kluster EMR dalam topik ini.

• Pengelolaan pengguna

  Jika Anda menggunakan akun yang bukan akun sistem kluster EMR untuk otentikasi identitas, seperti otentikasi Kerberos, Anda harus mengaktifkan layanan otentikasi terkait untuk kluster EMR dan menambahkan akun yang digunakan untuk mengembangkan tugas EMR di DataWorks ke layanan otentikasi tersebut. Untuk informasi selengkapnya, lihat Konfigurasi otentikasi Kerberos.

• Izin data

  Anda dapat mengelola izin pada layanan dalam kluster EMR sehingga izin operasi data pengguna DataWorks diisolasi. Misalnya, Anda dapat menggunakan Ranger untuk mengelola izin akun kluster EMR yang dipetakan ke Akun Alibaba Cloud.

  Jika Data Lake Formation (DLF) ditentukan sebagai layanan penyimpanan metadata untuk kluster EMR dan komponen DLF-Auth digunakan untuk mengaktifkan fitur pengelolaan izin data DLF, Anda dapat mengajukan permintaan izin data di Pusat Keamanan di konsol DataWorks. Untuk informasi selengkapnya, lihat Mengelola izin pada DLF.

• Konfigurasi pemetaan

  Perhatikan bahwa tugas gagal dijalankan di DataWorks dalam skenario yang dijelaskan dalam tabel berikut.

  Skenario	Deskripsi
  Akun sistem kluster EMR digunakan untuk konfigurasi pemetaan di DataWorks	Pengguna RAM digunakan untuk menjalankan tugas di DataWorks, tetapi tidak ada akun kluster EMR yang memiliki nama yang sama dengan Pengguna RAM tersebut. Pengguna RAM digunakan untuk menjalankan tugas di DataWorks dan pemetaan antara Pengguna RAM dan akun kluster EMR dikonfigurasi secara manual. Namun, akun atau kata sandi kluster EMR yang dipetakan berbeda dari akun atau kata sandi sebenarnya dari kluster EMR. Akun Alibaba Cloud digunakan untuk menjalankan tugas di DataWorks, tetapi Akun Alibaba Cloud tersebut tidak dipetakan ke akun kluster EMR.
  Jenis pemetaan akun LDAP atau Kerberos digunakan di DataWorks	Layanan otentikasi LDAP atau Kerberos diaktifkan untuk kluster EMR, tetapi pemetaan tidak dikonfigurasi atau dikonfigurasi secara salah antara akun anggota penyewa dan akun kluster EMR di DataWorks. Jenis pemetaan akun Kerberos digunakan di DataWorks, tetapi layanan otentikasi Kerberos tidak diaktifkan untuk akun kluster EMR. Jenis pemetaan akun LDAP digunakan di DataWorks, tetapi layanan otentikasi LDAP tidak diaktifkan untuk komponen terkait dalam kluster EMR. Catatan Jika Anda mengonfigurasi pemetaan akun LDAP di DataWorks, tugas SQL di DataWorks—seperti tugas Hive, Impala, Presto, dan Trino—secara default menggunakan akun kluster EMR yang dipetakan untuk otentikasi. Namun, jika otentikasi LDAP tidak diaktifkan untuk komponen terkait dalam kluster EMR, tugas tersebut gagal.

Batasan

• Hanya pengguna dengan peran berikut yang dapat mengonfigurasi pemetaan identitas untuk anggota ruang kerja saat ini:

  • Akun Alibaba Cloud

  • Pengguna RAM atau Peran RAM yang telah menyambungkan kebijakan AliyunDataWorksFullAccess dan AliyunEMRFullAccess

  • Pengguna RAM atau Peran RAM yang ditugaskan sebagai Administrator Ruang Kerja dan telah menyambungkan kebijakan AliyunEMRFullAccess

• Akun anggota yang tidak termasuk dalam tipe di atas hanya dapat mengonfigurasi pemetaan identitas untuk dirinya sendiri.

Buka halaman untuk mengedit pemetaan akun kluster

1. Buka halaman SettingCenter.

   Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih More > Management Center. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar tarik-turun dan klik Go to Management Center.

2. Di panel navigasi kiri, klik Computing Resources untuk membuka halaman Computing Resources.

3. Dalam daftar sumber daya komputasi, temukan kluster EMR target dan klik Account Mappings. Pada halaman yang muncul, klik Edit Account Mappings di pojok kanan atas untuk membuka halaman pengeditan pemetaan akun kluster.

   

Konfigurasikan pemetaan antara akun anggota penyewa dan akun kluster EMR

Pada halaman pengeditan pemetaan akun kluster, konfigurasikan pemetaan identitas kluster.

1. Unggah file konfigurasi.

   1. Jika otentikasi Kerberos diaktifkan untuk kluster, unduh kredensial otentikasi dari kluster.

   2. Klik Upload Keystore File dan unggah kredensial yang telah diunduh. Langkah ini memastikan bahwa tugas EMR Trino dan EMR Presto berjalan sebagaimana mestinya.

2. Konfigurasikan pemetaan.

   • Mode Konfigurasi: Anda dapat menyesuaikan pemetaan untuk kluster saat ini atau memilih Reference Configurations of Another Cluster untuk menggunakan konfigurasi pemetaan yang sudah ada.

   • Jenis Pemetaan: Jenis akun untuk otentikasi kluster. Anda dapat memilih System Account Mapping, OPEN LDAP Account Mapping, atau Kerberos Account Mapping.

   Catatan

   • Jika Anda mengatur Jenis Pemetaan menjadi Mapping to Kerberos Account, Anda harus mengunggah file Keystore.

   • Sebelum memilih pemetaan akun Kerberos, pastikan layanan otentikasi Kerberos telah diaktifkan untuk kluster EMR. Untuk informasi selengkapnya, lihat Aktifkan otentikasi Kerberos.

   • Sebelum memilih pemetaan akun OPEN LDAP, pastikan layanan otentikasi LDAP telah diaktifkan untuk komponen terkait dalam kluster EMR. Jika Anda mengonfigurasi pemetaan akun LDAP di DataWorks, tugas SQL di DataWorks—seperti tugas Hive, Impala, Presto, dan Trino—secara default menggunakan akun kluster EMR yang dipetakan untuk otentikasi. Namun, jika otentikasi LDAP tidak diaktifkan untuk komponen terkait dalam kluster EMR, tugas tersebut gagal.

3. Klik Confirm untuk menyimpan pengaturan pemetaan akun kluster.

Lampiran: Menambahkan DataWorks ke daftar putih kluster EMR

Jika Ranger diaktifkan untuk kluster EMR, Anda harus menambahkan DataWorks ke daftar putih kluster EMR dan me-restart layanan Hive sebelum dapat mengembangkan tugas EMR di DataWorks. Jika tidak, kesalahan berikut dilaporkan saat tugas EMR dijalankan: Cannot modify spark.yarn.queue at runtime atau Cannot modify SKYNET_BIZDATE at runtime.

1. Konfigurasikan daftar putih.

   Tambahkan parameter kustom yang terdiri dari kunci dan nilai. Contoh kode berikut memberikan contoh parameter kustom yang dikonfigurasi untuk layanan Hive dalam kluster EMR:

   hive.security.authorization.sqlstd.confwhitelist.append=tez.*|spark.*|mapred.*|mapreduce.*|ALISA.*|SKYNET.*

   Catatan

   Dalam kode di atas, ALISA.* dan SKYNET.* hanya didukung untuk DataWorks.

2. Restart layanan.

   Setelah daftar putih dikonfigurasi, Anda harus me-restart layanan Hive agar konfigurasi berlaku.