DataWorks:Konfigurasi pemetaan identitas kluster

Tindakan pencegahan

• Pemetaan identitas untuk kluster EMR berlaku untuk semua ruang kerja tempat kluster tersebut terdaftar. Modifikasi konfigurasi kluster EMR dengan hati-hati.

• Jika Anda tidak mengonfigurasi pemetaan akun secara manual, DataWorks menggunakan kebijakan default untuk mengirimkan tugas ke kluster EMR, terlepas dari akun cloud yang digunakan untuk menjalankan tugas tersebut:

  • Jika Anda menjalankan tugas sebagai RAM user: Secara default, DataWorks menjalankan tugas tersebut menggunakan akun sistem kluster EMR yang memiliki nama yang sama dengan RAM user tersebut. Jika kluster tidak memiliki otentikasi LDAP atau Kerberos yang diaktifkan, Anda harus mengonfigurasi pemetaan seperti yang dijelaskan dalam topik ini. Jika tidak, tugas DataWorks akan gagal.

  • Jika Anda menjalankan tugas sebagai Akun Alibaba Cloud: Anda harus mengonfigurasi pemetaan akun secara manual untuk Akun Alibaba Cloud tersebut, terlepas dari apakah kluster telah mengaktifkan otentikasi LDAP atau Kerberos. Jika tidak, semua tugas yang dijalankan menggunakan Akun Alibaba Cloud akan gagal.

    Catatan

    Akun yang digunakan untuk mengakses kluster EMR dari DataWorks bergantung pada identitas akses yang Anda tentukan saat mendaftarkan kluster EMR tersebut.

    • Untuk menjalankan tugas sebagai RAM user, pilih Cluster Account Mapped to Account of Task Owner atau Cluster Account Mapped to RAM User sebagai identitas akses default saat Anda mengikat sumber daya komputasi EMR di DataWorks.

    • Untuk menjalankan tugas sebagai Akun Alibaba Cloud, pilih Cluster Account Mapped to Alibaba Cloud Account sebagai identitas akses default saat Anda mengikat sumber daya komputasi EMR di DataWorks.

Catatan penggunaan

• Metode otentikasi

  DataWorks tidak mendukung konfigurasi pemetaan akun LDAP dan Kerberos secara bersamaan. Oleh karena itu, tugas yang dijalankan di DataWorks akan gagal jika komponen EMR mengaktifkan otentikasi LDAP dan Kerberos sekaligus.

• Konfigurasi daftar putih

  Jika otentikasi Ranger diaktifkan pada kluster, Anda harus menambahkan DataWorks ke daftar putih untuk memastikan DataWorks dapat mengakses kluster EMR. Untuk informasi selengkapnya, lihat Lampiran: Tambahkan DataWorks ke daftar putih.

• Manajemen pengguna

  Jika Anda menggunakan akun non-sistem untuk otentikasi identitas kluster (misalnya, Kerberos), Anda harus terlebih dahulu mengaktifkan layanan otentikasi yang sesuai pada kluster, lalu menambahkan akun yang digunakan untuk pengembangan tugas EMR di DataWorks ke layanan tersebut. Untuk informasi selengkapnya, lihat Konfigurasi otentikasi Kerberos.

• Izin data

  Anda dapat menggunakan komponen pengelolaan izin pada kluster EMR untuk mengisolasi izin data bagi pengguna DataWorks yang berbeda. Misalnya, Anda dapat menggunakan komponen Ranger untuk mengelola izin pengguna kluster yang dipetakan ke Akun Alibaba Cloud.

  Jika kluster EMR menggunakan Data Lake Formation (DLF) sebagai layanan metadata-nya dan telah mengaktifkan komponen DLF-Auth untuk mengelola izin, Anda dapat mengajukan izin data di Security Center DataWorks. Untuk informasi selengkapnya, lihat Kontrol akses data DLF.

• Konfigurasi pemetaan

  Perhatikan bahwa tugas DataWorks dapat gagal dalam skenario berikut:

  Skenario	Deskripsi
  Menggunakan system account mapping di DataWorks	Tugas dijalankan oleh RAM user, tetapi tidak ada akun kluster dengan nama yang sama. Tugas dijalankan oleh RAM user dan pemetaan dikonfigurasi secara manual antara anggota ruang kerja DataWorks dan akun kluster, tetapi akun kluster atau password yang dipetakan salah. Tugas dijalankan oleh Akun Alibaba Cloud, tetapi tidak ada pemetaan yang dikonfigurasi untuk akun tersebut.
  Menggunakan LDAP/Kerberos account mapping di DataWorks	Otentikasi LDAP atau Kerberos diaktifkan pada kluster, tetapi pemetaan akun yang sesuai di DataWorks tidak tersedia atau salah. Anda memilih pemetaan Kerberos di DataWorks, tetapi Kerberos tidak diaktifkan pada kluster. Anda memilih pemetaan LDAP di DataWorks, tetapi layanan otentikasi tidak diaktifkan untuk komponen tersebut pada kluster. Catatan Setelah Anda mengonfigurasi pemetaan LDAP di DataWorks, tugas SQL seperti Hive, Impala, Presto, dan Trino secara default menggunakan akun yang dipetakan untuk otentikasi. Jika otentikasi LDAP tidak diaktifkan pada komponen kluster, tugas-tugas tersebut akan gagal.

Batasan

• Hanya pengguna dengan peran berikut yang dapat mengonfigurasi pemetaan identitas untuk anggota ruang kerja:

  • Akun Alibaba Cloud

  • Seorang RAM user atau Peran RAM dengan izin AliyunDataWorksFullAccess dan AliyunEMRFullAccess.

  • Seorang RAM user atau Peran RAM yang ditetapkan sebagai Administrator Ruang Kerja dan memiliki izin AliyunEMRFullAccess.

• Pengguna tanpa peran-peran tersebut hanya dapat mengonfigurasi pemetaan identitas untuk diri mereka sendiri.

Buka halaman pemetaan akun

1. Login ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.

2. Di panel navigasi kiri, klik Computing Resources untuk membuka halaman Computing Resources.

3. Dalam daftar sumber daya komputasi, temukan kluster EMR target. Di tab Account Mappings, klik Edit Account Mappings di pojok kanan atas untuk membuka halaman Edit Account Mappings.

   Tab Account Mappings berisi bagian Production and development environment, yang menampilkan bidang Mapping Type dan Number of Mapped Accounts.

Konfigurasi pemetaan akun kluster

Di halaman Edit Account Mappings, ikuti langkah-langkah berikut untuk mengonfigurasi pemetaan identitas kluster.

1. Unggah file konfigurasi.

   1. Jika otentikasi Kerberos diaktifkan pada kluster, Anda harus mengunduh kredensial otentikasi dari kluster.

   2. Klik Upload Keystore File untuk mengunggah kredensial otentikasi yang telah diunduh. Hal ini memastikan bahwa tugas EMR Trino dan EMR Presto berjalan sebagaimana mestinya.

2. Konfigurasi pemetaan.

   • Configuration Mode: Anda dapat menentukan pemetaan untuk kluster saat ini, atau memilih Reference Configurations of Another Cluster untuk menggunakan kembali konfigurasi pemetaan yang sudah ada.

   • Mapping Type: Menentukan jenis akun untuk otentikasi kluster. Jenis yang didukung meliputi System Account Mapping, OPEN LDAP Account Mapping, dan Kerberos Account Mapping.

   Catatan

   • Jika Anda memilih Mapping to Kerberos Account sebagai Mapping Type, Anda harus mengunggah file Keystore.

   • Sebelum menggunakan pemetaan akun Kerberos, pastikan layanan Kerberos telah diaktifkan pada kluster. Untuk informasi selengkapnya, lihat Aktifkan Kerberos.

   • Sebelum menggunakan pemetaan akun LDAP, pastikan layanan LDAP telah diaktifkan pada komponen terkait. Setelah Anda mengonfigurasi pemetaan LDAP di DataWorks, tugas SQL seperti Hive, Impala, Presto, dan Trino secara default menggunakan akun yang dipetakan untuk otentikasi. Jika otentikasi LDAP tidak diaktifkan pada komponen kluster, tugas-tugas tersebut akan gagal.

3. Klik Confirm untuk menyimpan pengaturan pemetaan akun kluster.

Lampiran: Tambahkan DataWorks ke daftar putih

Jika Ranger diaktifkan pada kluster EMR, Anda harus menambahkan DataWorks ke daftar putih di EMR dan restart Hive sebelum mengembangkan pekerjaan EMR di DataWorks. Jika tidak, pekerjaan akan gagal saat waktu proses dengan error Cannot modify spark.yarn.queue at runtime atau Cannot modify SKYNET_BIZDATE at runtime.

1. Konfigurasi daftar putih.

   Anda dapat mengonfigurasi daftar putih dengan menambahkan kunci dan nilai untuk parameter kustom di EMR. Contoh berikut menunjukkan konfigurasi untuk komponen Hive.

   hive.security.authorization.sqlstd.confwhitelist.append=tez.*|spark.*|mapred.*|mapreduce.*|ALISA.*|SKYNET.*

   Catatan

   Pengaturan ALISA.* dan SKYNET.* khusus untuk DataWorks.

2. Restart layanan.

   Setelah Anda mengonfigurasi daftar putih, Anda harus merestart layanan agar perubahan diterapkan.