E-MapReduce:Gunakan token Kyuubi untuk mengelola izin data DLF di EMR Serverless Spark

Langkah 1: Siapkan lingkungan dan izin pengguna RAM

1. Siapkan resource dasar.

   • Buat ruang kerja. Untuk informasi selengkapnya, lihat Manage workspaces.

   • Buat dan mulai Kyuubi Gateway di ruang kerja tersebut. Untuk informasi selengkapnya, lihat Manage Kyuubi Gateways.

   • Buat data catalog di DLF dan siapkan database serta tabel yang diperlukan.

2. Konfigurasikan pengguna RAM dan izinnya.Siapkan pengguna RAM dan berikan izin yang diperlukan kepadanya.

   • Izin EMR Serverless Spark: Berikan izin operasi dasar kepada pengguna RAM yang diperlukan untuk mengakses EMR Serverless Spark. Untuk informasi selengkapnya, lihat Grant permissions to a RAM user.

   • Izin ruang kerja: Tambahkan pengguna RAM ke ruang kerja dan tetapkan role sesuai fungsinya. Untuk informasi selengkapnya, lihat Manage users and roles.

Langkah 2: Berikan izin tabel kepada pengguna RAM di DLF

Berikan izin akses kepada pengguna RAM untuk tabel tertentu di DLF. Untuk memastikan Kyuubi Gateway dapat menginisialisasi sesi Spark, Anda juga harus memberikan izin Describe kepada pengguna RAM untuk database default di DLF.

1. Masuk ke .

2. Arahkan ke database dan tabel dalam katalog target.

3. Pilih tabel yang akan diberikan izinnya, lalu klik tab Permissions.

4. Klik Grant Permissions.

   1. Principal: pilih DLF User/DLF Role.

   2. Select DLF User: pilih pengguna RAM target.

   3. Permissions: pilih izin yang diperlukan.

5. Klik OK. Otorisasi selesai.

   Catatan

   EMR Serverless Spark secara default mengaktifkan cache untuk metadata dan data DLF. Jika Anda memberikan ulang izin untuk suatu tabel, perubahan tersebut memerlukan waktu sekitar 10 menit untuk berlaku.

   Jika Anda ingin perubahan izin langsung berlaku, tambahkan konfigurasi spark.sql.catalog.lakehouse.cache-enabled false ke konfigurasi Spark di Kyuubi Gateway.

Langkah 3: Hasilkan token Kyuubi untuk pengguna RAM

1. Pada halaman Kyuubi Gateway, temukan gateway target, lalu di kolom Actions, klik Tokens.

2. Klik Create Token. Pada kotak dialog yang muncul, konfigurasikan parameter berikut dan klik OK.

   Parameter	Deskripsi
   Name	Nama token baru.
   Expired At	Tetapkan waktu kedaluwarsa token. Nilainya harus 1 atau lebih besar. Secara default, fitur ini diaktifkan dan token kedaluwarsa setelah 365 hari.
   Assigned To	Dari daftar drop-down, pilih pengguna RAM target.

3. Salin informasi token tersebut.

   Penting

   Setelah token dibuat, Anda harus segera menyalin informasi tokennya. Anda tidak dapat mengambilnya lagi nanti. Jika token kedaluwarsa atau hilang, Anda harus membuat yang baru atau mereset yang ada.

Langkah 4: Hubungkan menggunakan Beeline dan verifikasi izin

1. Buat perintah koneksi JDBC.

   beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;user=<UserName or RoleName>;httpPath=cliservice/token/<Token>"

   Deskripsi parameter:

   Parameter	Deskripsi
   <endpoint>	Endpoint Kyuubi Gateway.
   <port>	Port akses. Port untuk Endpoint publik adalah 443. Port untuk Endpoint jaringan internal adalah 80.
   <UserName or RoleName>	Pengguna RAM atau Peran RAM. Anda dapat menggunakan nama pendek atau nama lengkap. Contoh: Pengguna RAM: agent atau agent@xxxx05398154xxxx.onaliyun.com Peran RAM: AliyunServiceRoleForDataworksEngine
   <Token>	Token yang dihasilkan untuk pengguna RAM pada Langkah 3.

   

2. Verifikasi efek kontrol akses.

   • Lakukan kueri pada tabel yang diizinkan:

     SELECT * FROM <database_name>.<authorized_table_name> LIMIT 10;

     Data kueri dikembalikan dengan sukses.

   • Lakukan kueri pada tabel yang tidak diizinkan:

     SELECT * FROM <database_name>.<unauthorized_table_name> LIMIT 10;

     Kueri gagal dan mengembalikan error terkait izin, seperti emr_test doesn't have privilege SELECT on TABLE.

Q1: Setelah saya memberikan izin, saya masih bisa melakukan kueri pada tabel yang tidak diizinkan dan mendapatkan hasilnya. Apakah izin belum berlaku?
Masalah ini dapat terjadi karena alasan berikut:

• Cache metadata DLF: Mesin Spark menyimpan cache informasi skema tabel, sehingga pemeriksaan otorisasi dapat dilewati.
  Solusi: Tambahkan spark.sql.catalog.lakehouse.cache-enabled false ke konfigurasi Spark untuk menonaktifkan cache metadata.

• Latensi izin: Dalam kasus jarang terjadi, sinkronisasi izin DLF mungkin mengalami penundaan singkat, biasanya tidak lebih dari 10 detik.
  Saran: Tunggu sebentar lalu coba lagi, atau pastikan izin telah diberikan dengan benar di Konsol DLF.

Q2: Saya tidak dapat melihat token setelah dibuat. Apa yang harus saya lakukan jika token tersebut hilang?
Token teks biasa hanya ditampilkan sekali dalam kotak dialog setelah dibuat. Sistem tidak menyimpan nilai aslinya. Jika token hilang atau bocor, Anda harus segera melakukan tindakan berikut:

• Pada halaman Manajemen Token, temukan entri yang sesuai dan klik Reset Token.

• Token lama secara otomatis tidak berlaku dan kredensial baru dihasilkan.

• Perbarui semua konfigurasi klien dengan token baru tersebut.

Q3: Mengapa pengguna RAM memerlukan izin Describe untuk database default agar dapat terhubung ke Kyuubi Gateway?
Secara default, saat sesi Spark dibuat, Kyuubi Gateway mencoba memuat database default sebagai konteks awal. Jika identitas saat ini tidak memiliki izin untuk mengakses database tersebut, inisialisasi sesi gagal dan koneksi diputus. Pemeriksaan ini bersifat wajib, bahkan jika tabel bisnis Anda berada di database lain. Oleh karena itu, semua pengguna RAM yang terhubung ke gateway harus memiliki izin DescribeDatabase untuk database default.