Jawaban atas pertanyaan umum mengenai sinkronisasi pengguna Ranger di E-MapReduce.
RangerUserSync gagal menyinkronkan pengguna Linux/LDAP
-
Penyebab: Masalah ini terjadi pada versi E-MapReduce 3.23.0 dan sebelumnya.
-
Solusi: Masuk ke node emr-header-1 klaster. Ubah secara manual file /etc/ecm/ranger-usersync-conf/ranger-ugsync-site.xml untuk mengatur parameter ranger.usersync.enabled menjadi
true. Kemudian, di Konsol EMR, restart komponen RangerUserSync.
Cara menyinkronkan pengguna Unix ke Ranger
Ranger tidak mendukung penyinkronan pengguna LDAP dan Unix secara bersamaan dalam satu klaster. Metode penyinkronan pengguna Unix bergantung pada apakah OpenLDAP diterapkan di klaster Anda.
Tanpa OpenLDAP
-
Pada node master klaster E-MapReduce Anda, jalankan perintah berikut untuk menambahkan pengguna.
sudo adduser <username> -
Di Konsol EMR, buka layanan Ranger. Pada tab Status, temukan RangerUserSync dalam daftar Components dan klik Restart di kolom Actions.
-
Verifikasi hasil sinkronisasi.
-
Masuk ke antarmuka web Ranger. Untuk informasi lebih lanjut, lihat Akses antarmuka web komponen open-source.
-
Pilih .
-
Pada tab Users, pastikan pengguna Unix baru muncul.
Sebagai contoh, pengguna
testyang dibuat pada langkah 1 kini muncul.
-
Dengan OpenLDAP
Jika OpenLDAP diterapkan di klaster Anda, Ranger secara default menyinkronkan pengguna LDAP. Untuk beralih ke penyinkronan pengguna Unix, ubah parameter Ranger berikut:
-
Pada node master klaster E-MapReduce Anda, jalankan perintah berikut untuk menambahkan pengguna.
sudo adduser <username> -
Di Konsol EMR, buka layanan Ranger. Pada tab Configure, temukan dan ubah parameter berikut:
-
Atur parameter
ranger.usersync.sync.sourcemenjadiunix. -
Atur parameter
ranger.usersync.source.impl.classmenjadiorg.apache.ranger.unixusersync.process.UnixUserGroupBuilder.
-
-
Saat diminta oleh konsol, simpan konfigurasi dan restart layanan Ranger. Setelah layanan direstart, pengguna Unix akan disinkronkan secara otomatis.
-
Verifikasi hasil sinkronisasi.
-
Masuk ke antarmuka web Ranger. Untuk informasi lebih lanjut, lihat Akses antarmuka web komponen open-source.
-
Pilih .
-
Pada tab Users, pastikan pengguna Unix baru muncul.
Sebagai contoh, pengguna
testyang dibuat pada langkah 1 kini muncul.
-
Apa yang harus saya lakukan jika pekerjaan Hive on Spark memakan waktu terlalu lama karena terlalu banyak file kecil di EMR?
Ketika terdapat sejumlah besar file kecil di OSS, pemeriksaan otorisasi Ranger pada OSS secara signifikan meningkatkan latensi, sehingga memengaruhi kinerja HiveServer2.
Solusi 1: Nonaktifkan otorisasi OSS Ranger
-
Masuk ke Konsol EMR dan buka halaman detail klaster.
-
Pada tab Cluster Services, temukan layanan
Ranger-plugin. -
Klik tab Status dari layanan
Ranger-pluginuntuk membuka bagian Service Overview. -
Di bagian Service Overview, temukan sakelar
enableOSSdan matikan. -
Restart komponen resident seperti
HiveServer2dan SparkThriftServer.
Solusi 2: Optimalkan parameter penggabungan file kecil Hive
Pada konfigurasi layanan Hive, atur parameter berikut:
-
hive.merge.mapfiles=true(mengaktifkan penggabungan file kecil pada tahap Map) -
hive.merge.mapredfiles=true(mengaktifkan penggabungan file kecil pada tahap Reduce) -
hive.merge.size.per.task=256000000(ukuran target file setelah digabung)