Kluster E-MapReduce (EMR) menyediakan UI web untuk komponen open-source seperti YARN, Hadoop Distributed File System (HDFS), Spark, dan Flink. Tersedia tiga metode akses—pilih berdasarkan lingkungan jaringan dan kebutuhan keamanan Anda:
| Metode | Paling cocok untuk | Port yang diperlukan | Otentikasi |
|---|---|---|---|
| Native UI address (paling sederhana) | Jaringan internal; penyiapan minimal | Spesifik komponen (misalnya, 8088 untuk YARN) | Tidak ada |
| Knox proxy (direkomendasikan untuk sebagian besar pengguna) | Akses aman; satu port untuk semua komponen | 8443 | Username dan password |
| SSH tunnel | Jaringan berkeamanan tinggi atau terbatas | SSH (22) | Kunci SSH |
Topik ini mencakup metode native UI address dan Knox proxy. Untuk metode SSH tunnel, lihat Buat SSH tunnel untuk mengakses UI web komponen open source.
Membuka port inbound di security group menciptakan potensi risiko keamanan. Tinjau setiap aturan dengan cermat dan batasi objek otorisasi hanya pada rentang IP yang benar-benar diperlukan.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Memiliki kluster EMR yang sedang berjalan. Lihat Buat kluster jika perlu membuatnya.
Buka tab Access Links and Ports
Tab Access Links and Ports mencantumkan semua komponen open-source beserta alamat aksesnya.
Login ke Konsol EMR. Di panel navigasi kiri, klik EMR on ECS.
Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
Temukan kluster target dan klik namanya di kolom Cluster ID/Name.
Di halaman detail kluster, klik tab Access Links and Ports.
Gunakan native UI address
Native UI address memberikan akses langsung melalui browser ke UI web komponen. Aktifkan port komponen tersebut di security group, lalu buka alamatnya di browser.
Klien dan node kluster EMR harus berada dalam lingkungan jaringan internal yang sama.
Langkah 1: Aktifkan port
Klik tab Basic Information.
Di bagian Security, klik tautan di samping Cluster Security Group untuk membuka tab Security Group Details di Konsol Elastic Compute Service (ECS).
Di subtab Inbound, klik Add Rule. Konfigurasikan parameter berikut dan biarkan parameter lain tetap pada nilai default-nya. Untuk referensi lengkap parameter, lihat Aturan security group.
Parameter Deskripsi Contoh Port range Port komponen open-source Untuk YARN, masukkan 8088/8088. Untuk komponen lain, lihat Akses UI web komponen open source.Authorization object Alamat IP internal klien Masukkan alamat IP internal mesin klien Anda
Langkah 2: Akses UI web
Di tab Access Links and Ports, salin native UI address komponen target.
Buka alamat tersebut di browser pada klien Anda. Untuk memverifikasi konektivitas di Linux, jalankan:
curl -L http://<IP-address>:<port>/
Gunakan alamat Knox proxy
Knox menyediakan akses terotentikasi melalui satu port untuk beberapa UI web komponen. Dukungan tersedia untuk akses internal maupun publik.
Komponen yang didukung: YARN, HDFS, Spark 2, Spark 3, Flink, HBase, Impala, Trino, Presto, Tez, dan Ranger.
Beberapa versi komponen memiliki masalah kompatibilitas Knox yang diketahui. Lihat Troubleshooting untuk detailnya.
Langkah 1: Tambahkan Knox
Lewati langkah ini jika Knox sudah dideploy di kluster Anda.
Klik tab Services.
Klik Add Service. Di panel Add Service, pilih KNOX dan OpenLDAP, lalu klik OK.
Setelah layanan ditambahkan, buka tab Access Links and Ports untuk memastikan alamat Knox proxy muncul.
Langkah 2: (Opsional) Asosiasikan Elastic IP Address dengan node master
Lewati langkah ini jika Anda hanya memerlukan akses Knox proxy internal, atau jika Elastic IP Address (EIP) sudah diasosiasikan dengan node master.
Klik tab Nodes.
Di kelompok node emr-master, klik ikon
, lalu klik ID node master-1-1.Di bagian Configuration Information, temukan Public IP Address dan klik Associate EIP. Lihat EIPs untuk detailnya.
Kembali ke Konsol EMR, klik All Operations di pojok kanan atas halaman detail kluster, lalu klik Synchronize Host Information di bagian Cluster Operation.
Di tab Access Links and Ports, pastikan alamat Knox proxy publik sekarang tercantum.
Langkah 3: Aktifkan port 8443
Tambahkan port 8443 ke security group kluster EMR Anda dengan mengikuti langkah-langkah yang sama seperti di Langkah 1: Aktifkan port. Gunakan nilai berikut:
| Parameter | Nilai |
|---|---|
| Port range | 8443/8443 |
| Authorization object | Untuk akses publik, masukkan alamat IP publik. Untuk akses internal, masukkan alamat IP internal klien Anda. |
Untuk akses Knox proxy internal, klien dan node kluster EMR harus berada dalam lingkungan jaringan internal yang sama.
Langkah 4: Tambahkan pengguna
Akses melalui Knox memerlukan username dan password yang valid. Tambahkan pengguna di tab Users. Lihat Kelola pengguna OpenLDAP untuk instruksinya.
Langkah 5: Akses UI web
Di tab Access Links and Ports:
Alamat Knox proxy publik: Klik alamat Knox proxy publik komponen target. Masukkan username dan password di halaman login.
Alamat Knox proxy internal: Klik alamat Knox proxy internal komponen target. Masukkan username dan password di halaman login. Untuk memverifikasi konektivitas di Linux, jalankan:
curl -k -u <username>:<password> https://<internal-IP-address>:8443/gateway/cluster-topo/xx
Akses UI web Ranger
Setelah Ranger dideploy, akses UI web-nya menggunakan kredensial default. Lihat Ranger untuk detail konfigurasi lengkap.
| Jenis kluster | Versi EMR | Default username | Kata Sandi Bawaan |
|---|---|---|---|
| Kluster DataLake | V3.44.0 atau versi minor yang lebih baru, atau V5.10.0 atau versi minor yang lebih baru | admin | Admin1234 |
| Kluster DataLake | Versi minor sebelum V3.44.0 atau versi minor sebelum V5.10.0 | admin | admin1234 |
| Kluster Hadoop (data lake lama) | Any | admin | admin |
Jika Anda lupa password-nya, lihat FAQ di dokumentasi Ranger.
Akses UI web Flink (versi minor sebelum EMR V3.29.0)
Pada versi minor EMR sebelum V3.29.0, UI web Flink hanya dapat diakses melalui SSH tunnel. Lihat Buat SSH tunnel untuk mengakses UI web komponen open source.
Troubleshooting
Tab Access Links and Ports kosong.
Periksa apakah ada pembayaran tertunda di akun Anda. Lunasi saldo yang belum dibayar dan tunggu beberapa menit sebelum me-refresh.
Tidak dapat mengakses UI web melalui native UI address.
Pastikan klien dan node kluster EMR berada dalam lingkungan jaringan internal yang sama.
Halaman username dan password muncul kembali setelah memasukkan kredensial yang benar.
Data OpenLDAP mungkin rusak. Untuk memperbaikinya:
Di tab Services, hentikan OpenLDAP.
Login ke node master-1-1.
Salin skrip repair_ldap_service.sh ke node master-1-1.
Jalankan skrip sebagai pengguna root:
bash repair_ldap_service.shDi pojok kanan atas halaman layanan OpenLDAP di Konsol EMR, pilih More > Restart.
Tidak dapat mengakses UI web melalui Knox proxy.
Pertama, pastikan port 8443 terbuka di security group.
Jika port sudah terbuka tetapi akses tetap gagal, periksa apakah versi komponen tersebut memiliki masalah kompatibilitas Knox yang diketahui:
HBase yang dideploy di EMR V5.10.X hingga V5.12.X
Presto dan Trino yang dideploy di EMR V5.10.X hingga V5.14.X
Untuk kombinasi ini, gunakan native UI address atau SSH tunnel sebagai gantinya.
Username dan password apa yang diperlukan untuk otentikasi Knox?
Gunakan username dan password pengguna yang ditambahkan di tab Users. Lihat Kelola pengguna OpenLDAP.
Langkah selanjutnya
Untuk lingkungan berkeamanan tinggi atau pengaturan jaringan terbatas, gunakan SSH tunnel. Lihat Buat SSH tunnel untuk mengakses UI web komponen open source.
Untuk troubleshooting layanan umum, lihat FAQ.