Node Gateway menyediakan titik masuk terpadu dan terisolasi untuk mengirim pekerjaan bagi banyak pengguna atau aplikasi. Pendekatan ini membantu menjaga stabilitas layanan inti E-MapReduce (EMR). Node Gateway memisahkan beban kerja klien, seperti pengiriman pekerjaan, dari node master kluster. Pemisahan tersebut melindungi stabilitas komponen inti dan memungkinkan Anda mengonfigurasi lingkungan independen untuk pengguna yang berbeda.
Tiga mode penyebaran Gateway dan panduan pemilihan
Gateway merupakan lapisan isolasi untuk pengiriman pekerjaan EMR yang memberikan manfaat utama berikut:
Memisahkan beban kerja klien dari layanan inti kluster
Ini memisahkan operasi klien—seperti
spark-submit,hive -f, danyarn application—dari node master atau Resource Manager.Menerapkan isolasi lingkungan multi-tenant
Gateway memungkinkan Anda mengonfigurasi lingkungan runtime independen untuk pengguna atau departemen yang berbeda.
Meningkatkan stabilitas dan kemudahan pemeliharaan kluster
Gateway mencegah isu seperti pengiriman pekerjaan berfrekuensi tinggi, debugging skrip, konflik lingkungan, atau persaingan sumber daya (resource contention) memengaruhi layanan kritis seperti YARN ResourceManager dan Hadoop Distributed File System (HDFS) NameNode.
EMR menyediakan tiga mode Gateway. Setiap mode sesuai untuk jenis kluster, versi, dan kebutuhan arsitektur yang berbeda.
Tipe | Tipe kluster yang didukung dan persyaratan versi | Metode penyebaran dan fitur utama | Skenario dan rekomendasi |
Gateway node group | Hanya mendukung kluster berikut:
| • Tambahkan node group langsung ke kluster yang sudah ada. Untuk informasi selengkapnya, lihat Manage node groups. | Direkomendasikan: Pilihan terbaik untuk menambahkan titik masuk pengiriman pekerjaan yang aman dan terisolasi secara cepat ke kluster DataLake atau DataFlow yang sudah ada. Opsi ini menawarkan biaya operasional dan pemeliharaan (O&M) terendah serta memastikan konsistensi konfigurasi yang tinggi. |
Gateway environment | Mendukung kluster DataLake, DataFlow, Custom, dan OLAP | • Deploy secara manual pada instans ECS. Untuk informasi selengkapnya, lihat Use the EMR command-line interface (CLI) to customize a Gateway environment deployment. | Alternatif standar ketika kluster tidak mendukung Gateway node groups. |
Gateway cluster | Hanya mendukung kluster Hadoop dan Kafka |
| Cocok untuk kluster Hadoop dan Kafka. |
Prosedur
Hubungkan ke instans Gateway menggunakan Secure Shell (SSH). Untuk informasi selengkapnya, lihat Log on to a cluster.
Setelah menyambungkan ke node menggunakan SSH, jalankan perintah berikut di baris perintah untuk mengirim dan menjalankan pekerjaan. Dalam contoh ini, Spark 3.1.1 digunakan:
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /opt/apps/SPARK3/spark-current/examples/jars/spark-examples_2.12-3.1.1.jar 10Catatanspark-examples_2.12-3.1.1.jaradalah nama paket JAR di kluster. Anda dapat log on to the cluster dan menemukan paket tersebut di path/opt/apps/SPARK3/spark-current/examples/jars.Lihat detail pekerjaan. Setelah mengirim pekerjaan, Anda dapat melihat detailnya di antarmuka web YARN. Langkah-langkah berikut memberikan deskripsi singkat:
Aktifkan Port 8443. Untuk informasi selengkapnya, lihat Manage security groups.
Tambahkan pengguna. Untuk informasi selengkapnya, lihat OpenLDAP user management.
Untuk mengakses antarmuka web YARN menggunakan akun Knox Anda, Anda harus mendapatkan nama pengguna dan kata sandi akun Knox.
Di halaman EMR on ECS, klik Cluster Services di baris kluster target.
Klik tab Access Links and Ports.
Klik tautan publik di baris YARN UI.
Gunakan pengguna yang ditambahkan untuk otentikasi logon dan akses antarmuka web YARN.
Di halaman All Applications, klik ID pekerjaan target untuk melihat detailnya.
