E-MapReduce:Mengelola Livy Gateway

Buat Livy Gateway

1. Buka halaman Gateway.

   1. Masuk ke Konsol EMR.

   2. Pada panel navigasi di sebelah kiri, pilih Spark.

   3. Pada halaman Spark, klik nama ruang kerja yang dituju.

   4. Pada halaman EMR Serverless Spark, pada panel navigasi di sebelah kiri, klik O&M Center > Gateway.

2. Pada halaman Livy Gateway, klik Create Livy Gateway.

3. Pada halaman Create Livy Gateway, konfigurasikan parameter berikut lalu klik Create.

   Parameter	Deskripsi
   Name	Nama gateway. Nama hanya boleh terdiri atas huruf kecil, angka, dan tanda hubung (-), serta harus dimulai dan diakhiri dengan huruf atau angka.
   Livy Gateway Resources	Bawaan: 1 CPU, 4 GB.
   Livy Version	Bawaan: 0.8.0, versi terbaru.
   Engine Version	Versi engine yang digunakan oleh gateway. Untuk informasi selengkapnya, lihat engine versions.
   Use Fusion Acceleration	Fusion dapat mempercepat beban kerja Spark dan mengurangi total biaya pekerjaan. Untuk informasi penagihan, lihat Product Billing. Untuk informasi selengkapnya tentang engine Fusion, lihat Fusion engine.
   Associated Queue	Pekerjaan yang dikirimkan melalui gateway menggunakan identitas pembuatnya.
   Authentication Method	Hanya autentikasi token yang didukung. Setelah membuat gateway, Anda harus menghasilkan Token otentikasi unik untuk gateway tersebut. Token ini digunakan untuk otentikasi dan Kontrol akses dalam permintaan selanjutnya. Lihat Token management untuk petunjuk pembuatan token.
   Mount Integrated File Directory	Fitur ini dinonaktifkan secara bawaan. Untuk menggunakan fitur ini, tambahkan direktori file pada halaman Artifacts, di tab Integrated File Directory. Untuk informasi selengkapnya, lihat Manage the integrated file directory. Mengaktifkan fitur ini akan memasang direktori file terkelola ke aplikasi, sehingga aplikasi dapat langsung membaca dan menulis file dalam direktori tersebut. Operasi mount mengonsumsi sumber daya compute driver. Jumlah yang dikonsumsi adalah nilai terbesar dari dua nilai berikut: Sumber daya tetap: 0,3 vCPU + 1 GB memori. Sumber daya dinamis: 10% dari sumber daya spark.driver (yaitu, 10% dari core dan memori spark.driver). Sebagai contoh, jika spark.driver dikonfigurasi dengan 4 core dan 8 GB memori, sumber daya dinamisnya adalah 0,4 vCPU + 0,8 GB memori. Dalam kasus ini, sumber daya yang benar-benar dikonsumsi adalah max(0,3 vCPU + 1 GB, 0,4 vCPU + 0,8 GB), yaitu 0,4 vCPU + 1 GB memori. Catatan Mount scope: Secara bawaan, direktori file hanya dipasang ke driver. Untuk memasangnya juga ke executor, aktifkan Mount to Executor. Multiple directories: Anda dapat memasang beberapa direktori file terintegrasi. Namun, direktori CPFS tidak dapat digunakan bersama jenis lainnya. Misalnya, Anda dapat memasang beberapa direktori OSS dan NAS secara bersamaan, tetapi tidak dapat memasang direktori CPFS bersama OSS atau NAS. Network requirements: Saat memasang direktori file NAS atau CPFS, Anda harus mengonfigurasi koneksi jaringan. VPC dari koneksi jaringan harus sama dengan VPC dari Titik pemasangan NAS atau CPFS.
   Network Connection	Pilih koneksi jaringan yang sudah ada untuk mengakses sumber data di VPC atau layanan eksternal. Untuk informasi selengkapnya tentang cara membuat koneksi jaringan, lihat Network connectivity between EMR Serverless Spark and other VPCs.
   Environment	Saat Anda mengirimkan pekerjaan melalui Livy Gateway, pekerjaan tersebut menggunakan sumber daya yang telah dikonfigurasi sebelumnya di lingkungan runtime yang dipilih.
   Endpoint(Public)	Dinonaktifkan secara bawaan. Jika Anda mengaktifkan fitur ini, sistem mengakses Livy melalui Titik akhir publik. Jika tidak, sistem menggunakan Titik akhir internal.
   Automatic Stop	Dinonaktifkan secara bawaan. Jika Anda mengaktifkan fitur ini, sistem akan secara otomatis menghentikan gateway jika gateway tidak aktif selama 45 menit.
   spark-defaults.conf	File ini menetapkan parameter bawaan global untuk pekerjaan Spark.
   livy.conf	File konfigurasi inti untuk server Livy. File ini menentukan perilaku global Livy Gateway, termasuk metode autentikasi (seperti LDAP), manajemen session, dan pengaturan timeout. File ini mengontrol parameter waktu proses server Livy dan memengaruhi semua pekerjaan yang dikirimkan melalui gateway ini.
   livy-client.conf	File ini menentukan perilaku interaksi antara client dan Livy Gateway.
   spark-blacklist.conf	Sistem mengabaikan parameter dalam blacklist ini, dan pengguna tidak dapat mengganti nilainya.

   Untuk informasi selengkapnya tentang file konfigurasi Livy dan parameternya, lihat Livy Gateway configuration examples.

4. Pada halaman Livy Gateway, di kolom Start untuk gateway Anda, klik Start.

Manajemen token

1. Pada halaman Livy Gateway, di kolom Token Management untuk gateway yang dituju, klik Tokens.

2. Klik Create Token.

3. Pada kotak dialog Create Token, konfigurasikan parameter berikut lalu klik OK.

   Parameter	Deskripsi
   Name	Nama token baru.
   Expired At	Tetapkan waktu kedaluwarsa token. Nilainya minimal 1 hari. Secara bawaan, token kedaluwarsa dalam 365 hari.

4. Salin informasi token.

   Penting

   Salin token segera setelah dibuat. Anda tidak dapat melihatnya lagi. Jika token hilang atau kedaluwarsa, Anda harus membuat token baru atau mengatur ulang token yang ada.

Informasi sesi

Saat Anda membuat session Spark menggunakan Livy, sistem menampilkan detail session tersebut, seperti ID dan statusnya.

1. Pada halaman Livy Gateway, klik nama gateway yang dituju.

2. Klik tab Sessions.

   Halaman ini menampilkan session Spark yang dibuat melalui Livy Gateway ini.

   Daftar session mencakup informasi berikut: Session ID, Session Status, Waktu pembuatan, Konfigurasi sumber daya (dalam format JSON, termasuk parameter seperti kind, driverMemory, driverCores, executorMemory, executorCores, dan numExecutors), tautan Spark UI, dan Actions (untuk menutup session).

Dokumentasi terkait

Untuk kasus penggunaan Livy Gateway, lihat dokumen berikut:

• Submit jobs using the Livy Operator of Apache Airflow

• Interact with Serverless Spark using a Jupyter Notebook