E-MapReduce：Kelola Gerbang Livy

Buat Gerbang Livy

1. Buka halaman Gerbang.

   1. Masuk ke Konsol EMR.

   2. Di panel navigasi sebelah kiri, pilih EMR Serverless > Spark.

   3. Pada halaman Spark, klik nama ruang kerja target.

   4. Pada halaman EMR Serverless Spark, klik Operation Center > Gateway di panel navigasi sebelah kiri.

2. Pada halaman Livy Gateway, klik Create Livy Gateway.

3. Pada halaman Buat Gerbang Livy, konfigurasikan parameter dan klik Create.

   Parameter	Deskripsi
   Name	Nama gerbang Livy. Nama hanya dapat berisi huruf kecil, angka, dan tanda hubung (-). Harus dimulai dan diakhiri dengan huruf atau angka.
   Livy Gateway Resource	Nilai default: 1 CPU, 4 GB.
   Livy Version	Versi Livy. Nilai default: 0.8.0.
   Engine Version	Versi mesin Spark yang digunakan oleh gerbang Livy. Untuk informasi lebih lanjut tentang versi mesin, lihat Pengenalan Versi Mesin.
   Use Fusion Acceleration	Fusion dapat mempercepat pelaksanaan beban kerja Spark dan mengurangi total biaya tugas. Untuk informasi penagihan, lihat Penagihan. Untuk informasi lebih lanjut tentang mesin Fusion, lihat Mesin Fusion.
   Associated Queue	Antrian tempat gerbang Livy diterapkan. Saat pekerjaan Spark dikirimkan menggunakan gerbang, pekerjaan Spark dikirimkan menggunakan identitas pembuat gerbang.
   Authentication Mode	Mode otentikasi. Anda hanya dapat memilih Token. Setelah Anda membuat gerbang, Anda harus menghasilkan token otentikasi unik untuk gerbang tersebut. Dengan cara ini, Anda dapat menggunakan token untuk otentikasi identitas dan kontrol akses saat mengirimkan permintaan melalui gerbang. Untuk informasi lebih lanjut tentang cara membuat token, lihat Manajemen Gerbang.
   Network Connectivity
   Runtime Environment	Lingkungan runtime. Saat Anda menggunakan gerbang Livy untuk mengirimkan pekerjaan, sumber daya yang digunakan untuk menjalankan pekerjaan dipra-instal berdasarkan lingkungan runtime.
   Public Endpoint	Secara default, fitur ini dinonaktifkan. Jika Anda mengaktifkan sakelar ini, sistem mengakses Livy melalui titik akhir publik. Jika tidak, sistem mengakses Livy melalui titik akhir internal secara default.
   Auto Stop	Secara default, fitur ini dinonaktifkan. Setelah Anda mengaktifkan sakelar untuk gerbang, sistem akan secara otomatis menghentikan gerbang jika tidak ada aktivitas yang terdeteksi dalam gerbang selama 45 menit sebelumnya.
   spark-defaults.conf	File konfigurasi default Spark, yang digunakan untuk mengatur parameter default global untuk pekerjaan Spark.
   livy.conf	File konfigurasi inti server Livy, yang digunakan untuk mendefinisikan perilaku global gerbang Livy, termasuk metode otentikasi (LDAP), manajemen sesi, dan pengaturan waktu habis. File ini mengontrol parameter runtime server Livy, yang memengaruhi semua pekerjaan yang dikirimkan melalui gerbang.
   livy-client.conf	File konfigurasi untuk parameter runtime klien HTTP Livy, yang digunakan untuk mendefinisikan perilaku interaksi antara klien dan gerbang Livy.
   spark-blacklist.conf	File konfigurasi terkait keamanan yang digunakan untuk membatasi item konfigurasi yang tidak diizinkan untuk dimodifikasi oleh pengguna saat mereka mengirimkan pekerjaan Spark. Parameter dalam blacklist secara paksa diabaikan oleh sistem, dan pengguna tidak dapat menimpa parameter ini.

   Untuk informasi lebih lanjut tentang file konfigurasi Livy dan parameternya, lihat Contoh File Konfigurasi Livy.

4. Pada halaman Gerbang Livy, klik Start di kolom Aksi gerbang Livy yang telah dibuat.

Kelola token

1. Pada halaman Livy Gateway, klik Token Management di kolom Aksi gerbang target.

2. Klik Create Token.

3. Pada kotak dialog Create Token, konfigurasikan parameter dan klik OK.

   Parameter	Deskripsi
   Name	Nama token.
   Validity Period	Periode validitas token. Periode validitas harus lebih besar dari atau sama dengan 1 hari. Secara default, parameter ini diaktifkan dan diatur ke 365 hari.

4. Salin token.

   Penting

   Setelah token dibuat, Anda harus segera menyalinnya. Anda tidak akan bisa melihat token lagi setelah meninggalkan halaman. Jika token Anda kedaluwarsa atau hilang, Anda dapat menyetel ulang atau membuat yang baru.

Lihat Informasi Sesi

Setelah Anda membuat sesi Spark menggunakan antarmuka Livy, Anda dapat melihat informasi tentang sesi tersebut, seperti ID dan statusnya, di tab Sesi gerbang Livy tertentu.

1. Pada halaman Livy Gateway, klik nama gerbang target.

2. Klik tab Sessions.

   Di tab Sesi, Anda dapat melihat informasi tentang sesi Spark yang dibuat menggunakan antarmuka Livy.

   

Referensi

Untuk informasi lebih lanjut tentang aplikasi gerbang Livy, lihat topik-topik berikut:

• Kirim pekerjaan menggunakan Livy Operator dari Apache Airflow

• Berinteraksi dengan Serverless Spark menggunakan Jupyter Notebook