Hubungkan ke EMR Serverless Spark dan visualisasikan data menggunakan Livy Interpreter untuk Apache Zeppelin - E-MapReduce

Apache Zeppelin menyediakan lingkungan pengembangan interaktif yang memungkinkan pengguna menulis kode, menjalankan kueri, serta melakukan visualisasi data dan analitik dalam antarmuka web. Topik ini menjelaskan cara menghubungkan E-MapReduce (EMR) Serverless Spark menggunakan Livy Interpreter untuk Apache Zeppelin guna membangun dan mengoptimalkan lingkungan pengembangan interaktif secara efisien.

Prasyarat

Ruang kerja EMR Serverless Spark telah dibuat. Untuk informasi lebih lanjut, lihat Buat Ruang Kerja.
Apache Zeppelin telah diinstal dan dijalankan. Untuk informasi lebih lanjut, lihat Dokumentasi Resmi Apache Zeppelin.

Prosedur

Langkah 1: Buat gateway dan token

Buat dan jalankan gateway.
2. Di halaman Gateways, klik tab Livy Gateways.
3. Di tab Livy Gateways, klik Create Livy Gateway.
4. Di halaman Buat Livy Gateway, konfigurasikan parameter Name dan klik Create. Dalam contoh ini, atur parameter Name menjadi Livy-gateway.
  Anda dapat mengonfigurasi parameter lain sesuai dengan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Manajemen Gateway.
5. Di tab Livy Gateways, temukan gateway yang telah dibuat dan klik Start di kolom Actions.
Buat token.
1. Di halaman Gateways, temukan gateway Livy-gateway dan klik Tokens di kolom Tindakan.
2. Di tab Token, klik Create Token.
3. Di kotak dialog Create Token, konfigurasikan parameter Name dan klik OK.
4. Salin token.
  Penting
  Setelah token dibuat, Anda harus segera menyalin token tersebut. Setelah meninggalkan halaman, Anda tidak dapat melihat token lagi. Jika token Anda kedaluwarsa atau hilang, reset token atau buat token baru.

Langkah 2: Konfigurasikan Livy Interpreter untuk Apache Zeppelin

Masuk ke Apache Zeppelin, klik nama pengguna di pojok kanan atas, lalu pilih Interpreter dari daftar drop-down.
Klik +Create di pojok kanan atas dan atur parameter yang diperlukan untuk membuat interpreter.
Parameter
Deskripsi
Interpreter Name
Masukkan nama kustom, seperti mylivy.
Interpreter Group
Atur parameter ini ke livy.

Setelah Anda mengatur parameter Grup Interpreter ke livy, konfigurasikan parameter yang diperlukan.

Tabel berikut menjelaskan parameter yang diperlukan. Anda juga dapat mengonfigurasi parameter lain sesuai dengan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Dokumentasi Resmi Apache Zeppelin.

Parameter	Deskripsi
zeppelin.livy.url	URL gateway Livy. Masukkan URL dalam format `http://{endpoint}`. `{endpoint}` menunjukkan internal endpoint dari gateway Livy yang Anda buat.
zeppelin.livy.session.create_timeout	Waktu tunggu maksimum untuk Apache Zeppelin membuat sesi. Unit: detik. Kami merekomendasikan Anda mengatur parameter ini ke 600.
zeppelin.livy.http.headers	Header kustom permintaan HTTP. Anda perlu mengklik ikon untuk menambahkan konfigurasi dan masukkan `x-acs-spark-livy-token:{token}`. `{token}` adalah token yang Anda buat di tab Token Management.

Klik Save di bagian bawah halaman untuk menyimpan pengaturan.

Langkah 3: Buat notebook untuk analitik data

Di bilah navigasi atas, klik Notebook. Lalu, pilih Create new note.
Masukkan nama catatan kustom dan pilih mylivy dari daftar drop-down Interpreter Default.
Klik Create.
Masukkan kode berikut di notebook yang telah dibuat untuk memulai sesi Spark.
Waktu yang diperlukan untuk startup pertama adalah 1 hingga 3 menit. Jika Anda memasukkan %pyspark, lingkungan Python digunakan. Jika Anda memasukkan %spark, lingkungan Scala digunakan.
```
%pyspark
```
Setelah sesi Spark dimulai, Anda dapat melihat tautan ke UI Spark dan menjalankan kode. Anda dapat menggunakan kode Python dan Scala bersama-sama.
Masukkan kode berikut di notebook baru untuk menanyakan database yang tersedia di lingkungan Spark saat ini.
```
%pyspark

spark.sql("show databases").show()
```
Gambar berikut menunjukkan informasi yang dikembalikan.
Opsional. Lihat informasi sesi.
Setelah Anda membuat sesi Spark menggunakan antarmuka Livy, Anda dapat melihat informasi tentang sesi Spark, seperti ID sesi dan status, di tab Sesi gateway Livy tertentu.
1. Di tab Livy Gateways, temukan gateway Livy yang diinginkan dan klik nama gateway tersebut.
2. Klik tab Sessions.
  Di tab Sesi, Anda dapat melihat informasi tentang sesi Spark yang dibuat menggunakan antarmuka Livy.

Parameter	Deskripsi
Interpreter Name	Masukkan nama kustom, seperti mylivy.
Interpreter Group	Atur parameter ini ke livy.