Livy adalah layanan yang berinteraksi dengan Spark melalui API RESTful atau pustaka klien panggilan prosedur jarak jauh (RPC). Anda dapat menggunakan Livy untuk mengirim pekerjaan Spark atau potongan kode, mengambil hasil secara sinkron atau asinkron, serta mengelola konteks Spark. Livy menyederhanakan interaksi antara Spark dan server aplikasi, sehingga memungkinkan penggunaan Spark dalam aplikasi web atau seluler interaktif.
Informasi latar belakang
Livy juga menyediakan fitur-fitur berikut:
Memelihara konteks Spark berjalan lama yang dapat digunakan oleh banyak klien dalam beberapa pekerjaan Spark.
Berbagi Resilient Distributed Datasets (RDD) yang di-cache di berbagai pekerjaan dan klien.
Mengelola beberapa konteks Spark secara bersamaan.
Mengirim pekerjaan menggunakan paket JAR yang telah dikompilasi sebelumnya, potongan kode, API Java, atau API Scala.
Mendukung mekanisme keamanan.
Supported versions
EMR 5.6.0 dan versi sebelumnya mendukung komponen Livy secara default. Jika Anda menggunakan EMR 5.8.0 atau versi yang lebih baru, Anda perlu menginstal Livy secara manual serta mengevaluasi risiko keamanan dan kompatibilitasnya.
Kirim pekerjaan
Anda dapat menggunakan salah satu metode berikut untuk mengirim pekerjaan: