Livy は、RESTful API またはリモートプロシージャコール (RPC) クライアントライブラリを使用して Spark と対話するサービスです。Livy を使用して、Spark ジョブまたはコードスニペットを送信したり、同期または非同期で結果を取得したり、Spark コンテキストを管理したりできます。Livy は Spark とアプリケーションサーバ間の対話を簡素化し、Spark をインタラクティブな Web アプリケーションやモバイルアプリケーションで使用できるようにします。
背景情報
Livy は、次の特徴も提供します。
複数のクライアントが複数の Spark ジョブで使用できる、長時間実行される Spark コンテキストを維持します。
キャッシュされた Resilient Distributed Datasets (RDD) を複数のジョブとクライアントで共有します。
複数の Spark コンテキストを同時に管理します。
プリコンパイルされた JAR パッケージ、コードスニペット、Java API、または Scala API を使用してジョブを送信します。
セキュリティメカニズムをサポートします。
サポートされているバージョン
EMR 5.6.0 以前のバージョンでは、デフォルトで Livy コンポーネントがサポートされています。EMR 5.8.0 以降を使用している場合は、Livy を自分でインストールし、互換性とセキュリティのリスクを評価する必要があります。
ジョブの送信
次のいずれかのメソッドを使用してジョブを送信できます。