Livy Gateway の設定例 - E-MapReduce - Alibaba Cloud ドキュメントセンター

このトピックでは、Livy のコア設定ファイルとパラメーターについて詳しく説明し、Alibaba Cloud EMR Serverless Spark で Livy Gateway を正しく設定し、関連機能を使用するのに役立ちます。

spark-defaults.conf

目的

spark-defaults.conf ファイルは、Livy Gateway を介して送信される Spark ジョブのデフォルトパラメーターを設定します。ユーザーが Livy バッチジョブまたはセッションを作成する際に、特定のパラメーターが明示的に定義されていない場合、これらのデフォルト値が自動的に適用されます。

設定例

以下に、一般的なデフォルトパラメーター設定をいくつか示します。

spark.driver.cores 2
spark.driver.memory 7g
spark.dynamicAllocation.enabled true
spark.dynamicAllocation.initialExecutors 2
spark.dynamicAllocation.maxExecutors 100
spark.dynamicAllocation.minExecutors 1

パラメーターの説明は次のとおりです。

spark.driver.cores および spark.driver.memory: Driver の CPU コア数とメモリサイズを定義します。
動的リソース割り当て関連のパラメーター:
- spark.dynamicAllocation.enabled=true: 動的リソース割り当てを有効にします。
- spark.dynamicAllocation.minExecutors および spark.dynamicAllocation.maxExecutors: Executor の最小数と最大数を制限します。
- spark.dynamicAllocation.initialExecutors: 割り当てる Executor の初期数。

サポートされている拡張パラメーター

サポートされている拡張パラメーターとは、システムのセキュリティ、柔軟性、またはパフォーマンスを向上させるために Alibaba Cloud EMR Serverless Spark によって提供される追加機能または拡張設定項目を指します。これらのパラメーターは通常、特定のシナリオ (マルチテナンシー環境、権限管理など) 向けに設計されており、ユーザーがタスクの動作とリソース割り当てをより適切に制御するのに役立ちます。

パラメーター

説明

spark.livy.proxyUser

Spark ジョブを送信する際にプロキシユーザーを指定するために使用されます。デフォルト値は root です。

このパラメーターは、livy.conf の livy.impersonation.enabled が true に設定されている場合にのみ有効です。spark-blacklist.conf と併用すると、ユーザーが proxyUser パラメーターを変更するのを防ぎ、セキュリティを確保できます。

livy.conf

目的

livy.conf ファイルは Livy のコア設定ファイルであり、認証方式、タイムアウト設定、セッション管理など、Livy Gateway のグローバルな動作を定義するために使用されます。

主要なパラメーター

パラメーター	説明
`livy.impersonation.enabled`	`proxyUser` パラメーターを介してユーザーが Spark ユーザーを偽装することを許可するかどうか。デフォルト値は `false` です。
`livy.server.session.timeout`	セッションのタイムアウト期間。この時間を超える非アクティブなセッションは自動的に閉じられます。デフォルト値は `2h` です。
`livy.server.session.timeout-check`	タイムアウトしたセッションをチェックするかどうか。デフォルト値は `true` です。 `false` に設定すると、セッションはタイムアウトしても自動的に閉じられません。
`livy.server.session.timeout-check.skip-busy`	タイムアウトしたセッションをチェックする際に、ビジー状態のセッションをスキップするかどうか。スキップした場合、タスクを実行中のセッションは閉じられません。デフォルト値は `true` です。
`livy.server.auth.type`	Livy Gateway の認証方式を指定します。たとえば、LDAP 認証を有効にする場合は `ldap` に設定します。
`livy.server.auth.ldap.url`	LDAP アドレス。例: `ldap://master-1-1.c-xxxxxxxxxxxxx.cn-hangzhou.emr.aliyuncs.com:10389`。
`livy.server.auth.ldap.base-dn`	LDAP ベース DN。例: `ou=people,o=emr`。
`livy.server.auth.ldap.enable-start-tls`	LDAP の TLS 暗号化を有効にするかどうか。デフォルト値は `false` です。
`livy.server.auth.ldap.security-authentication`	LDAP セキュリティ認証方式。デフォルト値は `simple` です。
`livy.server.session.state-retain.sec`	完了したセッションのメモリ内での保持時間。デフォルト値は `600s` です。
`livy.server.session.max-creation`	同時に作成できるセッションの最大数。デフォルト値は `100` です。
`livy.server.session.user.max-creation`	各ユーザーが作成できるセッション数を制限します。このパラメーターは `livy.impersonation.enabled` が `true` に設定されている場合にのみ有効です。たとえば、`livy.server.session.user.max-creation {"alice": 6, "bob": 2, "default": 5}` は、Alice が最大 6 つ、Bob が最大 2 つ、その他のユーザーが最大 5 つの同時セッションを作成できることを意味します。

livy-client.conf

目的

livy-client.conf ファイルは、Livy HTTP クライアントの実行時パラメーターを定義し、主にクライアントと Livy Gateway 間の対話動作を最適化するために使用されます。

主要なパラメーター

パラメーター	説明
`livy.rsc.retained-statements`	セッションメモリに保持されるステートメントの最大数。デフォルト値は 100 です。
`livy.rsc.sql.num-rows`	SQL インタープリターによって返される行の最大数。デフォルト値は 1000 です。

spark-blacklist.conf

目的

spark-blacklist.conf ファイルは、Livy Gateway を介して送信されるタスクでユーザーがオーバーライドできないパラメーターを制限します。ブラックリストに記載されているパラメーターはシステムによって強制的に無視され、ユーザーはこれらのパラメーターを変更できません。

設定例

以下に、一般的なブラックリストに登録されたパラメーターの例をいくつか示します。

spark.driver.cores
spark.driver.memory
spark.executor.cores
spark.executor.memory

この設定は、ユーザーが Spark Driver と Executor のリソース (CPU コアやメモリサイズなど) を自分で設定できないことを示しており、リソースの乱用を防ぎます。

サポートされている拡張パラメーター

spark-blacklist.conf は、ジョブのセキュリティと安定性をさらに向上させるために、次の拡張パラメーターもサポートしています。

パラメーター	説明
`spark.livy.ttl`	ユーザーがセッションの存続時間 (TTL) を設定するのを防ぎます。セッションの TTL が管理者によって一元的に管理されるようにし、ユーザーが TTL を長すぎたり短すぎたり設定することによるリソースの浪費やタスクの中断を回避します。
`spark.livy.queue`	ユーザーがジョブ送信用のキューを設定するのを防ぎます。すべてのジョブはデフォルトの Livy Gateway キューを使用し、ユーザーが任意にキューを選択することによる不均等なリソース割り当てを回避します。
`spark.livy.proxyUser`	ユーザーがプロキシユーザーを設定するのを防ぎます。デフォルトは root ユーザーです。