このトピックでは、Spark SQL がサポートするノード固有のパラメーターの概要について説明します。
Spark SQL ノード固有パラメーター
デフォルトでは、Spark SQL は次のノード固有パラメーターをサポートしています。
パラメーター名 |
デフォルト値 |
説明 |
spark.executor.instances |
1 |
静的割り当てのエグゼキュータの数。 |
spark.executor.cores |
1 |
各エグゼキュータで使用するコアの数。 |
spark.executor.memory |
1G |
エグゼキュータプロセスごとに使用するメモリ量。 |
spark.yarn.am.memory |
512M |
クライアントモードで YARN アプリケーションマスターに使用するメモリ量。 |
spark.yarn.am.memoryOverhead |
- |
クライアントモードで AM プロセスごとに割り当てられる非ヒープメモリの量。 |
spark.driver.memory |
1G |
ドライバープロセスに使用するメモリ量。 |
spark.driver.memoryOverhead |
- |
クラスタモードのドライバープロセスごとに割り当てられる非ヒープメモリの量。 |
spark.executor.memoryOverhead |
- |
エグゼキュータプロセスごとに割り当てられる追加のメモリ量。仮想マシンのオーバーヘッド、内部文字列、その他のネイティブオーバーヘッドに使用されます。 |
Livy を使用した Spark SQL の構成
Livy で Spark SQL を構成する場合、次のノード固有パラメーターがサポートされます。
パラメーター名 |
説明 |
livy.session.driverMemory |
ドライバープロセスに使用するメモリ量。 |
livy.session.driverCores |
ドライバープロセスに使用するコアの数。 |
livy.session.executorMemory |
エグゼキュータプロセスごとに使用するメモリ量。 |
livy.session.executorCores |
各エグゼキュータに使用するコアの数。 |
livy.session.numExecutors |
セッションに対して開始するエグゼキュータの数。 |