Lindorm:ジョブの構成

制限付きパラメーター

以下のパラメーターはシステムによって設定されており、カスタマイズすることはできません。

リソースパラメーター

LDPS は、従量課金制の弾性リソースプール上で実行されます。デフォルトでは、ジョブがリクエストできるリソースに上限はありません。上限を設定するには、「LDPS の構成を変更する」をご参照ください。

リソースパラメーターは、LDPS に送信されるすべての JDBC、JAR、および Python ジョブに適用されます。これらは仕様パラメーターと容量パラメーターに分かれています。

実行パラメーター

モニタリングパラメーター

モニタリングコマンドの例：

# 単一コマンド
"spark.monitor.cmd": "top -b -n 1"

# 複数コマンド
"spark.monitor.cmd": "top -b -n 1; vmstat; free -m; iostat -d -x -c -k; df -h; sar -n DEV 1 1; netstat"

カテゴリ別の一般的なモニタリングコマンド：

ログパラメーター

spark.log.level の有効な値 (詳細度の高い順)：

オープンソース Spark パラメーター

オープンソースの Spark から継承されたパラメーターについては、「Spark configuration」をご参照ください。

Beeline

Beeline コマンドラインツールが格納されている Spark パッケージディレクトリ内の conf/beeline.conf を編集します。

# LDPS エンドポイント
# フォーマット：jdbc:hive2://<host>:<port>/;?token=<token>
endpoint=jdbc:hive2://ld-bp13ez23egd123****-proxy-ldps-pub.lindorm.aliyuncs.com:10009/;?token=jfjwi2453-fe39-cmkfe-afc9-01eek2j5****

# 接続認証情報 (デフォルト: root/root)
user=root
password=root

# この接続に専用の Spark セッションを使用するには false に設定します
shareResource=false

# Spark パラメーター
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.minExecutors=3

Beeline の完全なセットアップについては、「クイックスタート」をご参照ください。

JDBC

トークンの後に、Spark パラメーターをキーと値のペアとして JDBC 接続文字列に追加します。

jdbc:hive2://<host>:<port>/;?token=<token>;spark.executor.memory=8g;spark.sql.shuffle.partitions=2

JDBC URL の完全なフォーマットについては、「アプリケーション開発での JDBC の使用」をご参照ください。

spark.jars は、JDBC 経由でジョブを送信する場合、OSS パスに設定することはできません。代わりに HDFS パスを使用してください。

JAR ジョブ

Java ジョブを送信する際に、ジョブテンプレートでパラメーターを構成します：

• Lindorm コンソール：ジョブコンテンツテンプレートで構成します。「Lindorm コンソールでのジョブ管理」をご参照ください。

• Data Management Service (DMS)：ジョブノードページの [ジョブ構成] セクションで構成します。「DMS を使用したジョブ管理」をご参照ください。

Python ジョブ

Python ジョブを送信する際に、ジョブテンプレートでパラメーターを構成します：

• Lindorm コンソール：ジョブコンテンツテンプレートで構成します。「Lindorm コンソールでのジョブ管理」をご参照ください。

• Data Management Service (DMS)：ジョブノードページの [ジョブ構成] セクションで構成します。「DMS を使用したジョブ管理」をご参照ください。