AnalyticDB:Spark アプリケーションの構成パラメーター

パラメーター

必須

デフォルト値

説明

Apache Spark の対応パラメーター

spark.adb.acuPerApp

いいえ

なし

単一の Spark ジョブで使用される ACU 数。有効値：[2, ジョブリソースグループの最大コンピューティングリソース]。

このパラメーターを構成すると、システムは Spark ドライバーの仕様、Spark エグゼキュータの仕様、および Spark エグゼキュータノードの数を自動的に計算して構成します。

N/A

spark.driver.resourceSpec

はい

medium

Spark ドライバーのリソース仕様。各タイプは異なる仕様に対応します。詳細については、このトピックの「Spark のリソース仕様」表の「タイプ」列をご参照ください。

例：CONF spark.driver.resourceSpec = c.small;。この例では、Spark ドライバーは 1 コアと 2 GB のメモリを提供します。

spark.driver.cores および spark.driver.memory

spark.executor.resourceSpec

はい

medium

各 Spark エグゼキュータのリソース仕様。各タイプは異なる仕様に対応します。詳細については、このトピックの「Spark のリソース仕様」表の「タイプ」列をご参照ください。

例：CONF spark.executor.resourceSpec = c.small;。この例では、各 Spark エグゼキュータは 1 コアと 2 GB のメモリを提供します。

spark.executor.cores および spark.executor.memory

spark.executor.instances

いいえ

ジョブリソースグループの最大コンピューティングリソース/5

起動される Spark エグゼキュータの数。

spark.executor.instances

spark.adb.driverDiskSize

いいえ

なし

大容量のディスクストレージ要件を満たすために Spark ドライバーにマウントされる追加のディスクストレージのサイズ。デフォルトでは、追加のディスクストレージは /user_data_dir ディレクトリにマウントされます。

単位：GiB。有効値：(0,100]。例：spark.adb.driverDiskSize=50Gi。この例では、Spark ドライバーにマウントされる追加のディスクストレージは 50 GiB に設定されます。

N/A

spark.adb.executorDiskSize

いいえ

なし

シャッフル操作の要件を満たすために Spark エグゼキュータにマウントされる追加のディスクストレージのサイズ。デフォルトでは、追加のディスクストレージは /shuffle_volume ディレクトリにマウントされます。

単位：GiB。有効値：(0,100]。例：spark.adb.executorDiskSize=50Gi。この例では、Spark エグゼキュータにマウントされる追加のディスクストレージは 50 GiB に設定されます。

N/A

パラメーター

必須

デフォルト値

説明

spark.adb.priority

いいえ

NORMAL

Spark ジョブの優先度。リソースが不足して送信されたすべての Spark ジョブを実行できない場合、優先度の高いキュー内のジョブが最初に実行されます。有効値：

• HIGH：高優先度。

• NORMAL：通常優先度。

• LOW：低優先度。

• LOWEST：最低優先度。

パラメーター

必須

デフォルト値

説明

spark.sql.catalogImplementation

いいえ

• Spark SQL ジョブ：hive。

• 非 Spark SQL ジョブ：in-memory。

アクセスするメタデータのタイプ。有効値：

• hive：Apache Spark の組み込み Hive メタストア内のメタデータ。

• in-memory：一時ディレクトリ内のメタデータ。

spark.sql.hive.metastore.version

いいえ

• Spark SQL ジョブ：adb。

• 非 Spark SQL ジョブ：<hive_version>。

パラメーター

必須

デフォルト値

説明

spark.app.log.rootPath

いいえ

oss://<aliyun-oa-adb-spark-Alibaba Cloud アカウント ID-oss-Zone ID>/<クラスター ID>/<Spark アプリケーション ID>

AnalyticDB for MySQL の Spark ジョブログと Linux オペレーティングシステムの出力データが格納されるディレクトリ。

spark.adb.event.logUploadDuration

いいえ

false

イベントログのアップロード期間を記録するかどうかを指定します。

spark.adb.buffer.maxNumEvents

いいえ

1000

ドライバーによってキャッシュされるイベントの最大数。

spark.adb.payload.maxNumEvents

いいえ

10000

一度に Object Storage Service (OSS) にアップロードできるイベントの最大数。

spark.adb.event.pollingIntervalSecs

いいえ

0.5

OSS へのイベントの 2 回のアップロードの間隔。単位：秒。たとえば、値 0.5 は、イベントが 0.5 秒ごとにアップロードされることを示します。

spark.adb.event.maxPollingIntervalSecs

いいえ

60

OSS へのイベントアップロードが失敗した場合の最大リトライ間隔。単位：秒。失敗したアップロードとアップロードリトライの間隔は、spark.adb.event.pollingIntervalSecs から spark.adb.event.maxPollingIntervalSecs の値の範囲内である必要があります。

spark.adb.event.maxWaitOnEndSecs

いいえ

10

OSS へのイベントアップロードの最大待機時間。単位：秒。最大待機時間は、アップロードの開始から完了までの間隔です。アップロードが最大待機時間内に完了しない場合、アップロードはリトライされます。

spark.adb.event.waitForPendingPayloadsSleepIntervalSecs

いいえ

1

spark.adb.event.maxWaitOnEndSecs の値内に完了しないアップロードをリトライするために必要な待機時間。単位：秒。

spark.adb.eventLog.rolling.maxFileSize

いいえ

209715200

OSS 内のイベントログの最大ファイルサイズ。単位：バイト。イベントログは、Eventlog.0 や Eventlog.1 などの複数のファイルの形式で OSS に保存されます。ファイルサイズを指定できます。

パラメーター

必須

デフォルト値

説明

spark.adb.roleArn

いいえ

N/A

Spark アプリケーションを送信する権限を RAM ユーザーに付与するために、RAM コンソールで RAM ユーザーにアタッチする Resource Access Management (RAM) ロールの Alibaba Cloud リソース名 (ARN)。詳細については、「RAM ロールの概要」をご参照ください。RAM ユーザーとして Spark アプリケーションを送信する場合は、このパラメーターを指定する必要があります。Alibaba Cloud アカウントで Spark アプリケーションを送信する場合は、このパラメーターを指定する必要はありません。

パラメーター

必須

デフォルト値

説明

spark.adb.connectors

いいえ

N/A

有効にする AnalyticDB for MySQL Spark の組み込みコネクタの名前。複数の名前はカンマ (,) で区切ります。有効値：oss、hudi、delta、adb、odps、external_hive、jindo、および default。

spark.hadoop.io.compression.codec.snappy.native

いいえ

false

Snappy ファイルが標準の Snappy フォーマットであるかどうかを指定します。デフォルトでは、Hadoop は Hadoop で編集された Snappy ファイルを認識します。このパラメーターを true に設定すると、標準の Snappy ライブラリが展開に使用されます。このパラメーターを false に設定すると、Hadoop のデフォルトの Snappy ライブラリが展開に使用されます。

パラメーター

必須

デフォルト値

説明

spark.adb.eni.enabled

いいえ

false

Elastic Network Interface (ENI) を有効にするかどうかを指定します。

spark.adb.eni.vswitchId

いいえ

N/A

ENI に関連付けられている vSwitch の ID。

spark.adb.eni.securityGroupId

いいえ

N/A

ENI に関連付けられているセキュリティグループの ID。

spark.adb.eni.extraHosts

いいえ

N/A

IP アドレスとホスト名の間のマッピング。このパラメーターにより、Spark はデータソースのホスト名を解決できます。セルフマネージドの Hive データソースにアクセスする場合は、このパラメーターを指定する必要があります。

spark.adb.eni.adbHostAlias.enabled

いいえ

false

AnalyticDB for MySQL が必要とするドメイン名の名前解決情報をドメイン名と IP アドレスのマッピングテーブルに自動的に書き込むかどうかを指定します。有効値：

• true：有効化。

• false：無効化。

ENI を使用して EMR Hive からデータを読み書きする場合は、このパラメーターを true に設定する必要があります。

パラメーター

必須

デフォルト値

説明

spark.adb.maxAttempts

いいえ

1

アプリケーションの実行が許可される最大試行回数。デフォルト値は 1 で、リトライは許可されないことを指定します。

Spark アプリケーションにこのパラメーターを 3 に設定すると、システムはスライドウィンドウ内で最大 3 回アプリケーションを実行しようとします。

spark.adb.attemptFailuresValidityInterval

いいえ

Integer.MAX

システムがアプリケーションの再実行を試みるスライドウィンドウの期間。単位：秒。

たとえば、Spark アプリケーションにこのパラメーターを 6000 に設定すると、システムは失敗した実行後、最後の 6,000 秒以内の試行回数をカウントします。試行回数が maxAttempts パラメーターの値より少ない場合、システムはアプリケーションの実行をリトライします。

パラメーター

必須

デフォルト値

説明

spark.pyspark.python

いいえ

N/A

オンプレミスデバイス上の Python インタープリターのパス。

パラメーター

必須

デフォルト値

説明

spark.adb.version

いいえ

3.2

Spark バージョン。有効値：

• 2.4

• 3.2

• 3.3

• 3.5

• 4.0

パラメーター

必須

デフォルト値

説明

spark.adb.native.enabled

いいえ

false

ジョブを実行するために高性能なベクトル化実行エンジンを有効にするかどうかを指定します。このエンジンは AnalyticDB for MySQL Spark に組み込まれており、オープンソースの Spark と完全に互換性があります。既存のコードを変更することなく有効にできます。

パラメーター

必須

デフォルト値

説明

spark.adb.lakecache.enabled

いいえ

false

LakeCache (レイクストレージアクセラレーション) を有効にするかどうかを指定します。