E-MapReduce:Custom Spark parameters

Parametre

Açıklama

Senaryo

spark.emr.serverless.user.defined.jars

Yüklenen JAR paketlerini Serverless Spark sürücüsü ve yürütücülerinin sınıf yoluna ekler.

• Desteklenen motor sürümleri:

  • esr-4.x: esr-4.1.0 ve sonraki sürümler.

  • esr-3.x: esr-3.1.0 ve sonraki sürümler.

  • esr-2.x: esr-2.5.0 ve sonraki sürümler.

• Yükleme yöntemleri:

  • esr-4.2.0, esr-3.2.0, esr-2.6.0 ve sonraki sürümler için:

    • Serverless Spark'teki Artifacts bölümüne yükleyin. Ayrıntılar için bkz. Dosyaları yönetme.

      Managed File Directory sekmesinde, hedef dosyanın yolunu almak için Actions sütunundaki Copy Address seçeneğini tıklayın.

    • OSS'e yükleyin. Talimatlar için bkz. basit yükleme.

      Yol biçimi şu şekildedir: oss://path/to/file1.jar,oss://path/to/file2.jar.

  • esr-4.2.0, esr-3.2.0 veya esr-2.6.0'dan önceki sürümler için: Bu sürümler yalnızca OSS'e yüklemeyi destekler. Talimatlar için bkz. basit yükleme.

    Yol biçimi şu şekildedir: oss://path/to/file1.jar,oss://path/to/file2.jar.

spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak bir Spark işi gönderirken ya da bir oturum oluştururken bu özelliği kullanarak OSS'ten özel JAR paketlerini Spark sürücüsüne ve yürütücülerine ekleyin.

spark.emr.serverless.fusion

Kyuubi veya Livy tarafından başlatılan bir oturum veya toplu iş için Fusion'un etkinleştirilip etkinleştirilmeyeceğini belirtir. Geçerli değerler:

• false (Varsayılan): Fusion'u devre dışı bırakır.

• true: Fusion'u etkinleştirir.

Bir iş veya oturum için Fusion'u etkinleştirmek veya devre dışı bırakmak amacıyla bu özelliği Spark Configuration alanında ayarlayın.

spark.emr.serverless.environmentId

Hesaplama kaynakları için çalışma zamanı ortamının ID'sini belirtir.

Airflow veya spark-submit kullanarak Serverless Spark işleri gönderirken, üçüncü taraf kitaplıkların önceden yüklendiği bir çalışma zamanı ortamı belirtmek için bu özelliği kullanın.

spark.emr.serverless.network.service.name

Hesaplama kaynaklarının diğer VPC'lerdeki veri kaynaklarıyla iletişim kurmasına olanak tanıyan bir ağ bağlantısının adını belirtir.

Bir Serverless Spark işi gönderirken, diğer Sanal Özel Cloud (VPC) ağlarında bulunan veri kaynaklarına erişmek için bir ağ bağlantısı kullanın.

spark.emr.serverless.excludedModules

Serverless Spark'ten yerleşik kitaplıkları kaldırır.

• esr-2.7.0, esr-3.3.0, esr-4.3.0 ve sonraki sürümler için aşağıdaki modülleri kaldırabilirsiniz: paimon,hudi,iceberg,delta,Celeborn,dlf,fusion,jindo,odps,mysql,doctor.

• esr-2.8.0, esr-3.4.0, esr-4.4.0 ve sonraki sürümler için ayrıca kafka modülünü de kaldırabilirsiniz.

Özel JAR paketleriyle çakışmaları önlemek için, Serverless Spark konsolu, spark-submit, bir toplu iş, Airflow Serverless Spark Operator, Kyuubi veya Livy kullanarak iş gönderirken ya da bir oturum oluştururken yerleşik kitaplıkları kaldırın.

spark.emr.serverless.kyuubi.engine.queue

Kyuubi tarafından başlatılan Spark uygulamalarının çalıştığı çalışma alanı kuyruğunun adını belirtir.

Bu ayarı Kyuubi yapılandırma panelinden yapabilir veya JDBC bağlantı URL'sinde belirtebilirsiniz.

spark.emr.serverless.jr.timeout

Bir işin saniye cinsinden maksimum çalışma süresini ayarlar. Sistem, iş bu süreyi aşarsa otomatik olarak sonlandırır. Varsayılan değer boştur; bu, zaman aşımı limiti olmadığı anlamına gelir.

Değer -1 ile 2147483647 arasında bir tamsayı olmalıdır. -1 veya 0 değeri, zaman aşımının ayarlanmadığını gösterir.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak iş gönderirken bir iş zaman aşımı ayarlamak için bu özelliği kullanın.

spark.emr.serverless.fusion.enabled

Bir Spark uygulaması için Fusion veri hızlandırma motorunun etkinleştirilip etkinleştirilmeyeceğini belirtir. Geçerli değerler:

• false (Varsayılan): Fusion'u devre dışı bırakır.

• true: Fusion'u etkinleştirir.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak iş gönderirken Fusion hızlandırmayı etkinleştirmek veya devre dışı bırakmak için bu özelliği kullanın.

spark.emr.serverless.mount.nas.enabled

Bir NAS dizininin Spark sürücüsüne bağlanıp bağlanmayacağını belirtir. Etkinleştirilirse, spark.emr.serverless.mount.nas.volume özelliğini kullanarak bağlanacak dizini de belirtmeniz gerekir.

• Desteklenen motor sürümleri:

  • esr-4.x: esr-4.7.0 ve sonraki sürümler.

  • esr-3.x: esr-3.6.0 ve sonraki sürümler.

• Geçerli değerler:

  • false (Varsayılan): Bağlamayı devre dışı bırakır.

  • true: Bağlamayı etkinleştirir.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak bir iş gönderirken yönetilen bir NAS dosya dizinini Spark sürücüsüne bağlamak için bu özelliği kullanın. Bağlandığında, sürücü NAS dizininden okuma ve yazma işlemi yapabilir.

spark.emr.serverless.mount.nas.volume

Bağlanacak yönetilen NAS dizininin ID'sini belirtir.

Desteklenen motor sürümleri:

• esr-4.x: esr-4.7.0 ve sonraki sürümler.

• esr-3.x: esr-3.6.0 ve sonraki sürümler.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak bir iş gönderirken belirtilen yönetilen NAS dosya dizinini bağlamak için bu özelliği kullanın.

spark.emr.serverless.mount.nas.executor

NAS dizininin tüm Spark yürütücülerine bağlanıp bağlanmayacağını belirtir.

• Desteklenen motor sürümleri:

  • esr-4.x: esr-4.7.0 ve sonraki sürümler.

  • esr-3.x: esr-3.6.0 ve sonraki sürümler.

• Geçerli değerler:

  • false (Varsayılan): Bağlamayı devre dışı bırakır.

  • true: Bağlamayı etkinleştirir.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak bir iş gönderirken yönetilen bir NAS dosya dizinini tüm Spark yürütücülerine bağlamak için bu özelliği kullanın. Bağlandığında, yürütücüler NAS dizininden okuma ve yazma işlemi yapabilir.

spark.emr.serverless.mount.oss.enabled

Bir OSS dizininin Spark sürücüsüne bağlanıp bağlanmayacağını belirtir.

Etkinleştirilirse, spark.emr.serverless.mount.oss.volume özelliğini kullanarak bağlanacak dizini de belirtmeniz gerekir. Geçerli değerler:

• false (Varsayılan): Bağlamayı devre dışı bırakır.

• true: Bağlamayı etkinleştirir.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak bir iş gönderirken yönetilen bir OSS dosya dizinini Spark sürücüsüne bağlamak için bu özelliği kullanın. Bağlandığında, sürücü OSS dizininden okuma ve yazma işlemi yapabilir.

spark.emr.serverless.mount.oss.volume

Bağlanacak yönetilen OSS dizininin ID'sini belirtir.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak bir iş gönderirken belirtilen yönetilen OSS dosya dizinini bağlamak için bu özelliği kullanın.

spark.emr.serverless.mount.oss.executor

Bir OSS dizininin tüm Spark yürütücülerine bağlanıp bağlanmayacağını belirtir. Geçerli değerler:

• false (Varsayılan): Bağlamayı devre dışı bırakır.

• true: Bağlamayı etkinleştirir.

Serverless Spark konsolu, spark-submit, bir toplu iş veya Airflow Serverless Spark Operator kullanarak bir iş gönderirken yönetilen bir OSS dosya dizinini tüm Spark yürütücülerine bağlamak için bu özelliği kullanın. Bağlandığında, yürütücüler OSS dizininden okuma ve yazma işlemi yapabilir.

spark.emr.serverless.templateId

Bir Spark uygulaması için varsayılan yapılandırma şablonunun ID'sini belirtir. Önceden tanımlanmış bir çalışma alanı şablonuna referans vermek, iş gönderimi sırasında parametre yapılandırmasını basitleştirir.

Şablon ID'sini O&M Center > Configurations > Task Templates sayfasında bulabilirsiniz. Örnek: TPL-2b3859f8c0c8439faddc22f223c8****.

Bu özellik yalnızca spark-submit kullanılırken desteklenir.

spark.emr.serverless.livy.config.mode

Bir Spark işi gönderirken Livy Gateway'de yapılandırılan spark-defaults.conf dosyasındaki ayarların kullanılıp kullanılmayacağını kontrol eder.

• Bu parametre ayarlanmamışsa (varsayılan), Livy Gateway spark-defaults.conf dosyasındaki ayarları otomatik olarak yükler ve işe uygular.

• ignore olarak ayarlayın

  Bu parametreyi ignore olarak ayarlarsanız, bir Spark işi gönderirken spark-defaults.conf dosyasındaki yapılandırmalar yoksayılır. Bu durumda, iş yalnızca açıkça belirttiğiniz yapılandırma parametrelerini veya varsayılan Spark yapılandırmalarını kullanır.

Bir Spark işinin yapılandırmasını tamamen özelleştirmeniz gerektiğinde bu parametreyi ignore olarak ayarlayabilirsiniz. Livy Gateway'in varsayılan yapılandırma davranışını korumak istiyorsanız bu parametreyi ayarlamanız gerekmez.

spark.emr.serverless.tag.xxxx

Livy üzerinden gönderilen bir toplu işe, spark.emr.serverless.tag.<key> <value> biçimini kullanarak bir etiket ekler.

Ardından iş geçmişinde etiketlere göre işleri filtreleyebilirsiniz.