E-MapReduce:Manage Spark configuration templates

Önkoşullar

Bir çalışma alanı oluşturmuş olmanız gerekir. Daha fazla bilgi için bkz. Çalışma alanlarını yönetme.

Yapılandırma şablonu oluşturma

1. Yapılandırma yönetim sayfasına gidin.

   1. E-MapReduce konsolu üzerinde oturum açın.

   2. Sol gezinme bölmesinde EMR Serverless > Spark seçeneğini belirleyin.

   3. Spark sayfasında hedef çalışma alanının adını tıklayın.

   4. EMR Serverless Spark sayfasında sol gezinme bölmesinden Configurations öğesini tıklayın.

2. Task Templates sayfasında Create Template düğmesini tıklayın.

3. Create Task Template sayfasında aşağıdaki parametreleri belirtin ve create düğmesini tıklayın.

   Parametre	Açıklama
   Template Name	Şablon için bir ad girin.
   Engine Version	Hesaplama ortamı için motor sürümü. Daha fazla bilgi için bkz. Motor sürümleri.
   Timeout Period	Bir işin maksimum çalışma süresi. Not İş gönderirken, işin sınırsız çalışmasına izin vermek için spark.emr.serverless.jr.timeout=-1 parametresini ileterek şablonun zaman aşımı ayarını geçersiz kılabilirsiniz.
   spark.driver.cores	Sürücü işlemi için kullanılacak CPU çekirdeği sayısı.
   spark.driver.memory	Sürücü işlemi için ayrılan bellek miktarı.
   spark.executor.cores	Her yürütücü için kullanılacak CPU çekirdeği sayısı.
   spark.executor.memory	Her yürütücünün kullanabileceği bellek miktarı.
   spark.executor.instances	Spark tarafından tahsis edilen yürütücü sayısı.
   Dynamic Resource Allocation	Varsayılan olarak devre dışıdır. Etkinleştirildiğinde aşağıdaki parametreleri yapılandırın: Minimum Number of Executors: Varsayılan değer 2'dir. Maximum Number of Executors: spark.executor.instances ayarlanmamışsa varsayılan değer 10'dur.
   More Memory Configurations	spark.driver.memoryOverhead: Sürücü için ayrılan yığın dışı bellek. Bu parametre ayarlanmazsa Spark, varsayılan olarak max(384 MB, %10 * spark.driver.memory) değerini otomatik olarak tahsis eder. spark.executor.memoryOverhead: Her yürütücü için ayrılan yığın dışı bellek. Bu parametre ayarlanmazsa Spark, varsayılan olarak max(384 MB, %10 * spark.executor.memory) değerini otomatik olarak tahsis eder. spark.memory.offHeap.size: Spark için kullanılabilir yığın dışı bellek miktarı. Varsayılan değer 1 GB'tır. Bu parametre yalnızca spark.memory.offHeap.enabled değeri true olarak ayarlandığında etkin olur. Fusion motoru kullanıldığında bu özellik varsayılan olarak 1 GB yığın dışı bellekle etkinleştirilir.
   Spark Configuration	Özel Spark yapılandırma özellikleri. Anahtar-değer çiftlerini ayırmak için boşluk kullanın. Örnek: spark.sql.catalog.paimon.metastore dlf. EMR Serverless Spark, hizmete özel birkaç yerleşik parametre sunar. Ayrıntılar için bkz. Özel Spark Conf parametreleri.

Yapılandırma şablonunu oluşturduktan sonra, İşlemler sütunundaki Edit veya Delete seçeneklerini tıklayarak şablonu değiştirebilir veya silebilirsiniz.

Yapılandırma şablonu kullanma

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

Sistem varsayılanlarına sıfırlama

Bir yapılandırma şablonunu sistem varsayılanlarına sıfırlamak için:

1. Task Templates sekmesinde İşlemler sütunundan Edit öğesini tıklayın.

2. Edit Task Template sayfasında sayfanın alt kısmındaki Reset to system defaults düğmesini tıklayın ve ardından Save Changes düğmesini tıklayın.

Varsayılan şablonu değiştirme

Farklı bir yapılandırma şablonunu varsayılan olarak ayarlamak için:

1. Task Templates sayfasında İşlemler sütunundan Set as default öğesini tıklayın.

2. Görüntülenen iletişim kutusunda OK düğmesini tıklayın.