Tüm Ürünler
Search

Bu Ürün

    E-MapReduce:Spark Submit quick start

    Belge Merkezi

    E-MapReduce:Spark Submit quick start

    Son Güncelleme:Oct 05, 2026

    EMR Serverless Spark, spark-submit komut satırı bağımsız değişkenleriyle uyumludur; bu sayede iş gönderimi kolaylaşır. Bu kılavuzda bir Spark Submit işinin nasıl geliştirileceği ve çalıştırılacağı adım adım anlatılır.

    Önkoşullar

    • Bir çalışma alanı oluşturdunuz. Daha fazla bilgi için bkz. Çalışma alanlarını yönetin.

    • Uygulamanızı geliştirdiniz ve bir JAR paketi olarak derlediniz.

    Yöntem

    1. Adım: Bir JAR paketi hazırlayın

    Bu kılavuz, hızlıca başlamanız için bir test JAR paketi sunar.

    Test JAR paketini indirmek için spark-examples_2.12-3.5.2.jar dosyasını tıklayın.

    Not

    spark-examples_2.12-3.5.2.jar, Spark ile birlikte sunulan ve Pi (π) değerini hesaplayan basit bir örnektir. İşinizi göndermek için bu JAR paketini esr-4.x motor sürümüyle kullanmanız gerekir. esr-5.x motor sürümünü kullanıyorsanız, bu kılavuzdaki adımları tamamlamak için spark-examples_2.13-4.0.1.jar dosyasını indirin.

    2. Adım: JAR paketini OSS'e yükleyin

    spark-examples_2.12-3.5.2.jar dosyasını OSS'e yükleyin. Talimatlar için bkz. Basit yükleme.

    3. Adım: İşi geliştirin ve çalıştırın

    1. E-MapReduce (EMR) Serverless Spark sayfasında, sol gezinme bölmesindeki Development seçeneğini tıklayın.

    2. Development sekmesinde, image simgesini tıklayın.

    3. Bir ad girin, Tür olarak Application > Spark Submit seçeneğini belirleyin ve ardından OK düğmesini tıklayın.

    4. Sağ üst köşeden bir kuyruk seçin.

      Kuyruk ekleme hakkında daha fazla bilgi için bkz. Kaynak kuyruklarını yönetin.

    5. Yeni iş düzenleyicide aşağıdaki parametreyi yapılandırın ve diğerlerini varsayılan ayarlarında bırakın. Ardından Run düğmesini tıklayın.

      Parametre

      Açıklama

      Script

      Spark Submit betiğinizi girin.

      Aşağıdaki kod bir örnek sunar:

      --class org.apache.spark.examples.SparkPi \
--conf spark.executor.memory=2g \
oss://<YourBucket>/spark-examples_2.12-3.5.2.jar

    6. Alt kısımdaki Execution Records bölümünde, işiniz için İşlemler sütunundaki Log Exploration seçeneğini tıklayın.

    7. Log Exploration sekmesinde iş günlüklerini görüntüleyebilirsiniz.

      driver log > Stdout sekmesini seçin. Pi is roughly 3.1415557077785388 gibi iş çıktısı stdout.log dosyasında görünür.

    4. Adım: İşi yayınlayın

    Önemli

    Yayınlanan işleri iş akışı düğümlerinde görev olarak kullanabilirsiniz.

    1. İş başarıyla tamamlandıktan sonra sağ üst köşedeki Publish düğmesini tıklayın.

    2. Yayınlama iletişim kutusunda yayınlama bilgilerini girin ve OK düğmesini tıklayın.

    (İsteğe bağlı) 5. Adım: Spark UI'yi görüntüleyin

    İş başarıyla tamamlandıktan sonra ayrıntılarını Spark UI'de görüntüleyebilirsiniz.

    1. Sol gezinme bölmesinde Job History seçeneğini tıklayın.

    2. Application sayfasında, işiniz için İşlemler sütunundaki Spark UI seçeneğini tıklayın.

      Spark UI yeni bir sekmede açılır ve iş ayrıntılarını gösterir.

    İlgili belgeler

    Bir işi yayınladıktan sonra bunu bir iş akışı içinde zamanlayabilirsiniz. Daha fazla bilgi için bkz. İş akışlarını yönetin. İş geliştirme ve orkestrasyon sürecinin tam bir örneği için bkz. SparkSQL geliştirme hızlı başlangıcı.