All Products
Search

This Product

    E-MapReduce:Memulai pengembangan Spark Submit

    Document Center

    E-MapReduce:Memulai pengembangan Spark Submit

    Last Updated:Feb 12, 2026

    EMR Serverless Spark mendukung parameter baris perintah spark-submit, yang menyederhanakan eksekusi task. Topik ini memandu Anda melalui contoh untuk memulai pengembangan Spark Submit dengan cepat.

    Prasyarat

    • Ruang kerja telah dibuat. Untuk informasi selengkapnya, lihat Workspace Management.

    • Aplikasi bisnis telah dikembangkan sebelumnya, dan paket JAR sudah siap.

    Prosedur

    Langkah 1: Kembangkan paket JAR

    Panduan Cepat Mulai ini membantu Anda memahami task Spark Submit dengan cepat. Panduan ini menyediakan file proyek dan paket JAR uji yang dapat diunduh untuk digunakan pada langkah-langkah berikutnya.

    Klik spark-examples_2.12-3.5.2.jar untuk mengunduh paket JAR uji.

    Catatan

    spark-examples_2.12-3.5.2.jar adalah contoh sederhana yang disediakan oleh Spark untuk menghitung nilai Pi (π). Gunakan paket ini dengan versi mesin database esr-4.x saat mengirimkan task. Jika Anda menggunakan versi mesin database esr-5.x, unduh spark-examples_2.13-4.0.1.jar untuk validasi dalam topik ini.

    Langkah 2: Unggah paket JAR ke OSS

    Contoh ini mengunggah spark-examples_2.12-3.5.2.jar. Untuk petunjuk pengunggahan, lihat Simple upload.

    Langkah 3: Kembangkan dan jalankan task

    1. Pada halaman EMR Serverless Spark, klik Data Development di panel navigasi sebelah kiri.

    2. Pada tab Development, klik ikon image.

    3. Masukkan nama. Atur Type menjadi Batch Job > Spark Submit. Lalu klik OK.

    4. Pilih antrian di pojok kanan atas.

      Untuk petunjuk menambahkan antrian, lihat Manage resource queues.

    5. Pada editor task baru, konfigurasikan parameter berikut. Biarkan parameter lain tidak berubah, lalu klik Run.

      Parameter

      Description

      Script

      Masukkan skrip Spark Submit Anda.

      Kode berikut memberikan contoh:

      --class org.apache.spark.examples.SparkPi \
--conf spark.executor.memory=2g \
oss://<YourBucket>/spark-examples_2.12-3.5.2.jar

    6. Pada bagian Execution Records di bawah, klik Log Exploration di kolom Actions.

    7. Pada tab Log Exploration, lihat informasi log terkait.

      image

    Langkah 4: Publikasikan task

    Penting

    Task yang dipublikasikan dapat digunakan sebagai node alur kerja.

    1. Setelah task berhasil dijalankan, klik Publish di sebelah kanan.

    2. Pada kotak dialog Publish, masukkan catatan rilis dan klik OK.

    (Opsional) Langkah 5: Lihat Spark UI

    Setelah task berjalan normal, lihat detail eksekusinya di Spark UI.

    1. Pada panel navigasi sebelah kiri, klik Job History.

    2. Pada halaman Application, klik Spark UI di kolom Actions pada task yang dituju.

      Halaman Spark UI akan terbuka secara otomatis. Lihat detail task di sana.

    Referensi

    Setelah mempublikasikan task, Anda dapat menjadwalkannya dalam alur kerja. Untuk informasi selengkapnya, lihat Manage workflows. Untuk contoh lengkap orkestrasi dan pengembangan task, lihat Get started with SparkSQL development.