All Products
Search

This Product

    E-MapReduce:Panduan cepat Spark Submit

    Document Center

    E-MapReduce:Panduan cepat Spark Submit

    Last Updated:Jun 22, 2026

    E-MapReduce (EMR) Serverless Spark kompatibel dengan argumen baris perintah spark-submit, yang menyederhanakan proses pengiriman pekerjaan. Topik ini memberikan contoh langkah demi langkah untuk mengembangkan dan menjalankan pekerjaan Spark Submit.

    Prasyarat

    • Anda telah membuat ruang kerja. Untuk informasi selengkapnya, lihat Mengelola ruang kerja.

    • Anda telah mengembangkan aplikasi dan membangunnya menjadi paket JAR.

    Prosedur

    Langkah 1: Mengembangkan paket JAR

    Untuk mempermudah Anda memulai, panduan ini menyediakan paket JAR uji coba.

    Klik spark-examples_2.12-3.5.2.jar untuk mengunduh paket JAR uji coba.

    Catatan

    spark-examples_2.12-3.5.2.jar adalah contoh sederhana yang disertakan dalam Spark untuk menghitung nilai Pi (π). Gunakan paket JAR ini dengan versi engine esr-4.x saat mengirimkan pekerjaan. Jika Anda menggunakan versi engine esr-5.x, unduh spark-examples_2.13-4.0.1.jar untuk menyelesaikan langkah-langkah dalam panduan ini.

    Langkah 2: Unggah paket JAR ke OSS

    Unggah spark-examples_2.12-3.5.2.jar ke OSS. Untuk petunjuknya, lihat Unggahan sederhana.

    Langkah 3: Mengembangkan dan menjalankan pekerjaan

    1. Pada halaman E-MapReduce (EMR) Serverless Spark, klik Development di panel navigasi sebelah kiri.

    2. Pada tab Development, klik ikon image.

    3. Masukkan nama, pilih Application > Spark Submit sebagai Jenis, lalu klik OK.

    4. Pilih antrian di pojok kanan atas.

      Untuk informasi selengkapnya tentang cara menambahkan antrian, lihat Mengelola antrian resource.

    5. Pada editor pekerjaan baru, konfigurasikan parameter berikut dan biarkan parameter lainnya pada pengaturan default. Kemudian, klik Run.

      Parameter

      Deskripsi

      Script

      Masukkan skrip Spark Submit Anda.

      Kode berikut memberikan contohnya:

      --class org.apache.spark.examples.SparkPi \
--conf spark.executor.memory=2g \
oss://<YourBucket>/spark-examples_2.12-3.5.2.jar

    6. Pada bagian Execution Records di bagian bawah, klik Log Exploration di kolom Actions untuk pekerjaan Anda.

    7. Pada tab Log Exploration, Anda dapat melihat log pekerjaan.

      Pilih tab driver log > Stdout. Output pekerjaan, seperti Pi is roughly 3.1415557077785388, muncul di file stdout.log.

    Langkah 4: Publikasikan pekerjaan

    Penting

    Pekerjaan yang dipublikasikan dapat digunakan sebagai tugas dalam node alur kerja.

    1. Setelah pekerjaan berhasil selesai, klik Publish di pojok kanan atas.

    2. Pada kotak dialog publikasi, masukkan informasi publikasi dan klik OK.

    (Opsional) Langkah 5: Lihat Spark UI

    Setelah pekerjaan berhasil selesai, Anda dapat melihat detailnya di Spark UI.

    1. Di panel navigasi sebelah kiri, klik Job History.

    2. Pada halaman Application, klik Spark UI di kolom Actions untuk pekerjaan Anda.

      Spark UI akan terbuka di tab baru, menampilkan detail pekerjaan.

    Dokumentasi terkait

    Setelah mempublikasikan pekerjaan, Anda dapat menjadwalkannya dalam alur kerja. Untuk informasi selengkapnya, lihat Mengelola alur kerja. Untuk contoh lengkap proses pengembangan dan orkestrasi pekerjaan, lihat Panduan cepat pengembangan SparkSQL.