全部产品
Search

搜索本产品

    E-MapReduce：Memulai pengembangan Spark Submit

    文档中心

    E-MapReduce：Memulai pengembangan Spark Submit

    更新时间：Nov 10, 2025

    EMR Serverless Spark kompatibel dengan parameter baris perintah `spark-submit`, yang menyederhanakan eksekusi tugas. Topik ini menyediakan contoh pengembangan Spark Submit untuk membantu Anda memulai.

    Prasyarat

    • Anda telah membuat ruang kerja. Untuk informasi selengkapnya, lihat Manajemen Ruang Kerja.

    • Anda telah mengembangkan aplikasi bisnis dan membuat paket JAR.

    Prosedur

    Langkah 1: Mengembangkan paket JAR

    Panduan Memulai Cepat ini membantu Anda memahami tugas Spark Submit dengan menyediakan file proyek dan paket JAR uji coba yang dapat diunduh untuk digunakan pada langkah-langkah berikutnya.

    Klik spark-examples_2.12-3.3.1.jar untuk mengunduh paket JAR uji coba.

    Catatan

    Paket JAR ini merupakan contoh sederhana dari Spark yang digunakan untuk menghitung nilai Pi (π).

    Langkah 2: Mengunggah paket JAR ke OSS

    Pada contoh ini, unggah paket spark-examples_2.12-3.3.1.jar. Untuk informasi selengkapnya mengenai operasi pengunggahan, lihat Pengunggahan sederhana.

    Langkah 3: Mengembangkan dan menjalankan pekerjaan

    1. Pada halaman EMR Serverless Spark, klik Data Development di panel navigasi sebelah kiri.

    2. Pada tab Development, klik ikon image.

    3. Masukkan nama, pilih Batch Job > Spark Submit sebagai Jenis, lalu klik OK.

    4. Di pojok kanan atas, pilih antrian.

      Untuk informasi selengkapnya tentang cara menambahkan antrian, lihat Kelola antrian sumber daya.

    5. Pada panel pengembangan pekerjaan, konfigurasikan informasi berikut. Anda tidak perlu mengonfigurasi parameter lainnya. Kemudian, klik Run.

      Parameter

      Deskripsi

      Script

      Skrip spark-submit.

      Kode contoh berikut memberikan contoh skrip spark-submit: 

      --class org.apache.spark.examples.SparkPi \
--conf spark.executor.memory=2g \
oss://<YourBucket>/spark-examples_2.12-3.3.1.jar

    6. Pada area Execution Records, klik Log Exploration di kolom Tindakan untuk pekerjaan tersebut.

    7. Pada tab Log Exploration, Anda dapat melihat informasi log.

      image

    Langkah 4: Publikasikan pekerjaan

    Penting

    Pekerjaan yang dipublikasikan dapat digunakan sebagai node dalam alur kerja.

    1. Setelah pekerjaan berhasil dijalankan, klik Publish di sebelah kanan.

    2. Pada kotak dialog publikasi pekerjaan, masukkan informasi yang diperlukan dan klik OK.

    (Opsional) Langkah 5: Melihat Spark UI

    Setelah pekerjaan berhasil dijalankan, Anda dapat melihat statusnya di Spark UI.

    1. Di panel navigasi sebelah kiri, klik Job History.

    2. Pada halaman Application, klik Spark UI di kolom Tindakan untuk pekerjaan yang dituju.

      Halaman Spark UI terbuka, tempat Anda dapat melihat detail pekerjaan.

    Referensi

    Setelah pekerjaan dipublikasikan, Anda dapat menggunakannya untuk penjadwalan alur kerja. Untuk informasi selengkapnya, lihat Kelola alur kerja. Untuk contoh proses pengembangan orkestrasi pekerjaan lengkap, lihat Panduan memulai cepat pengembangan SparkSQL.