Mengelola templat konfigurasi Spark - E-MapReduce - Alibaba Cloud Documentation Center

Templat konfigurasi Spark menetapkan pengaturan default global untuk job. Anda dapat membuat, mengedit, dan mengelola templat guna memusatkan pengaturan Spark sehingga memastikan eksekusi job yang konsisten dan fleksibel.

Prasyarat

Anda telah membuat ruang kerja. Untuk informasi selengkapnya, lihat Mengelola ruang kerja.

Membuat templat konfigurasi

Buka halaman manajemen konfigurasi.
1. Masuk ke Konsol E-MapReduce.
2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.
3. Pada halaman Spark, klik nama ruang kerja yang dituju.
4. Pada halaman EMR Serverless Spark, klik Configurations di panel navigasi kiri.
Pada halaman Task Templates, klik Create Template.

Pada halaman Create Task Template, konfigurasikan parameter berikut lalu klik create.

Parameter	Deskripsi
Template Name	Masukkan nama untuk templat.
Engine Version	Versi engine untuk lingkungan komputasi. Untuk informasi selengkapnya, lihat Engine versions.
Timeout Period	Durasi maksimum waktu proses untuk sebuah job. Catatan Saat Anda mengirimkan job, Anda dapat mengganti pengaturan timeout templat dengan meneruskan parameter `spark.emr.serverless.jr.timeout=-1` agar job dapat berjalan tanpa batas waktu.
spark.driver.cores	Jumlah core CPU untuk proses driver.
spark.driver.memory	Jumlah memori yang tersedia untuk proses driver.
spark.executor.cores	Jumlah core CPU yang digunakan untuk setiap executor.
spark.executor.memory	Jumlah memori yang dapat digunakan oleh setiap executor.
spark.executor.instances	Jumlah executor yang dialokasikan oleh Spark.
Dynamic Resource Allocation	Secara default dinonaktifkan. Jika diaktifkan, konfigurasikan parameter berikut: Minimum Number of Executors: Nilai default adalah 2. Maximum Number of Executors: Jika spark.executor.instances tidak ditetapkan, nilai default adalah 10.
More Memory Configurations	spark.driver.memoryOverhead: Memori non-heap yang tersedia untuk driver. Jika parameter ini tidak ditetapkan, Spark secara otomatis mengalokasikan nilai berdasarkan default, yaitu `max(384 MB, 10% * spark.driver.memory)`. spark.executor.memoryOverhead: Memori non-heap yang tersedia untuk setiap executor. Jika parameter ini tidak ditetapkan, Spark secara otomatis mengalokasikan nilai berdasarkan default, yaitu `max(384 MB, 10% * spark.executor.memory)`. spark.memory.offHeap.size: Jumlah memori off-heap yang tersedia untuk Spark. Nilai default adalah 1 GB. Parameter ini hanya berlaku jika `spark.memory.offHeap.enabled` diatur ke `true`. Saat menggunakan Fusion engine, fitur ini diaktifkan secara default dengan memori off-heap sebesar 1 GB.
Spark Configuration	Properti konfigurasi Spark kustom. Gunakan spasi untuk memisahkan pasangan kunci-nilai. Contoh: `spark.sql.catalog.paimon.metastore dlf`. EMR Serverless Spark menyediakan beberapa parameter bawaan yang spesifik untuk layanan tersebut. Untuk detailnya, lihat Custom Spark Conf parameters.

Setelah membuat templat konfigurasi, Anda dapat mengubah atau menghapusnya dengan mengklik Edit atau Delete pada kolom Actions.

Menggunakan templat konfigurasi

Pengembangan data

Saat mengembangkan job batch atau streaming di Load from template, Anda dapat memilih templat konfigurasi yang sudah ada dari daftar dropdown Load from template. Sistem akan secara otomatis memuat parameter dari templat yang dipilih.

CLI

Saat mengirimkan job menggunakan spark-submit, Anda dapat menentukan ID templat melalui parameter spark.emr.serverless.templateId dalam opsi --conf. Sistem akan memuat parameter templat tersebut dan menerapkannya sebagai default untuk aplikasi Spark.

Contoh:

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

Pada perintah di atas, <template_id> adalah ID templat. Anda dapat memperoleh ID tersebut pada halaman Task Templates.

Livy Gateway

Saat membuat Create Livy Gateway, Anda dapat memilih templat konfigurasi yang tersedia dari daftar dropdown Load from template di sudut kanan atas halaman. Sistem akan secara otomatis memuat parameter dari templat yang dipilih.

Kyuubi Gateway

Saat membuat Create Kyuubi Gateway, Anda dapat memilih templat konfigurasi yang sudah ada dari daftar dropdown Load from template di pojok kanan atas halaman. Sistem akan secara otomatis memuat parameter dari templat yang dipilih.

Reset ke default sistem

Untuk mengembalikan templat konfigurasi ke default sistem:

Pada tab Task Templates, klik Edit pada kolom Actions.
Pada halaman Edit Task Template, klik Reset to system defaults di bagian bawah halaman, lalu klik Save Changes.

Mengubah templat default

Untuk menetapkan templat konfigurasi lain sebagai default:

Pada halaman Task Templates, klik Set as default pada kolom Actions.
Pada kotak dialog yang muncul, klik OK.