Mengelola templat konfigurasi Spark - E-MapReduce

Templat konfigurasi Spark menentukan konfigurasi default global untuk eksekusi tugas. Anda dapat membuat, mengedit, dan mengelola templat ini guna memastikan tugas dijalankan secara konsisten dan fleksibel. Templat ini juga mendukung pembaruan dinamis untuk memenuhi berbagai kebutuhan bisnis.

Prasyarat

Ruang kerja telah dibuat. Untuk informasi selengkapnya, lihat Mengelola ruang kerja.

Membuat templat konfigurasi

Buka halaman Manajemen Konfigurasi.
1. Masuk ke Konsol E-MapReduce.
2. Pada panel navigasi sebelah kiri, pilih EMR Serverless > Spark.
3. Pada halaman Spark, klik nama ruang kerja yang dituju.
4. Pada halaman EMR Serverless Spark, klik Configuration Management pada panel navigasi sebelah kiri.
Pada halaman Spark Configuration Templates, klik Create Template.

Pada halaman Create Configuration Template, atur parameter berikut lalu klik Create.

Parameter	Deskripsi
Template Name	Dapat dikustomisasi.
Engine Version	Versi mesin yang digunakan oleh mesin komputasi saat ini. Untuk informasi selengkapnya tentang versi mesin, lihat Versi mesin.
Timeout	Waktu maksimum yang diizinkan bagi suatu tugas untuk diselesaikan. Catatan Saat Anda mengirimkan tugas, Anda dapat mengatur `spark.emr.serverless.jr.timeout=-1` untuk menimpa konfigurasi timeout templat dan menghapus batas waktu untuk tugas tersebut.
spark.driver.cores	Menentukan jumlah core CPU yang digunakan untuk proses driver dalam aplikasi Spark.
spark.driver.memory	Menentukan jumlah memori yang digunakan untuk proses driver dalam aplikasi Spark.
spark.executor.cores	Menentukan jumlah core CPU yang digunakan untuk setiap proses pelaksana (executor).
spark.executor.memory	Menentukan jumlah memori yang digunakan untuk setiap proses pelaksana (executor).
spark.executor.instances	Jumlah pelaksana (executor) yang dialokasikan untuk Spark.
Dynamic Resource Allocation	Secara default, fitur ini dinonaktifkan. Setelah Anda mengaktifkan fitur ini, Anda harus mengonfigurasi parameter berikut: Minimum Number of Executors: Nilai default: 2. Maximum Number of Executors: Jika Anda tidak mengonfigurasi parameter spark.executor.instances, nilai default 10 akan digunakan.
More Memory Configurations	spark.driver.memoryOverhead: ukuran memori non-heap yang tersedia untuk setiap driver. Jika Anda membiarkan parameter ini kosong, Spark secara otomatis menetapkan nilai berdasarkan rumus berikut: `max(384 MB, 10% × spark.driver.memory)`. spark.executor.memoryOverhead: ukuran memori non-heap yang tersedia untuk setiap pelaksana (executor). Jika Anda membiarkan parameter ini kosong, Spark secara otomatis menetapkan nilai berdasarkan rumus berikut: `max(384 MB, 10% × spark.executor.memory)`. spark.memory.offHeap.size: ukuran memori off-heap yang tersedia untuk aplikasi Spark. Nilai default: 1 GB. Parameter ini hanya berlaku jika Anda mengatur parameter `spark.memory.offHeap.enabled` menjadi `true`. Secara default, jika Anda menggunakan mesin Fusion, parameter spark.memory.offHeap.enabled diatur ke true dan parameter spark.memory.offHeap.size diatur ke 1 GB.
Spark Configuration	Konfigurasi Spark. Pisahkan konfigurasi dengan spasi, seperti `spark.sql.catalog.paimon.metastore dlf`. Serverless Spark menyediakan beberapa parameter bawaan. Untuk informasi selengkapnya tentang nama, deskripsi, dan skenario penggunaan parameter-parameter tersebut, lihat Parameter Spark Conf kustom.

Setelah templat konfigurasi dibuat, Anda dapat mengklik Edit atau Delete pada kolom Tindakan untuk memodifikasi atau menghapusnya.

Menggunakan templat konfigurasi

Memuat konfigurasi di Pengembangan Data

Saat mengembangkan pekerjaan Batch atau Pemrosesan aliran, Anda dapat mengatur parameter Load Configuration From Template untuk menggunakan templat konfigurasi yang sudah ada. Sistem secara otomatis memuat parameter konfigurasi dari templat yang dipilih, sehingga menyederhanakan proses konfigurasi dan memastikan konsistensi.

Menggunakan alat spark-submit untuk memuat konfigurasi

Saat mengirimkan tugas menggunakan spark-submit, Anda dapat menentukan ID templat dengan mengatur parameter spark.emr.serverless.templateId dalam --conf. Sistem secara otomatis memuat parameter konfigurasi dari templat yang ditentukan dan menggunakannya sebagai parameter default untuk aplikasi Spark.

Berikut adalah contohnya.

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

Pada kode tersebut, <template_id> merepresentasikan ID templat. Anda dapat memperoleh ID templat tersebut pada halaman Spark Configuration Templates.

Memuat konfigurasi melalui Livy Gateway

Saat membuat Livy Gateway, Anda dapat mengatur parameter Load Configuration From Template di pojok kanan atas halaman Create Kyuubi Gateway untuk menggunakan templat konfigurasi yang sudah ada. Sistem secara otomatis memuat parameter konfigurasi dari templat yang dipilih, sehingga menyederhanakan proses konfigurasi dan memastikan konsistensi.

Memuat konfigurasi melalui Kyuubi Gateway

Saat membuat Kyuubi Gateway, Anda dapat mengatur parameter Load Configuration From Template di pojok kanan atas halaman Create Kyuubi Gateway untuk menggunakan templat konfigurasi yang sudah ada. Sistem secara otomatis memuat parameter konfigurasi dari templat yang dipilih, sehingga menyederhanakan proses konfigurasi dan memastikan konsistensi.

Memulihkan konfigurasi default

Untuk mengatur ulang parameter templat konfigurasi ke nilai default sistem, ikuti langkah-langkah berikut:

Pada halaman Spark Configuration Templates, klik Edit pada kolom Tindakan.
Pada halaman Edit Configuration Template, klik Restore Default Configurations di bagian bawah, lalu klik Save Changes.

Mengubah templat default

Untuk menetapkan templat konfigurasi sebagai default, ikuti langkah-langkah berikut:

Pada halaman Spark Configuration Templates, klik Set As Default pada kolom Tindakan.
Pada kotak dialog yang muncul, klik OK.