E-MapReduce：Parameter SparkConf kustom

Parameter

Deskripsi

Skenario

spark.emr.serverless.user.defined.jars

Menambahkan paket JAR yang diunggah ke ClassPath driver dan pelaksana Serverless Spark.

• Versi mesin yang didukung:

  • esr-4.x: esr-4.1.0 dan versi lebih baru

  • esr-3.x: esr-3.1.0 dan versi lebih baru

  • esr-2.x: esr-2.5.0 dan versi lebih baru

• Metode unggah:

  • Untuk esr-4.2.0, esr-3.2.0, esr-2.6.0, dan versi lebih baru:

    • Anda dapat mengunggah file ke File Management di Serverless Spark. Untuk informasi selengkapnya, lihat Mengelola file.

      Pada tab Managed File Directory, klik Copy Address di kolom Actions untuk file objek guna menyalin alamatnya.

    • Unggah ke Alibaba Cloud Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Simple upload.

      Format path adalah oss://path/to/file1.jar,oss://path/to/file2.jar.

  • Untuk versi sebelum esr-4.2.0, esr-3.2.0, atau esr-2.6.0, Anda hanya dapat mengunggah paket ke OSS. Untuk informasi selengkapnya, lihat Simple upload.

    Format path adalah oss://path/to/file1.jar,oss://path/to/file2.jar.

Gunakan parameter ini untuk menambahkan paket JAR kustom dari OSS ke driver dan pelaksana Spark saat Anda mengirimkan tugas Spark menggunakan alat Spark-Submit, pekerjaan batch, atau Airflow Serverless Spark Operator, atau saat membuat sumber daya sesi.

spark.emr.serverless.fusion

Menentukan apakah akan mengaktifkan Fusion untuk sesi atau tugas pemrosesan batch yang dimulai oleh Kyuubi dan Livy. Nilai yang valid:

• false (default): mati

• true: Menunjukkan status diaktifkan.

Anda dapat menggunakan parameter Spark Configuration dalam tugas atau sesi untuk mengaktifkan Fusion.

spark.emr.serverless.environmentId

Menentukan ID lingkungan runtime yang digunakan untuk sumber daya komputasi.

Gunakan parameter ini untuk menentukan lingkungan runtime saat Anda mengirimkan tugas Serverless Spark menggunakan Airflow atau alat Spark-Submit. Secara default, pustaka dependensi pihak ketiga diinstal di lingkungan runtime.

spark.emr.serverless.network.service.name

Menentukan nama koneksi jaringan untuk mengaktifkan konektivitas jaringan antara sumber daya komputasi dan sumber data di VPC lain.

Gunakan parameter ini untuk menambahkan koneksi jaringan saat Anda mengirimkan tugas Serverless Spark, sehingga memungkinkan akses ke sumber data di Virtual Private Cloud (VPC) lain.

spark.emr.serverless.excludedModules

Menghapus pustaka bawaan dari Serverless Spark.

• Untuk esr-2.7.0, esr-3.3.0, esr-4.3.0, dan versi lebih baru, Anda dapat menghapus pustaka berikut: paimon,hudi,iceberg,delta,celeborn,dlf,fusion,jindo,odps,mysql,doctor.

• Untuk esr-2.8.0, esr-3.4.0, esr-4.4.0, dan versi lebih baru, Anda juga dapat menghapus kafka.

Parameter ini biasanya digunakan saat Anda perlu menggunakan paket JAR kustom. Parameter ini memungkinkan Anda menghapus pustaka Serverless Spark bawaan saat Anda mengirimkan tugas Spark dari Konsol Serverless Spark, alat Spark-Submit, pekerjaan batch, Airflow Serverless Spark Operator, Kyuubi, atau Livy, atau saat membuat sumber daya sesi.

spark.emr.serverless.kyuubi.engine.queue

Menentukan nama antrian ruang kerja tempat aplikasi Spark yang dimulai oleh Kyuubi akan berjalan.

Parameter ini dapat diatur di bagian konfigurasi Kyuubi atau ditentukan dalam URL JDBC saat Anda membuat koneksi.

spark.emr.serverless.templateId

Menentukan ID templat konfigurasi default untuk aplikasi Spark. Dengan mereferensikan templat ruang kerja yang telah ditentukan sebelumnya, Anda dapat menyederhanakan konfigurasi parameter saat mengirimkan tugas.

Anda dapat memperoleh ID templat di halaman Operation Center > Configuration Management > Spark Configuration Templates. Misalnya, TPL-2b3859f8c0c8439faddc22f223c8****.

Parameter ini hanya didukung oleh alat Spark-Submit.

spark.emr.serverless.livy.config.mode

Mengontrol apakah akan menggunakan pengaturan dari file spark-defaults.conf Livy Gateway saat Anda mengirimkan tugas Spark.

• Jika parameter ini tidak diatur (perilaku default), pengaturan dari file spark-defaults.conf akan dimuat dan diterapkan secara otomatis ke tugas.

• Diatur ke ignore

  Jika Anda mengatur parameter ini ke ignore, informasi konfigurasi dalam file spark-defaults.conf akan diabaikan saat Anda mengirimkan pekerjaan Spark. Dalam hal ini, pekerjaan hanya menggunakan parameter konfigurasi yang Anda tentukan secara eksplisit atau konfigurasi Spark default.

Atur parameter ini ke ignore untuk sepenuhnya menyesuaikan konfigurasi tugas Spark. Jika Anda ingin mempertahankan perilaku konfigurasi default Livy Gateway, jangan atur parameter ini.

spark.emr.serverless.tag.xxxx

Anda dapat menambahkan tag ke pekerjaan batch yang dikirimkan melalui Livy dalam format spark.emr.serverless.tag.<key> <value>.

Gunakan parameter ini untuk menambahkan tag ke pekerjaan Spark yang dikirimkan melalui Livy Gateway. Anda kemudian dapat memfilter pekerjaan berdasarkan tag-tag tersebut dalam riwayat pekerjaan.