E-MapReduce：Parameter SparkConf kustom

Parameter name

Deskripsi

Skenario

spark.emr.serverless.user.defined.jars

Menambahkan paket JAR yang diunggah ke ClassPath driver dan pelaksana Serverless Spark.

• Versi mesin yang didukung:

  • esr-4.x: esr-4.1.0 dan versi lebih baru

  • esr-3.x: esr-3.1.0 dan versi lebih baru

  • esr-2.x: esr-2.5.0 dan versi lebih baru

• Metode unggah:

  • Untuk esr-4.2.0, esr-3.2.0, esr-2.6.0, dan versi lebih baru:

    • Anda dapat mengunggah file ke File Management di Serverless Spark. Untuk informasi selengkapnya, lihat Mengelola file.

      Pada tab Managed File Directory, klik Copy Address di kolom Actions untuk file objek guna menyalin alamatnya.

    • Unggah ke Alibaba Cloud Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Simple upload.

      Format path adalah oss://path/to/file1.jar,oss://path/to/file2.jar.

  • Untuk versi sebelum esr-4.2.0, esr-3.2.0, atau esr-2.6.0, Anda hanya dapat mengunggah paket ke OSS. Untuk informasi selengkapnya, lihat Simple upload.

    Format path adalah oss://path/to/file1.jar,oss://path/to/file2.jar.

Gunakan parameter ini untuk menambahkan paket JAR kustom dari OSS ke driver dan pelaksana Spark saat Anda mengirimkan tugas Spark menggunakan alat Spark-Submit, pekerjaan batch, atau Airflow Serverless Spark Operator, atau saat membuat sumber daya sesi.

spark.emr.serverless.fusion

Menentukan apakah akan mengaktifkan Fusion untuk sesi atau tugas pemrosesan batch yang dimulai oleh Kyuubi dan Livy. Nilai yang valid:

• false (default): mati

• true: Menunjukkan status diaktifkan.

Anda dapat menggunakan parameter Spark Configuration dalam tugas atau sesi untuk mengaktifkan Fusion.

spark.emr.serverless.environmentId

Menentukan ID lingkungan runtime yang digunakan untuk sumber daya komputasi.

Gunakan parameter ini untuk menentukan lingkungan runtime saat Anda mengirimkan tugas Serverless Spark menggunakan Airflow atau alat Spark-Submit. Secara default, pustaka dependensi pihak ketiga diinstal di lingkungan runtime.

spark.emr.serverless.network.service.name

Menentukan nama koneksi jaringan untuk mengaktifkan konektivitas jaringan antara sumber daya komputasi dan sumber data di VPC lain.

Gunakan parameter ini untuk menambahkan koneksi jaringan saat Anda mengirimkan tugas Serverless Spark, sehingga memungkinkan akses ke sumber data di Virtual Private Cloud (VPC) lain.

spark.emr.serverless.excludedModules

Menghapus pustaka bawaan dari Serverless Spark.

• Untuk esr-2.7.0, esr-3.3.0, esr-4.3.0, dan versi lebih baru, Anda dapat menghapus pustaka berikut: paimon,hudi,iceberg,delta,celeborn,dlf,fusion,jindo,odps,mysql,doctor.

• Untuk esr-2.8.0, esr-3.4.0, esr-4.4.0, dan versi lebih baru, Anda juga dapat menghapus kafka.

Parameter ini biasanya digunakan saat Anda perlu menggunakan paket JAR kustom. Parameter ini memungkinkan Anda menghapus pustaka Serverless Spark bawaan saat Anda mengirimkan tugas Spark dari Konsol Serverless Spark, alat Spark-Submit, pekerjaan batch, Airflow Serverless Spark Operator, Kyuubi, atau Livy, atau saat membuat sumber daya sesi.

spark.emr.serverless.kyuubi.engine.queue

Menentukan nama antrian ruang kerja tempat aplikasi Spark yang dimulai oleh Kyuubi akan berjalan.

Parameter ini dapat diatur di bagian konfigurasi Kyuubi atau ditentukan dalam URL JDBC saat Anda membuat koneksi.

spark.emr.serverless.jr.timeout

Menetapkan waktu proses maksimum suatu tugas dalam detik. Tugas akan dihentikan secara otomatis jika melebihi batas waktu tersebut. Nilai default-nya kosong, yang berarti tidak ada batas timeout.

Nilainya harus berupa bilangan bulat dari -1 hingga 2147483647. Nilai -1 atau 0 menunjukkan bahwa tidak ada batas timeout.

Gunakan parameter ini untuk menetapkan timeout tugas saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator.

spark.emr.serverless.fusion.enabled

Menentukan apakah Fusion diaktifkan saat Anda meluncurkan engine Serverless Spark. Nilai yang valid:

• false (default): Disabled.

• true: Enabled.

Gunakan parameter ini untuk menentukan apakah percepatan Fusion diaktifkan saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator.

spark.emr.serverless.mount.nas.enabled

Menentukan apakah direktori NAS dipasang ke driver Spark. Jika Anda mengaktifkan fitur ini, Anda juga harus menggunakan spark.emr.serverless.mount.nas.volume untuk menentukan direktori yang akan dipasang.

• Versi engine yang didukung:

  • esr-4.x: esr-4.7.0 dan versi setelahnya.

  • esr-3.x: esr-3.6.0 dan versi setelahnya.

• Nilai yang valid:

  • false (default): Disabled.

  • true: Enabled.

Gunakan parameter ini untuk memasang direktori NAS terkelola ke driver Spark saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator. Setelah fitur ini diaktifkan, driver dapat membaca dan menulis file di direktori NAS yang dipasang.

spark.emr.serverless.mount.nas.volume

Menentukan ID direktori NAS terkelola yang akan dipasang.

Versi engine yang didukung:

• esr-4.x: esr-4.7.0 dan versi setelahnya.

• esr-3.x: esr-3.6.0 dan versi setelahnya.

Gunakan parameter ini untuk memasang direktori NAS terkelola tertentu saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator.

spark.emr.serverless.mount.nas.executor

Menentukan apakah direktori NAS dipasang ke semua executor Spark.

• Versi engine yang didukung:

  • esr-4.x: esr-4.7.0 dan versi setelahnya.

  • esr-3.x: esr-3.6.0 dan versi setelahnya.

• Nilai yang valid:

  • false (default): Disabled.

  • true: Enabled.

Gunakan parameter ini untuk memasang direktori NAS terkelola ke executor Spark saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator. Setelah fitur ini diaktifkan, executor dapat membaca dan menulis file di direktori NAS yang dipasang.

spark.emr.serverless.mount.oss.enabled

Menentukan apakah direktori OSS dipasang ke driver Spark.

Setelah memasang, Anda juga harus menggunakan spark.emr.serverless.mount.nas.volume untuk menentukan folder pemasangan. Nilainya ditentukan sebagai berikut:

• false (default): Disabled.

• true: Enabled.

Gunakan parameter ini untuk memasang direktori OSS terkelola ke driver Spark saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator. Setelah fitur ini diaktifkan, driver dapat membaca dan menulis file di direktori OSS yang dipasang.

spark.emr.serverless.mount.oss.volume

Menentukan ID direktori OSS terkelola yang akan dipasang.

Gunakan parameter ini untuk memasang direktori OSS terkelola tertentu saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator.

spark.emr.serverless.mount.oss.executor

Menentukan apakah direktori OSS dipasang ke semua executor Spark. Nilai yang valid:

• false (default): Disabled.

• true: Enabled.

Gunakan parameter ini untuk memasang direktori OSS terkelola ke executor Spark saat Anda mengirimkan tugas dari Konsol Serverless Spark, menggunakan tool Spark-Submit, sebagai pekerjaan batch, atau dengan Airflow Serverless Spark Operator. Setelah fitur ini diaktifkan, executor dapat membaca dan menulis file di direktori OSS yang dipasang.

spark.emr.serverless.templateId

Menentukan ID templat konfigurasi default untuk aplikasi Spark. Dengan mereferensikan templat ruang kerja yang telah ditentukan sebelumnya, Anda dapat menyederhanakan konfigurasi parameter saat mengirimkan tugas.

Anda dapat memperoleh ID templat di halaman Operation Center > Configuration Management > Spark Configuration Templates. Misalnya, TPL-2b3859f8c0c8439faddc22f223c8****.

Anda hanya dapat menggunakan tool Spark-Submit.

spark.emr.serverless.livy.config.mode

Mengontrol apakah akan menggunakan pengaturan dari file spark-defaults.conf Livy Gateway saat Anda mengirimkan tugas Spark.

• Jika parameter ini tidak diatur (perilaku default), pengaturan dari file spark-defaults.conf akan dimuat dan diterapkan secara otomatis ke tugas.

• Diatur ke ignore

  Jika Anda mengatur parameter ini ke ignore, informasi konfigurasi dalam file spark-defaults.conf akan diabaikan saat Anda mengirimkan pekerjaan Spark. Dalam hal ini, pekerjaan hanya menggunakan parameter konfigurasi yang Anda tentukan secara eksplisit atau konfigurasi Spark default.

Atur parameter ini ke ignore untuk sepenuhnya menyesuaikan konfigurasi tugas Spark. Jika Anda ingin mempertahankan perilaku konfigurasi default Livy Gateway, jangan atur parameter ini.

spark.emr.serverless.tag.xxxx

Anda dapat menambahkan tag ke pekerjaan batch yang dikirimkan melalui Livy dalam format spark.emr.serverless.tag.<key> <value>.

Gunakan parameter ini untuk menambahkan tag ke pekerjaan Spark yang dikirimkan melalui Livy Gateway. Anda kemudian dapat memfilter pekerjaan berdasarkan tag-tag tersebut dalam riwayat pekerjaan.