E-MapReduce:Parameter Spark kustom

Parameter

Description

Scenario

spark.emr.serverless.user.defined.jars

Menambahkan paket JAR yang diunggah ke classpath driver dan executor Serverless Spark.

• Versi engine yang didukung:

  • esr-4.x: esr-4.1.0 dan versi setelahnya.

  • esr-3.x: esr-3.1.0 dan versi setelahnya.

  • esr-2.x: esr-2.5.0 dan versi setelahnya.

• Metode unggah:

  • Untuk esr-4.2.0, esr-3.2.0, esr-2.6.0, dan versi setelahnya:

    • Unggah ke Files di Serverless Spark. Untuk detailnya, lihat Manage files.

      Pada tab Managed File Directory, klik Copy Address di kolom Actions untuk file target guna mendapatkan path-nya.

    • Unggah ke OSS. Untuk instruksinya, lihat simple upload.

      Format path-nya adalah oss://path/to/file1.jar,oss://path/to/file2.jar.

  • Untuk versi sebelum esr-4.2.0, esr-3.2.0, atau esr-2.6.0: Versi ini hanya mendukung unggah ke OSS. Untuk instruksinya, lihat simple upload.

    Format path-nya adalah oss://path/to/file1.jar,oss://path/to/file2.jar.

Gunakan properti ini untuk menambahkan paket JAR kustom dari OSS ke driver dan executor Spark saat Anda mengirim pekerjaan Spark menggunakan spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator, atau saat membuat session.

spark.emr.serverless.fusion

Menentukan apakah akan mengaktifkan Fusion untuk session atau pekerjaan batch yang diluncurkan oleh Kyuubi atau Livy. Nilai yang valid:

• false (Default): Menonaktifkan Fusion.

• true: Mengaktifkan Fusion.

Tetapkan properti ini di Spark Configuration untuk pekerjaan atau session guna mengaktifkan atau menonaktifkan Fusion.

spark.emr.serverless.environmentId

Menentukan ID lingkungan runtime untuk sumber daya komputasi.

Saat mengirim pekerjaan Serverless Spark menggunakan Airflow atau spark-submit, gunakan properti ini untuk menentukan runtime environment yang telah memiliki library pihak ketiga pra-instal.

spark.emr.serverless.network.service.name

Menentukan nama koneksi jaringan, yang memungkinkan sumber daya komputasi berkomunikasi dengan sumber data di VPC lain.

Saat mengirim pekerjaan Serverless Spark, gunakan koneksi jaringan untuk mengakses sumber data di jaringan Virtual Private Cloud (VPC) lain.

spark.emr.serverless.excludedModules

Menghapus library bawaan dari Serverless Spark.

• Untuk esr-2.7.0, esr-3.3.0, esr-4.3.0, dan versi setelahnya, Anda dapat menghapus modul-modul berikut: paimon,hudi,iceberg,delta,Celeborn,dlf,fusion,jindo,odps,mysql,doctor.

• Untuk esr-2.8.0, esr-3.4.0, esr-4.4.0, dan versi setelahnya, Anda juga dapat menghapus modul kafka.

Untuk menghindari konflik dengan paket JAR kustom, hapus library bawaan saat Anda mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, Airflow Serverless Spark Operator, Kyuubi, atau Livy, atau saat membuat session.

spark.emr.serverless.kyuubi.engine.queue

Menentukan nama antrian ruang kerja tempat aplikasi Spark yang diluncurkan oleh Kyuubi berjalan.

Anda dapat mengatur ini di panel konfigurasi Kyuubi atau menentukannya dalam URL koneksi JDBC.

spark.emr.serverless.jr.timeout

Menetapkan waktu proses maksimum untuk suatu pekerjaan dalam satuan detik. Sistem secara otomatis menghentikan pekerjaan jika melebihi durasi ini. Nilai default-nya kosong, yang berarti tidak ada batas timeout.

Nilainya harus berupa bilangan bulat dari -1 hingga 2147483647. Nilai -1 atau 0 berarti tidak ada timeout yang ditetapkan.

Gunakan properti ini untuk menetapkan timeout pekerjaan saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator.

spark.emr.serverless.fusion.enabled

Menentukan apakah akan mengaktifkan mesin akselerasi data Fusion untuk aplikasi Spark. Nilai yang valid:

• false (Default): Menonaktifkan Fusion.

• true: Mengaktifkan Fusion.

Gunakan properti ini untuk mengaktifkan atau menonaktifkan akselerasi Fusion saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator.

spark.emr.serverless.mount.nas.enabled

Menentukan apakah akan memasang direktori NAS ke driver Spark. Jika diaktifkan, Anda juga harus menentukan direktori yang akan dipasang menggunakan properti spark.emr.serverless.mount.nas.volume.

• Versi engine yang didukung:

  • esr-4.x: esr-4.7.0 dan versi setelahnya.

  • esr-3.x: esr-3.6.0 dan versi setelahnya.

• Nilai yang valid:

  • false (Default): Menonaktifkan pemasangan.

  • true: Mengaktifkan pemasangan.

Gunakan properti ini untuk memasang direktori file NAS terkelola ke driver Spark saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator. Setelah dipasang, driver dapat membaca dari dan menulis ke direktori NAS tersebut.

spark.emr.serverless.mount.nas.volume

Menentukan ID direktori NAS terkelola yang akan dipasang.

Versi engine yang didukung:

• esr-4.x: esr-4.7.0 dan versi setelahnya.

• esr-3.x: esr-3.6.0 dan versi setelahnya.

Gunakan properti ini untuk memasang direktori file NAS terkelola yang ditentukan saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator.

spark.emr.serverless.mount.nas.executor

Menentukan apakah akan memasang direktori NAS ke semua executor Spark.

• Versi engine yang didukung:

  • esr-4.x: esr-4.7.0 dan versi setelahnya.

  • esr-3.x: esr-3.6.0 dan versi setelahnya.

• Nilai yang valid:

  • false (Default): Menonaktifkan pemasangan.

  • true: Mengaktifkan pemasangan.

Gunakan properti ini untuk memasang direktori file NAS terkelola ke semua executor Spark saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator. Setelah dipasang, executor dapat membaca dari dan menulis ke direktori NAS tersebut.

spark.emr.serverless.mount.oss.enabled

Menentukan apakah akan memasang direktori OSS ke driver Spark.

Jika diaktifkan, Anda juga harus menentukan direktori yang akan dipasang menggunakan properti spark.emr.serverless.mount.oss.volume. Nilai yang valid:

• false (Default): Menonaktifkan pemasangan.

• true: Mengaktifkan pemasangan.

Gunakan properti ini untuk memasang direktori file OSS terkelola ke driver Spark saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator. Setelah dipasang, driver dapat membaca dari dan menulis ke direktori OSS tersebut.

spark.emr.serverless.mount.oss.volume

Menentukan ID direktori OSS terkelola yang akan dipasang.

Gunakan properti ini untuk memasang direktori file OSS terkelola yang ditentukan saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator.

spark.emr.serverless.mount.oss.executor

Menentukan apakah akan memasang direktori OSS ke semua executor Spark. Nilai yang valid:

• false (Default): Menonaktifkan pemasangan.

• true: Mengaktifkan pemasangan.

Gunakan properti ini untuk memasang direktori file OSS terkelola ke semua executor Spark saat mengirim pekerjaan menggunakan Konsol Serverless Spark, spark-submit, pekerjaan batch, atau Airflow Serverless Spark Operator. Setelah dipasang, executor dapat membaca dari dan menulis ke direktori OSS tersebut.

spark.emr.serverless.templateId

Menentukan ID templat konfigurasi default untuk aplikasi Spark. Merujuk pada templat ruang kerja yang telah ditentukan menyederhanakan konfigurasi parameter saat pengiriman pekerjaan.

Anda dapat menemukan ID templat di halaman Operation Center > Configurations > Spark Configuration Template. Contohnya: TPL-2b3859f8c0c8439faddc22f223c8****.

Properti ini hanya didukung saat menggunakan spark-submit.

spark.emr.serverless.livy.config.mode

Mengontrol apakah akan menggunakan pengaturan dari file spark-defaults.conf yang dikonfigurasi di Livy Gateway saat Anda mengirim pekerjaan Spark.

• Jika parameter ini tidak diatur (default), Livy Gateway secara otomatis memuat dan menerapkan pengaturan dari file spark-defaults.conf ke pekerjaan.

• Diatur ke ignore

  Jika Anda mengatur parameter ini ke ignore, konfigurasi dalam file spark-defaults.conf diabaikan saat Anda mengirim pekerjaan Spark. Dalam hal ini, pekerjaan hanya menggunakan parameter konfigurasi yang secara eksplisit Anda tentukan atau konfigurasi Spark default.

Saat Anda perlu menyesuaikan sepenuhnya konfigurasi pekerjaan Spark, Anda dapat mengatur parameter ini ke ignore. Jika Anda ingin mempertahankan perilaku konfigurasi default Livy Gateway, Anda tidak perlu mengatur parameter ini.

spark.emr.serverless.tag.xxxx

Menambahkan tag ke pekerjaan batch yang dikirim melalui Livy, menggunakan format spark.emr.serverless.tag.<key> <value>.

Anda kemudian dapat memfilter pekerjaan berdasarkan tag di riwayat pekerjaan.