E-MapReduce:Custom Spark parameters

Parâmetro

Descrição

Cenário

spark.emr.serverless.user.defined.jars

Adiciona pacotes JAR enviados ao classpath do driver e dos executores do Serverless Spark.

• Versões de mecanismo compatíveis:

  • esr-4.x: esr-4.1.0 e posteriores.

  • esr-3.x: esr-3.1.0 e posteriores.

  • esr-2.x: esr-2.5.0 e posteriores.

• Métodos de upload:

  • Para esr-4.2.0, esr-3.2.0, esr-2.6.0 e versões posteriores:

    • Faça o upload para Artifacts no Serverless Spark. Para mais detalhes, consulte Manage files.

      Na aba Managed File Directory, clique em Copy Address na coluna Actions do arquivo desejado para obter seu caminho.

    • Faça o upload para o OSS. Para instruções, consulte simple upload.

      O formato do caminho é oss://path/to/file1.jar,oss://path/to/file2.jar.

  • Para versões anteriores a esr-4.2.0, esr-3.2.0 ou esr-2.6.0: Essas versões suportam apenas uploads para o OSS. Para instruções, consulte simple upload.

    O formato do caminho é oss://path/to/file1.jar,oss://path/to/file2.jar.

Use esta propriedade para adicionar pacotes JAR personalizados do OSS ao driver e aos executores do Spark ao enviar um job Spark via spark-submit, job em lote ou Airflow Serverless Spark Operator, ou ao criar uma sessão.

spark.emr.serverless.fusion

Define se o Fusion deve ser ativado para uma sessão ou job em lote iniciado pelo Kyuubi ou Livy. Valores válidos:

• false (Padrão): Desativa o Fusion.

• true: Ativa o Fusion.

Configure esta propriedade na Spark Configuration de um job ou sessão para ativar ou desativar o Fusion.

spark.emr.serverless.environmentId

Especifica o ID do ambiente de execução para os recursos de computação.

Ao enviar jobs do Serverless Spark usando Airflow ou spark-submit, use esta propriedade para especificar um runtime environment com bibliotecas de terceiros pré-instaladas.

spark.emr.serverless.network.service.name

Define o nome de uma conexão de rede que permite aos recursos de computação se comunicarem com fontes de dados em outras VPCs.

Ao enviar um job do Serverless Spark, use uma conexão de rede para acessar fontes de dados em outras redes Virtual Private Cloud (VPC).

spark.emr.serverless.excludedModules

Remove bibliotecas integradas do Serverless Spark.

• Nas versões esr-2.7.0, esr-3.3.0, esr-4.3.0 e posteriores, é possível remover os seguintes módulos: paimon,hudi,iceberg,delta,Celeborn,dlf,fusion,jindo,odps,mysql,doctor.

• A partir das versões esr-2.8.0, esr-3.4.0 e esr-4.4.0, também é possível remover o módulo kafka.

Para evitar conflitos com pacotes JAR personalizados, remova as bibliotecas integradas ao enviar jobs pelo console do Serverless Spark, spark-submit, job em lote, Airflow Serverless Spark Operator, Kyuubi ou Livy, ou ao criar uma sessão.

spark.emr.serverless.kyuubi.engine.queue

Especifica o nome da fila do workspace onde as aplicações Spark iniciadas pelo Kyuubi são executadas.

Defina essa configuração no painel de configuração do Kyuubi ou especifique-a na URL de conexão JDBC.

spark.emr.serverless.jr.timeout

Define o tempo máximo de execução de um job em segundos. O sistema encerra automaticamente o job se ele ultrapassar essa duração. O valor padrão é vazio, indicando que não há limite de tempo.

O valor deve ser um número inteiro entre -1 e 2147483647. Os valores -1 ou 0 significam que nenhum timeout foi definido.

Use esta propriedade para definir um timeout de job ao enviar jobs pelo console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator.

spark.emr.serverless.fusion.enabled

Determina se o mecanismo de aceleração de dados Fusion deve ser ativado para uma aplicação Spark. Valores válidos:

• false (Padrão): Desativa o Fusion.

• true: Ativa o Fusion.

Use este parâmetro para ativar ou desativar a aceleração Fusion durante o envio de jobs via console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator.

spark.emr.serverless.mount.nas.enabled

Controla se um diretório NAS deve ser montado no driver do Spark. Se ativado, também é necessário especificar o diretório a ser montado usando a propriedade spark.emr.serverless.mount.nas.volume.

• Versões de mecanismo compatíveis:

  • esr-4.x: esr-4.7.0 e posteriores.

  • esr-3.x: esr-3.6.0 e posteriores.

• Valores válidos:

  • false (Padrão): Desativa a montagem.

  • true: Ativa a montagem.

Use esta propriedade para montar um diretório de arquivos NAS gerenciado no driver do Spark ao enviar um job pelo console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator. Após a montagem, o driver poderá ler e gravar no diretório NAS.

spark.emr.serverless.mount.nas.volume

Especifica o ID do diretório NAS gerenciado a ser montado.

Versões de mecanismo compatíveis:

• esr-4.x: esr-4.7.0 e posteriores.

• esr-3.x: esr-3.6.0 e posteriores.

Use esta propriedade para montar o diretório de arquivos NAS gerenciado especificado ao enviar um job via console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator.

spark.emr.serverless.mount.nas.executor

Define se o diretório NAS deve ser montado em todos os executores do Spark.

• Versões de mecanismo compatíveis:

  • esr-4.x: esr-4.7.0 e posteriores.

  • esr-3.x: esr-3.6.0 e posteriores.

• Valores válidos:

  • false (Padrão): Desativa a montagem.

  • true: Ativa a montagem.

Use esta propriedade para montar um diretório de arquivos NAS gerenciado em todos os executores do Spark ao enviar um job pelo console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator. Quando montado, os executores podem ler e gravar no diretório NAS.

spark.emr.serverless.mount.oss.enabled

Indica se um diretório OSS deve ser montado no driver do Spark.

Se ativado, também é obrigatório especificar o diretório a ser montado por meio da propriedade spark.emr.serverless.mount.oss.volume. Valores válidos:

• false (Padrão): Desativa a montagem.

• true: Ativa a montagem.

Use esta propriedade para montar um diretório de arquivos OSS gerenciado no driver do Spark ao enviar um job usando o console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator. Após a montagem, o driver pode ler e gravar no diretório OSS.

spark.emr.serverless.mount.oss.volume

Especifica o ID do diretório OSS gerenciado a ser montado.

Use este parâmetro para montar o diretório de arquivos OSS gerenciado especificado ao enviar um job pelo console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator.

spark.emr.serverless.mount.oss.executor

Controla se um diretório OSS deve ser montado em todos os executores do Spark. Valores válidos:

• false (Padrão): Desativa a montagem.

• true: Ativa a montagem.

Use esta propriedade para montar um diretório de arquivos OSS gerenciado em todos os executores do Spark ao enviar um job via console do Serverless Spark, spark-submit, job em lote ou Airflow Serverless Spark Operator. Após a montagem, os executores podem ler e gravar no diretório OSS.

spark.emr.serverless.templateId

Especifica o ID do modelo de configuração padrão para uma aplicação Spark. Referenciar um modelo de workspace predefinido simplifica a configuração de parâmetros durante o envio do job.

Você encontra o ID do modelo na página O&M Center > Configurations > Task Templates. Exemplo: TPL-2b3859f8c0c8439faddc22f223c8****.

Esta propriedade tem suporte apenas ao usar spark-submit.

spark.emr.serverless.livy.config.mode

Controla se as configurações do arquivo spark-defaults.conf definidas no Livy Gateway devem ser usadas ao enviar um job Spark.

• Se este parâmetro não for definido (padrão), o Livy Gateway carrega e aplica automaticamente as configurações do arquivo spark-defaults.conf ao job.

• Defina como ignore

  Ao definir este parâmetro como ignore, as configurações do arquivo spark-defaults.conf são ignoradas no envio do job Spark. Nesse caso, o job utiliza apenas os parâmetros de configuração especificados explicitamente por você ou as configurações padrão do Spark.

Quando for necessário personalizar totalmente a configuração de um job Spark, defina este parâmetro como ignore. Caso queira manter o comportamento de configuração padrão do Livy Gateway, não é preciso definir este parâmetro.

spark.emr.serverless.tag.xxxx

Adiciona uma tag a um job em lote enviado via Livy, seguindo o formato spark.emr.serverless.tag.<key> <value>.

Posteriormente, filtre os jobs por tag no histórico de jobs.