Manage Spark configuration templates - E-MapReduce: Central de Documentação do Alibaba Cloud

Os modelos de configuração do Spark definem configurações globais padrão para jobs. Você pode crie, edite e gerencie modelos para centralizar as configurações do Spark, garantindo execução de jobs consistente e flexível.

Pré-requisitos

Você já criou um workspace. Para mais informações, consulte Manage workspaces.

Crie um modelo de configuração

Acesse a página de gerenciamento de configuração.
1. Faça logon no console do E-MapReduce.
2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.
3. Na página Spark, clique em o nome do workspace desejado.
4. Na página EMR Serverless Spark, clique em Configurations no painel de navegação à esquerda.
Na página Task Templates, clique em Create Template.

Na página Create Task Template, configure os parâmetros a seguir e clique em create.

Parâmetro	Descrição
Template Name	Insira um nome para o modelo.
Engine Version	A versão do mecanismo para o ambiente de computação. Para mais informações, consulte Engine versions.
Timeout Period	O tempo máximo de execução de um job. Nota Ao enviar um job, você pode substituir a configuração de timeout do modelo passando o parâmetro `spark.emr.serverless.jr.timeout=-1` para permitir que o job seja executado indefinidamente.
spark.driver.cores	O número de núcleos de CPU para o processo do driver.
spark.driver.memory	A quantidade de memória disponível para o processo do driver.
spark.executor.cores	O número de núcleos de CPU a serem usados por cada executor.
spark.executor.memory	A quantidade de memória disponível para cada executor.
spark.executor.instances	O número de executors alocados pelo Spark.
Dynamic Resource Allocation	Desativado por padrão. Ao ativar, configure os seguintes parâmetros: Minimum Number of Executors: O valor padrão é 2. Maximum Number of Executors: Se spark.executor.instances não estiver definido, o valor padrão é 10.
More Memory Configurations	spark.driver.memoryOverhead: A memória não heap disponível para o driver. Se este parâmetro não estiver definido, o Spark alocará automaticamente um valor com base no padrão: `max(384 MB, 10% * spark.driver.memory)`. spark.executor.memoryOverhead: A memória não heap disponível para cada executor. Se este parâmetro não estiver definido, o Spark alocará automaticamente um valor com base no padrão: `max(384 MB, 10% * spark.executor.memory)`. spark.memory.offHeap.size: A quantidade de memória off-heap disponível para o Spark. O valor padrão é 1 GB. Este parâmetro só entra em vigor quando `spark.memory.offHeap.enabled` está definido como `true`. Quando o mecanismo Fusion é utilizado, esse recurso é ativado por padrão com 1 GB de memória off-heap.
Spark Configuration	Propriedades de configuração personalizadas do Spark. Use espaços para separar pares de chave-valor. Exemplo: `spark.sql.catalog.paimon.metastore dlf`. O EMR Serverless Spark fornece diversos parâmetros integrados específicos do service. Para detalhes, consulte Custom Spark Conf parameters.

Após criar um modelo de configuração, você pode modifique-lo ou removê-lo clicando em Edit ou Delete na coluna Actions.

Usar um modelo de configuração

Data development

Ao desenvolver jobs em lote ou streaming em Load from template, você pode selecione um modelo de configuração existente na lista suspensa Load from template. O sistema carrega automaticamente os parâmetros do modelo selecionado.

CLI

Ao enviar um job por meio do spark-submit, você pode especifique um ID de modelo com o parâmetro spark.emr.serverless.templateId na opção --conf. O sistema carrega os parâmetros do modelo e os aplica como padrões para a aplicação Spark.

Exemplo:

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

No comando acima, <template_id> é o ID do modelo. Você pode obter o ID do modelo na página Task Templates.

Livy Gateway

Ao criar um Create Livy Gateway, você pode selecione um modelo de configuração existente na lista suspensa Load from template no canto superior direito da página. O sistema carrega automaticamente os parâmetros do modelo selecionado.

Kyuubi Gateway

Ao criar um Create Kyuubi Gateway, selecione um modelo de configuração existente na lista suspensa Load from template no canto superior direito da página. O sistema carrega automaticamente os parâmetros do modelo selecionado.

Redefinir para padrões do sistema

Para redefinir um modelo de configuração para os padrões do sistema:

Na aba Task Templates, clique em Edit na coluna Actions.
Na página Edit Task Template, clique em Reset to system defaults na parte inferior da página e, em seguida, clique em Save Changes.

Alterar o modelo padrão

Para defina um modelo de configuração diferente como padrão:

Na página Task Templates, clique em Set as default na coluna Actions.
Na caixa de diálogo exibida, clique em OK.