Parâmetros e métodos de configuração para jobs do Lindorm Distributed Processing System - Lindorm: Central de Documentação do Alibaba Cloud

O Lindorm Distributed Processing System (LDPS) executa jobs Spark em pools de recursos elásticos gerenciados pelo Kubernetes. Esta página lista todos os parâmetros configuráveis para jobs Spark do LDPS e explica como passá-los em cada método de envio.

Parâmetros do Spark

Parâmetros restritos

O sistema define os parâmetros a seguir, que não podem ser personalizados.

Parâmetro	Descrição
`spark.master`	Endpoint do sistema de gerenciamento do cluster.
`spark.submit.deployMode`	Modo de implantação do driver Spark.

Parâmetros de recursos

O LDPS opera em pools de recursos elásticos com faturamento baseado no pagamento conforme o uso. Por padrão, não há limite superior para os recursos que um job pode solicitar. Para definir um máximo, consulte Modify the configurations of LDPS.

Os parâmetros de recursos aplicam-se a todos os jobs JDBC, JAR e Python enviados ao LDPS e dividem-se em parâmetros de especificação e parâmetros de capacidade.

Parâmetros de especificação

Parâmetros básicos de especificação

Parâmetro	Descrição	Padrão
`spark.driver.memory`	Memória heap do driver. Unidade: mebibytes.	`8192m`
`spark.driver.memoryOverhead`	Memória off-heap do driver. Unidade: mebibytes.	`8192m`
`spark.kubernetes.driver.disk.size`	Tamanho do disco local do driver. Unidade: GB.	`50`
`spark.executor.cores`	Núcleos de CPU por executor.	`4`
`spark.executor.memory`	Memória heap por executor. Unidade: mebibytes.	`8192m`
`spark.executor.memoryOverhead`	Memória off-heap por executor. Unidade: mebibytes.	`8192m`
`spark.kubernetes.executor.disk.size`	Tamanho do disco local por executor. Unidade: GB.	`50`

Parâmetros avançados de especificação

Parâmetro	Descrição	Padrão
`spark.{driver/executor}.resourceTag`	Conjunto predefinido de especificações de recursos. Quando definido, o LDPS aplica automaticamente os valores correspondentes de CPU, memória e disco. Valores válidos: `xlarge`, `2xlarge`, `4xlarge`, `8xlarge`, `16xlarge`.	Nenhum
`spark.kubernetes.{driver/executor}.ecsModelPreference`	Modelos preferenciais de nós de computação, listados em ordem de prioridade. O LDPS tenta cada modelo sequencialmente; se todos estiverem indisponíveis, seleciona um modelo disponível que corresponda à especificação de recurso. Especifique até quatro modelos, separados por vírgulas. Exemplo: `hfg6,g6`.	Nenhum
`spark.kubernetes.{driver/executor}.annotation.k8s.aliyun.com/eci-use-specs`	Especificação de GPU da Elastic Container Instance (ECI). Para tipos de instância GPU suportados, consulte Specify ECS instance types to create pods.	`ecs.gn7i-c8g1.2xlarge`
`spark.{driver/executor}.resource.gpu.vendor`	Fabricante da GPU. Deve corresponder à especificação de GPU definida em `eci-use-specs`.	`nvidia.com`
`spark.{driver/executor}.resource.gpu.amount`	Quantidade de GPUs. Defina como `1`.	`1`
`spark.{driver/executor}.resource.gpu.discoveryScript`	Caminho para o script de descoberta de GPU usado para identificar e vincular recursos de GPU na inicialização do driver ou executor. Defina como `/opt/spark/examples/src/main/scripts/getGpusResources.sh`.	`/opt/spark/examples/src/main/scripts/getGpusResources.sh`
`spark.kubernetes.executor.annotation.k8s.aliyun.com/eci-use-specs`	Especificação da instância executor com capacidade expandida de disco local. Consulte os valores suportados abaixo.	Nenhum

O parâmetro spark.kubernetes.executor.annotation.k8s.aliyun.com/eci-use-specs suporta as seguintes especificações de executor:

Valor	Núcleos de CPU	Memória
`ecs.d1ne.2xlarge`	8	32 GB
`ecs.d1ne.4xlarge`	16	64 GB
`ecs.d1ne.6xlarge`	24	96 GB
`ecs.d1ne.8xlarge`	32	128 GB
`ecs.d1ne.14xlarge`	56	224 GB

Importante

Ao usar spark.kubernetes.executor.annotation.k8s.aliyun.com/eci-use-specs, defina também os dois parâmetros a seguir:

spark.kubernetes.executor.volumes.emptyDir.spark-local-dir-1.mount.path=/var
spark.kubernetes.executor.volumes.emptyDir.spark-local-dir-1.options.medium=LocalRaid0 Se o tipo de instância executor especificado estiver indisponível, entre em contato com o suporte técnico do Lindorm (ID do DingTalk: s0s3eg3).

Mapeamento de especificações resourceTag

Valor de resourceTag	`spark.{driver/executor}.cores`	`spark.{driver/executor}.memory`	`spark.{driver/executor}.memoryOverhead`	`spark.kubernetes.{driver/executor}.disk.size`
`xlarge`	4	8192m	8192m	50 GB
`2xlarge`	8	16384m	16384m	100 GB
`4xlarge`	16	32768m	32768m	200 GB
`8xlarge`	32	65536m	65536m	400 GB
`16xlarge`	64	131072m	131072m	400 GB

Parâmetros de capacidade

Parâmetro	Descrição	Padrão
`spark.executor.instances`	Número de executores alocados para o job.	`2`
`spark.dynamicAllocation.enabled`	Ativa a alocação dinâmica de recursos. Quando ativado, o LDPS solicita e libera executores automaticamente com base na carga de trabalho do job em tempo real. Valores válidos: `true`, `false`.	`true`
`spark.dynamicAllocation.minExecutors`	Número mínimo de executores quando a alocação dinâmica de recursos está ativada.	`0`
`spark.dynamicAllocation.maxExecutors`	Número máximo de executores quando a alocação dinâmica de recursos está ativada. Este valor equivale ao número de tarefas simultâneas.	`Infinity`
`spark.dynamicAllocation.executorIdleTimeout`	Tempo de retenção de um executor ocioso antes de ser liberado. Unidade: segundos.	`600s`

Parâmetros de execução

Parâmetro	Descrição	Padrão
`spark.speculation`	Ativa a execução especulativa. Quando ativado, o driver reenvia tarefas que estão executando significativamente mais devagar que outras no mesmo estágio (long tails), evitando atrasos no job. Valores válidos: `true`, `false`.	`true`
`spark.task.maxFailures`	Número máximo de falhas de tarefa permitidas antes que o job falhe.	`4`
`spark.dfsLog.executor.enabled`	Armazena logs do executor no LindormDFS. Defina como `false` para jobs em grande escala, reduzindo a carga do DFS gerada pelos fluxos de log. Valores válidos: `true`, `false`.	`true`
`spark.jars`	Caminho para o pacote JAR necessário para o job. Aceita caminhos OSS ou Hadoop Distributed File System (HDFS). Se utilizar JDBC, defina apenas um caminho HDFS. Caso utilize um caminho OSS, configure também os parâmetros OSS abaixo.	Nenhum
`spark.hadoop.fs.oss.endpoint`	Endpoint do OSS. Para valores de endpoint por região, consulte Regions and endpoints.	Nenhum
`spark.hadoop.fs.oss.accessKeyId`	AccessKey ID da sua conta Alibaba Cloud ou usuário RAM. Consulte Obtain an AccessKey pair.	Nenhum
`spark.hadoop.fs.oss.accessKeySecret`	AccessKey secret da sua conta Alibaba Cloud ou usuário RAM. Consulte Obtain an AccessKey pair.	Nenhum
`spark.hadoop.fs.oss.impl`	Classe de implementação do sistema de arquivos para OSS. Defina como `org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem`.	Nenhum
`spark.default.parallelism`	Paralelismo padrão para tarefas não SQL, incluindo leituras de fontes de dados e estágios de shuffle.	Nenhum
`spark.sql.shuffle.partitions`	Número de partições de shuffle para tarefas SQL.	`200`

Parâmetros de monitoramento

Parâmetro	Descrição	Padrão
`spark.monitor.cmd`	Comandos de monitoramento a serem executados em intervalos regulares. Separe múltiplos comandos com ponto e vírgula (`;`). Os resultados são gravados nos logs do job. Nota Este parâmetro não pode ser configurado ao enviar jobs via Beeline ou JDBC.	Nenhum
`spark.monitor.interval`	Intervalo entre as execuções dos comandos de monitoramento. Unidade: segundos.	`60`
`spark.monitor.timeout`	Tempo limite para cada comando de monitoramento. Se um comando exceder esse limite, ele será ignorado e o próximo comando será executado. Unidade: segundos.	`2`

Exemplos de comandos de monitoramento:

# Single command
"spark.monitor.cmd": "top -b -n 1"

# Multiple commands
"spark.monitor.cmd": "top -b -n 1; vmstat; free -m; iostat -d -x -c -k; df -h; sar -n DEV 1 1; netstat"

Comandos comuns de monitoramento por categoria:

Categoria	Comandos
Status do sistema	`top -b -n 1`, `vmstat`
Memória	`free -m`
E/S de disco	`iostat -d -x -c -k`
Uso de disco	`df -h`
Rede	`sar -n DEV 1 1`, `netstat`

Parâmetros de log

Parâmetro	Descrição	Padrão
`spark.log.level`	Nível de saída de log para o job.	`INFO`

Valores válidos para spark.log.level, do mais detalhado ao menos detalhado:

Nível	Descrição
`ALL`	Toda a saída de log, incluindo as informações de depuração mais granulares.
`TRACE`	Mais detalhado que DEBUG; registra etapas de execução refinadas.
`DEBUG`	Logs de nível de depuração, incluindo status detalhado do tempo de execução.
`INFO`	Logs informativos gerais para eventos normais de execução.
`WARN`	Avisos sobre problemas potenciais que não interrompem a execução.
`ERROR`	Erros ocorridos durante a execução.
`FATAL`	Erros críticos que impedem a continuidade do programa.
`OFF`	Desativa toda a saída de log.

Parâmetros do Spark open-source

Para parâmetros herdados do Spark open-source, consulte Configuração do Spark.

Configure parâmetros por método de envio

Ao enviar um job ao LDPS, o método utilizado determina como os parâmetros são passados.

Beeline

Edite o arquivo conf/beeline.conf no diretório do pacote Spark onde a ferramenta de linha de comando Beeline está localizada.

# LDPS endpoint
# Format: jdbc:hive2://<host>:<port>/;?token=<token>
endpoint=jdbc:hive2://ld-bp13ez23egd123****-proxy-ldps-pub.lindorm.aliyuncs.com:10009/;?token=jfjwi2453-fe39-cmkfe-afc9-01eek2j5****

# Connection credentials (default: root/root)
user=root
password=root

# Set to false to use a dedicated Spark session for this connection
shareResource=false

# Spark parameters
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.minExecutors=3

Para a configuração completa do Beeline, consulte Getting started.

JDBC

Anexe os parâmetros do Spark à string de conexão JDBC como pares chave-valor após o token.

jdbc:hive2://<host>:<port>/;?token=<token>;spark.executor.memory=8g;spark.sql.shuffle.partitions=2

Para o formato completo da URL JDBC, consulte Use JDBC in application development.

spark.jars não pode ser definido como um caminho OSS ao enviar jobs via JDBC. Utilize um caminho HDFS.

Jobs JAR

Configure os parâmetros no modelo de job ao enviar um job Java:

Lindorm console: Configure no modelo de conteúdo do job. Consulte Manage jobs in the Lindorm console.
Data Management Service (DMS): Configure na seção Job configuration da página do nó do job. Consulte Use DMS to manage jobs.

Jobs Python

Configure os parâmetros no modelo de job ao enviar um job Python:

Lindorm console: Configure no modelo de conteúdo do job. Consulte Manage jobs in the Lindorm console.
Data Management Service (DMS): Configure na seção Job configuration da página do nó do job. Consulte Use DMS to manage jobs.