Livy Gateway configuration example - E-MapReduce: Central de Documentação do Alibaba Cloud

spark-defaults.conf

Finalidade

O arquivo spark-defaults.conf define os parâmetros padrão para jobs do Spark enviados por meio do Livy Gateway. Ao criar sessões ou jobs em lote do Livy, esses valores são aplicados automaticamente caso nenhum parâmetro específico seja definido explicitamente.

Exemplo de configuração

Veja abaixo algumas configurações comuns de parâmetros padrão.

spark.driver.cores 2
spark.driver.memory 7g
spark.dynamicAllocation.enabled true
spark.dynamicAllocation.initialExecutors 2
spark.dynamicAllocation.maxExecutors 100
spark.dynamicAllocation.minExecutors 1

Descrição dos parâmetros:

spark.driver.cores e spark.driver.memory: Definem o número de núcleos de CPU e o tamanho da memória do Driver.
Parâmetros relacionados à alocação dinâmica de recursos:
- spark.dynamicAllocation.enabled=true: Ativa a alocação dinâmica de recursos.
- spark.dynamicAllocation.minExecutors e spark.dynamicAllocation.maxExecutors: Limitam os números mínimo e máximo de Executors.
- spark.dynamicAllocation.initialExecutors: Quantidade inicial de Executors alocados.

Parâmetros aprimorados suportados

Os parâmetros aprimorados suportados referem-se a recursos adicionais ou itens de configuração estendidos fornecidos pelo Alibaba Cloud EMR Serverless Spark para melhorar a segurança, a flexibilidade ou o desempenho do sistema. Esses parâmetros geralmente são projetados para cenários específicos (como ambientes multilocatário, gerenciamento de permissões etc.) e ajudam você a controlar melhor o comportamento das tarefas e a alocação de recursos.

Parâmetro

Descrição

spark.livy.proxyUser

Especifique o usuário proxy ao enviar jobs do Spark. O valor padrão é root.

Este parâmetro só tem efeito quando livy.impersonation.enabled no arquivo livy.conf está definido como true. Se usado em conjunto com spark-blacklist.conf, impede que usuários modifiquem o parâmetro proxyUser, garantindo a segurança.

livy.conf

Finalidade

O arquivo livy.conf é o principal arquivo de configuração do Livy. Ele define o comportamento global do Livy Gateway, incluindo métodos de autenticação, configurações de tempo limite, gerenciamento de sessões, entre outros.

Principais parâmetros

Parâmetro	Descrição
`livy.impersonation.enabled`	Indica se permite que usuários representem outros usuários do Spark por meio do parâmetro `proxyUser`. O valor padrão é `false`.
`livy.server.session.timeout`	Período de tempo limite da sessão. Sessões inativas que excederem esse tempo serão fechadas automaticamente. O valor padrão é `2h`.
`livy.server.session.timeout-check`	Defina se o sistema deve verificar sessões com tempo expirado. O valor padrão é `true`. Se definido como `false`, as sessões não serão fechadas automaticamente mesmo após atingirem o tempo limite.
`livy.server.session.timeout-check.skip-busy`	Determina se sessões ocupadas devem ser ignoradas durante a verificação de tempo limite. Se ignoradas, sessões em execução não serão fechadas. O valor padrão é `true`.
`livy.server.auth.type`	Especifique o método de autenticação do Livy Gateway. Por exemplo, defina como `ldap` ao ativar a autenticação LDAP.
`livy.server.auth.ldap.url`	Endereço LDAP. Exemplo: `ldap://master-1-1.c-xxxxxxxxxxxxx.cn-hangzhou.emr.aliyuncs.com:10389`.
`livy.server.auth.ldap.base-dn`	DN base do LDAP. Exemplo: `ou=people,o=emr`.
`livy.server.auth.ldap.enable-start-tls`	Defina se a criptografia TLS deve ser ativada para LDAP. O valor padrão é `false`.
`livy.server.auth.ldap.security-authentication`	Método de autenticação de segurança LDAP. O valor padrão é `simple`.
`livy.server.session.state-retain.sec`	Tempo de retenção na memória para sessões concluídas. O valor padrão é `600s`.
`livy.server.session.max-creation`	Número máximo de sessões criadas simultaneamente. O valor padrão é `100`.
`livy.server.session.user.max-creation`	Limita o número de sessões que cada usuário pode criar. Este parâmetro entra em vigor apenas quando `livy.impersonation.enabled` está definido como `true`. Por exemplo, `livy.server.session.user.max-creation {"alice": 6, "bob": 2, "default": 5}` significa que Alice pode criar no máximo seis sessões simultâneas, Bob pode criar no máximo duas e outros usuários podem criar até cinco.

livy-client.conf

Finalidade

O arquivo livy-client.conf define os parâmetros de tempo de execução do cliente HTTP do Livy, usados principalmente para otimizar a interação entre o cliente e o Livy Gateway.

Principais parâmetros

Parâmetro	Descrição
`livy.rsc.retained-statements`	Quantidade máxima de instruções retidas na memória da sessão. O valor padrão é 100.
`livy.rsc.sql.num-rows`	Número máximo de linhas retornadas pelo interpretador SQL. O valor padrão é 1000.

spark-blacklist.conf

Finalidade

O arquivo spark-blacklist.conf restringe parâmetros que os usuários não têm permissão para substituir em tarefas enviadas pelo Livy Gateway. O sistema ignora forçosamente os parâmetros listados na lista de bloqueios, impedindo que os usuários os modifiquem.

Exemplo de configuração

Veja abaixo alguns exemplos de parâmetros comuns incluídos na lista de bloqueios.

spark.driver.cores
spark.driver.memory
spark.executor.cores
spark.executor.memory

Essa configuração indica que os usuários não podem definir por conta própria os recursos (como núcleos de CPU e tamanho de memória) para o Driver e os Executors do Spark, evitando assim o uso indevido de recursos.

Parâmetros aprimorados suportados

O arquivo spark-blacklist.conf também suporta os seguintes parâmetros aprimorados para aumentar ainda mais a segurança e a estabilidade dos jobs.

Parâmetro	Descrição
`spark.livy.ttl`	Impede que usuários definam o tempo de vida (TTL) das sessões. Garante que o TTL da sessão seja gerenciado uniformemente pelos administradores, evitando desperdício de recursos ou interrupção de tarefas causados pela definição de um TTL muito longo ou muito curto pelos usuários.
`spark.livy.queue`	Bloqueia a definição da fila para envio de jobs pelos usuários. Todos os jobs utilizam a fila padrão do Livy Gateway, evitando alocação desigual de recursos decorrente da escolha arbitrária de filas pelos usuários.
`spark.livy.proxyUser`	Proíbe que usuários configurem o usuário proxy. O padrão é o usuário root.