Defina as configurações da implantação antes de iniciar um job.
Pré-requisitos
Antes de começar, verifique se você possui:
As permissões necessárias para acessar um namespace e configurar recursos do job. Para mais informações, consulte Conceder permissões em namespaces.
Uma implantação já criada. Para mais informações, consulte Implantar um job.
Configure definições da implantação
Faça login no console do Realtime Compute for Apache Flink.
Localize o workspace e clique em Console na coluna Actions.
No painel de navegação à esquerda, escolha O&M > Deployments. Na página Deployments, clique em no nome da implantação.
Na aba Configuration, localize a seção a editar e clique em Edit no canto superior direito.
-
Modifique as configurações nas seguintes seções:
Clique em Save.
Básico
Os parâmetros a seguir estão disponíveis na seção Basic. A disponibilidade varia conforme o tipo de implantação.
|
Parâmetro |
Tipo de implantação |
Descrição |
|
Engine Version |
SQL, JAR, Python |
Versão do mecanismo Flink a utilizar. |
|
Additional Dependencies |
SQL, JAR, Python |
Arquivos de dependência adicionais para a implantação. |
|
Description |
SQL, JAR, Python |
Descrição textual da implantação. |
|
Label |
SQL, JAR, Python |
Rótulos para organizar e identificar a implantação. |
|
JAR Uri |
JAR |
URI do arquivo JAR a executar. |
|
Entry Point Class |
JAR |
Nome totalmente qualificado da classe principal. |
|
Entry Point Main Arguments |
JAR, Python |
Argumentos transmitidos ao ponto de entrada. |
|
Kerberos Name |
JAR, Python |
Nome do principal Kerberos para autenticação. |
|
Python Uri |
Python |
URI do arquivo Python a executar. |
|
Entry Module |
Python |
Módulo Python usado como ponto de entrada. |
|
Python Libraries |
Python |
Dependências adicionais de bibliotecas Python. |
|
Python Archives |
Python |
Arquivos compactados exigidos pelo job Python. |
Para obter detalhes sobre os parâmetros, consulte Desenvolver um rascunho SQL (implantações SQL) ou Implantar um job (implantações JAR e Python).
Em implantações SQL, clicar em Edit na seção Basic exibe uma mensagem de confirmação. Clique em OK para confirmar. O sistema redirecionará você à página do Editor SQL para editar e reimplantar a configuração.
Parâmetros
Checkpointing
|
Parâmetro |
Descrição |
|
Checkpointing Interval |
Frequência de geração de checkpoints. Se não definido, o checkpointing fica desativado. |
|
Checkpointing Timeout time |
Tempo máximo permitido para concluir um checkpoint. Padrão: 10 minutos. Caso o processo não termine nesse período, ele falha. |
|
Min Interval Between Checkpoints |
Intervalo mínimo entre dois checkpoints consecutivos. Quando o paralelismo máximo de checkpoint é 1, este valor define a distância mínima entre eles. |
Expiração de estado
|
Parâmetro |
Descrição |
|
State Expiration Time |
Tempo de vida (TTL) dos dados de estado da implantação. Padrão: 36 h. Dados não acessados dentro desse período são removidos automaticamente do backend de estado, liberando memória. |
O TTL padrão de 36 horas baseia-se nas melhores práticas da Alibaba Cloud e difere do padrão do Apache Flink, que é 0 (dados de estado nunca expiram). Defina o TTL de acordo com seus padrões de acesso aos dados para equilibrar a precisão da computação e o uso de memória.
Como funcionam os dados de estado:
Ao ingressarem no sistema pela primeira vez, os dados são armazenados no backend de estado. Se novos dados com a mesma chave primária chegarem, o Flink executa cálculos com base no estado armazenado e atualiza o horário do último acesso. Caso não haja novo acesso dentro do TTL, o Flink considera os dados expirados e os remove. Reduzir o TTL diminui o consumo de memória e aumenta a estabilidade do sistema, mas pode comprometer a precisão no processamento de dados atrasados.
Política de reinicialização
O Flink gerencia o comportamento de reinicialização de jobs por meio de dois mecanismos independentes: a política de reinicialização do job e a política de recuperação de falhas de tarefas.
Política de reinicialização do job
Esta política define se e como o job será reiniciado após uma falha.
Comportamento padrão (quando nenhuma política é definida explicitamente):
Se o checkpointing estiver ativado: o job reinicia usando Fixed Delay.
Se o checkpointing estiver desativado: o job não reinicia.
Substitua o padrão selecionando uma destas políticas:
|
Política |
Descrição |
Parâmetros adicionais |
|
No Restarts |
O job não reinicia em caso de falha. |
— |
|
Fixed Delay (padrão) |
Reinicia o job em intervalos fixos após cada falha. |
Number of Restart Attempts, Delay Between Restart Attempts |
|
Failure Rate |
Permite a reinicialização desde que a taxa de falhas permaneça abaixo de um limiar definido. |
Failure Rate Interval, Max Failures per Interval, Delay Between Restart Attempts |
Política de recuperação de falhas de tarefas
Esta política determina quais tarefas devem ser reiniciadas quando ocorre uma falha. Configure-a definindo jobmanager.execution.failover-strategy no campo Other Configuration.
|
Valor |
Comportamento |
|
|
Reinicia todo o job quando qualquer tarefa falha. |
|
|
Reinicia apenas o conjunto mínimo de tarefas necessário para recuperar a região pipelined com falha, sem afetar as demais regiões. |
Quando failover-strategy está definido como region, diferentes regiões podem apresentar timestamps de início distintos após a recuperação — esse comportamento é esperado.
Para mais informações, consulte Recuperação de Falhas de Tarefas na documentação do Apache Flink.
Outras configurações
Use Other Configuration para definir parâmetros adicionais do Flink como pares chave-valor, por exemplo:
akka.ask.timeout: 10
jobmanager.execution.failover-strategy: fullNão é possível modificar configurações de tipo de GC (como -XX:+UseG1GC) via env.java.opts.
Logs
|
Parâmetro |
Descrição |
|
Log Archiving |
Define se os logs devem ser arquivados. Ativado por padrão. Quando habilitado, os logs históricos da implantação ficam disponíveis na aba Logs. No VVR 3.X, apenas a versão 3.0.7 e posteriores suportam arquivamento. No VVR 4.X, o suporte começa na versão 4.0.11. Para mais detalhes, visualize Visualizar logs de uma implantação histórica. |
|
Log Archives Expires |
Tempo de retenção dos logs arquivados. Padrão: 7 dias. |
|
Root Log Level |
Nível mínimo de severidade para registro. Ordem crescente de urgência: TRACE, DEBUG, INFO, WARN, ERROR. |
|
Log Levels |
Pares personalizados de nome e nível para loggers específicos. |
|
Logging Profile |
Modelo de log a utilizar. Selecione default ou Custom Template. A opção Custom Template permite exportar logs para armazenamento externo. Consulte Configurar parâmetros para exportar logs de uma implantação para saber mais. |
Referências
Para controlar o tamanho do estado no nível do operador usando TTL, consulte a seção "Dicas de TTL de estado" em Hints.
As configurações de log nesta página aplicam-se a uma única implantação. Para configurar a exportação de logs para todas as implantações de um namespace, acesse Configurar parâmetros para exportar logs de uma implantação.