O recurso de simulação de recuperação de desastres reproduz uma falha em uma única zona de disponibilidade (AZ) dentro de um workspace para validar as capacidades de migração automática e recuperação de jobs do Flink em cenários reais de indisponibilidade. Este tópico descreve como ativar e usar a simulação de recuperação de desastres.
Visão geral
A simulação de recuperação de desastres ocorre no nível do workspace. Qualquer workspace com um namespace entre zonas (alta disponibilidade na mesma cidade) pode executar a simulação. Durante o processo, o sistema adiciona a AZ alvo à lista de bloqueios de zonas, aciona a detecção de falhas do Flink e o rebalanceamento de recursos, remove os jobs afetados, reagenda-os em AZs íntegras e restaura seus estados a partir do checkpoint bem-sucedido mais recente. Após o término da simulação, o sistema gera um relatório HTML para auditoria.
Esse recurso oferece verificação self-service e suporte a auditorias de conformidade para clientes com requisitos de alta disponibilidade, sem intervenção manual dos SREs da plataforma.
Limites
Há suporte apenas para a arquitetura Intel x86. A arquitetura ARM não é compatível devido a diferenças na imagem subjacente.
O workspace deve conter um namespace entre zonas, ou seja, a alta disponibilidade na mesma cidade precisa estar ativada. Para obter instruções, consulte Same-city high availability.
Durante a simulação, operações de dimensionamento ficam proibidas no workspace alvo, assim como exclusões e ajustes de escala nos namespaces envolvidos.
No modo de faturamento híbrido, a recuperação de jobs em recursos elásticos ocorre com base no melhor esforço. Se os recursos elásticos nas AZs íntegras forem insuficientes, a recuperação desses jobs poderá sofrer atrasos.
Pré-requisitos
Um namespace entre zonas com alta disponibilidade na mesma cidade foi adquirido e está ativo.
Os blocos CIDR dos vSwitches de todas as AZs envolvidas na simulação (incluindo a AZ com falha simulada e as AZs íntegras) constam nas listas de permissões de acesso dos sistemas upstream e downstream, como Kafka, ApsaraDB RDS, Hologres, Paimon e OSS.
Todos os jobs afetados estão no status RUNNING, o checkpointing está habilitado e existem registros de checkpoints bem-sucedidos.
A conta do operador possui as permissões
flink:DescribeDisasterRecoveryDrill,flink:DescribeInstanceZoneJobs,flink:ListDisasterRecoveryDrills,flink:StartDisasterRecoveryDrilleflink:StopDisasterRecoveryDrill.
Solicitar acesso à lista de permissões da simulação de recuperação de desastres
A simulação de recuperação de desastres é um recurso restrito a lista de permissões. Solicite acesso antes de usá-lo.
Faça login no console do Realtime Compute for Apache Flink.
Verifique se a lista de namespaces do workspace alvo contém um namespace entre zonas.
Na coluna Actions do workspace, clique em Disaster Recovery Drill > Start Drill.
Namespaces de zona única não exibem o menu Disaster Recovery Drill. Se a opção Disaster Recovery Drill estiver acinzentada, passe o mouse sobre ela para visualizar o motivo, como "Whitelist verification failed" ou "Same-city high availability not enabled".
Iniciar uma simulação de recuperação de desastres
Execute a simulação fora dos horários de pico. Os jobs afetados sofrem interrupções breves durante o processo, geralmente de dezenas de segundos a alguns minutos.
A continuidade dos negócios ponta a ponta também depende da alta disponibilidade entre zonas nos sistemas upstream e downstream. Se esses sistemas não estiverem implantados em múltiplas zonas, os jobs migrados poderão apresentar timeouts de conexão, falhas de gravação ou acúmulo de dados. Para consultar os termos de risco, veja Informed consent for high-risk operations in disaster recovery drills.
Etapa 1: Selecionar a AZ de falha alvo
Na coluna Actions do workspace desejado, clique em Disaster Recovery Drill > Start Drill.
-
Na lista suspensa Target Failure AZ, selecione a AZ que terá a falha simulada.
Após selecionar a AZ de falha, os jobs impactados serão exibidos.
Após confirmar a seleção da AZ, prossiga para a Etapa 2.
Etapa 2: Confirmar o escopo de impacto
-
Analise a Impact Scope Estimation e valide as informações abaixo:
Item
Descrição
Jobs afetados
Quantidade de jobs no status RUNNING na AZ de falha alvo.
RTO
Tempo estimado para recuperação da AZ com falha para uma AZ íntegra.
Lista de jobs afetados
Nome, status atual e AZ de cada job impactado.
-
Marque as três caixas de confirmação a seguir:
The current time is not during peak business hours.
I acknowledge that jobs may be briefly interrupted during the drill.
I have read the Informed Consent for High-Risk Operations.
Leia todos os termos do Informed Consent for High-Risk Operations, que abordam interrupções breves de jobs, garantia própria de alta disponibilidade upstream e downstream, recuperação por melhor esforço no faturamento híbrido, além de intervalos e frequência das simulações.
Revise o Drill Summary e confirme a AZ de falha alvo, o número de jobs afetados e o RTO estimado.
Monitorar o progresso da simulação
Assim que a simulação é iniciada, a página redireciona automaticamente para a tela de progresso, exibindo todo o processo em tempo real.
Elementos da página:
|
Elemento |
Descrição |
|
Barra de progresso |
Mostra a etapa atual, total de etapas, tempo decorrido e porcentagem de conclusão. |
|
Diagrama de topologia de AZs |
AZs íntegras aparecem em verde. A AZ com falha surge em vermelho com o rótulo "Simulating failure". Setas vermelhas indicam a direção da migração dos jobs. |
|
Linha do tempo das etapas |
Exibe sequencialmente o status de execução de cinco fases: simular falha de AZ, detectar falha no sistema, executar migração por falha, avaliar impacto nos jobs e gerar relatório da simulação. |
A janela de migração de jobs dura 15 minutos. Jobs não migrados dentro desse período são ignorados, e a taxa de recuperação pode ficar abaixo de 100%.
Para encerrar a simulação antecipadamente, clique em Stop no canto inferior direito e confirme na caixa de diálogo secundária.
Independentemente de a janela de migração expirar, a simulação ser interrompida antes do prazo ou todos os jobs concluírem a migração, clique manualmente em End Drill para remover a AZ alvo da lista de bloqueios e retomar o agendamento.
Os registros de migrações concluídas permanecem no relatório da simulação. Para jobs cuja migração falhou dentro da janela, a coluna Checkpoint nos detalhes exibirá Recovery failed. As métricas principais consideram apenas a parte concluída.
Visualizar resultados e baixar o relatório
Ao final da migração da simulação, a página redireciona para a tela de resultados.
Informações principais disponíveis:
|
Item |
Descrição |
|
Métricas principais |
Apresenta indicadores como RTO e taxa de recuperação de jobs. |
|
Detalhes da migração de jobs |
Exibe a AZ original, AZ de destino da migração, duração e status de recuperação do checkpoint para cada job. |
|
Linha do tempo |
Registra todos os eventos e timestamps do processo de simulação. |
Clique em Download Report para baixe o relatório de auditoria. O arquivo contém informações básicas, configurações, linha do tempo do processo e detalhes da migração de jobs.
Encerrar a simulação devolve a AZ de falha à lista de permissões e a restaura como íntegra. Os jobs migrados permanecem na nova AZ e não retornam automaticamente à origem.
Consultar histórico de simulações
Na coluna Actions do workspace alvo, clique em Disaster Recovery Drill > Drill History.
Verifique a data da última simulação, o total executado e o resultado mais recente.
Na tabela de histórico, clique em View Details para abrir a página de resultados ou em Download Report para obter o relatório HTML correspondente.
Referências
Para saber como ativar e gerenciar namespaces entre zonas, consulte Same-city high availability.
Para detalhes sobre termos de risco e confirmações de pré-requisitos, veja Informed consent for high-risk operations in disaster recovery drills.
Para alocação e ajuste de recursos de namespace, acesse Adjust resources.