容灾演练功能通过在工作空间中模拟单个可用区故障,验证 Flink 作业在真实可用区故障场景下的自动迁移与恢复能力。本文介绍如何开通并使用容灾演练功能。
功能介绍
容灾演练以工作空间为粒度发起,工作空间下存在跨可用区(同城高可用)项目空间即可执行。演练时将目标可用区加入可用区黑名单(Zone Blacklist),触发 Flink 故障感知与资源重平衡,将受影响作业驱逐后在健康可用区重新调度,并从最近一次成功的 Checkpoint 恢复运行状态。演练结束后系统生成HTML形式的演练报告,用于审计留档。
演练能力面向高可用客户提供自助验证与合规审计支持,无需平台侧 SRE 人工介入。
使用限制
仅 Intel X86 架构支持,ARM 架构因底层镜像差异不支持。
工作空间下必须存在跨可用区类型的项目空间,即已开启同城高可用。开启方式请参见同城高可用。
演练进行中,目标工作空间禁止执行扩缩容操作,涉及的项目空间禁止执行删除与扩缩容操作。
混合计费模式下,弹性资源上的作业为尽力恢复(Best-Effort Recovery),健康可用区弹性资源不足时,弹性作业可能延迟恢复。
前提条件
已购买并开启同城高可用的跨可用区项目空间。
参与容灾演练的所有可用区(含故障模拟可用区与健康可用区)的交换机网段,均已添加至上下游系统(如 Kafka、RDS、Hologres、Paimon、OSS 等)的访问白名单。
受影响作业均处于 RUNNING 状态,且已开启 Checkpoint 并有成功完成的 Checkpoint 记录。
操作账号具备
flink:DescribeDisasterRecoveryDrill、flink:DescribeInstanceZoneJobs、flink:ListDisasterRecoveryDrills、flink:StartDisasterRecoveryDrill、flink:StopDisasterRecoveryDrill权限。
申请开通容灾演练白名单
容灾演练为白名单功能,需申请开通后方可使用。
登录实时计算控制台。
在目标工作空间的项目空间列表中,存在跨可用区类型的项目空间。
在工作空间操作列,单击容灾演练 > 发起容灾演练。
单可用区项目空间不展示容灾演练下拉菜单。若容灾演练入口置灰,将鼠标悬停可查看具体原因,如“未通过容灾演练白名单校验”或“未开启同城高可用”。
发起容灾演练
请在非业务高峰期发起演练。演练期间受影响作业将出现短暂中断,通常为数十秒至数分钟。
完整端到端业务连续性依赖上下游系统同样具备跨可用区高可用能力。若上下游未开启跨可用区部署,迁移后作业可能出现连接超时、写入失败或数据积压。相关风险条款详见高可用容灾演练高风险操作知情书。
步骤一:选择目标故障可用区
登录实时计算控制台。
在目标工作空间操作列,单击容灾演练 > 发起容灾演练。
在目标故障可用区下拉框中,选择要模拟故障的可用区。
选中故障可用区后,会显示受影响的作业。
确认可用区选择无误后,执行步骤二操作。
步骤二:确认影响范围
查看影响范围预估内容,确认以下信息:
信息项
说明
影响作业
目标故障可用区上处于 RUNNING 状态的作业数量。
RTO
故障恢复到健康可用区的预估耗时。
受影响作业列表
展示每个受影响作业的名称、当前状态与所在可用区。
勾选以下三项确认:
当前为非业务高峰期。
已知悉演练期间作业可能短暂中断。
已阅读高风险操作知情书。
阅读高风险操作知情书中的全部条款,涵盖作业短暂中断、上下游高可用自行保障、混合计费尽力恢复、演练间隔与频次等风险条款。
核对演练摘要,确认目标故障可用区、影响作业数、预计 RTO。
观察演练进度
演练启动后,页面自动跳转至演练进度页,实时展示演练全过程。
页面元素说明:
元素 | 说明 |
进度条 | 展示当前步骤、总步骤、已用时间与进度百分比。 |
可用区拓扑图 | 健康可用区显示为绿色,故障可用区标红并标注"故障模拟中",红色箭头指示作业迁移方向。 |
演练步骤时间线 | 依次展示模拟可用区故障、系统故障感知、执行故障迁移、评估作业影响、生成演练报告 5 个步骤的执行状态。 |
作业迁移窗口为 15 分钟。窗口内未成功迁移的作业将被跳过,作业恢复率会不足 100%。
若需提前终止演练,单击右下角终止演练,在二次确认弹窗中确认。
无论迁移窗口到期、提前终止还是全部完成,均需手动单击结束演练将目标可用区从黑名单移除,恢复调度。
已完成的迁移记录保留在演练报告中。未在迁移窗口内完成的作业,其作业迁移明细的 Checkpoint 列显示为恢复失败。核心指标基于已完成部分计算。
查看演练结果与下载报告
演练迁移结束后,页面跳转至演练结果页。
页面核心信息:
信息项 | 说明 |
核心指标 | 展示 RTO、作业恢复率等指标。 |
作业迁移明细表 | 逐条展示每个作业的原可用区、迁移至目标可用区、迁移耗时、Checkpoint 恢复状态。 |
时间线 | 完整记录演练全流程事件及时间戳。 |
单击下载报告可下载演练审计报告,报告包含演练基本信息、演练配置、演练过程时间线、作业迁移明细等。
结束演练会将故障可用区加入白名单恢复为健康可用区;已迁移的作业将保持在新可用区,不会自动回迁。
查看演练历史记录
在目标工作空间操作列,单击容灾演练 > 演练历史。
可以查看上次演练时间、演练总次数与最近结果。
在演练历史表中单击查看详情跳转至演练结果页,可单击下载报告下载对应的 HTML 形式的演练报告。
相关文档
跨可用区项目空间的开启与管理,请参见同城高可用。
演练风险条款与前置确认,请参见高可用容灾演练高风险操作知情书。
项目空间资源分配与调整,请参见资源调整。