时间轴与故障复盘编年史母版

事故根因与处置简述 (Incident Postmortem)

14:10 华东主可用区网关因 BGP 路由震荡引发偶发性丢包（丢包率约 12%）。监控告警触发后，SRE 团队在 6 分钟内启动跨可用区动态切流，14:34 流量平稳切换至华北可用区，服务指标与延迟全面回落至基线。

14:10:02 网关入口产生 502/504 错误突刺故障突发

触发源: Prometheus Alert

多区域拨测探针报告异常，华东可用区入口出现 TCP 握手超时，错误率瞬间攀升至 8.4%。

查看告警原始明细与监控快照

[ALERT] HighHttp5xxErrorRate: cluster="ap-east-01" service="ingress-gw" rate=8.4% threshold=1.0%

14:13:45 SRE 应急值班介入并拉起战备协同应急响应

响应人: @ChenYunqing

值班人员接警并确认故障现象，定位到非核心应用自身 Crash，怀疑为上游机房光缆抖动。

14:18:20 执行流量切流决策，下线异常可用区切流处置

操作命令: failover-az.sh

通过全局调度 DNS 与智能网关权重，将华东可用区权重调整为 0，100% 流量注入华北异地备用机房。

查看执行操作命令

$ opsctl traffic drain --region=ap-east-01 --target=ap-north-01 --graceful-timeout=30s [OK] Traffic switch completed. Ingress upstream healthy: 48/48 nodes.

14:34:10 业务延迟全面平稳，全量恢复正常恢复闭环

持续观察中

华北机房容量水位充裕（CPU 42%，内存 54%），全链路 P95 时延稳定在 38ms，所有业务探活指标回归绿色。