Havenlon｜历史中的执行控制（十）：三哩岛 Three Mile Island——当系统发出太多信号，却没有形成正确状态判断

这是历史中的执行控制系列的第十篇。第一篇历史中的执行控制一诺曼底登陆 D-Day 的天气窗口——没有正确的执行窗口就不执行。第二篇历史中的执行控制二切尔诺贝利——不要让错误穿过所有边界。第三篇历史中的执行控制三阿波罗 13——失败不是终点边界才是系统韧性。第四篇历史中的执行控制四图灵与 Bletchley Park——不是破解密码而是重构决策优势。第五篇历史中的执行控制五珍珠港——信号必须及时改变执行状态。第六篇历史中的执行控制六挑战者号 Challenger——工程边界不能被执行压力压过。第七篇历史中的执行控制七Therac-25——软件不能替代所有硬件安全边界。第八篇历史中的执行控制八火星气候轨道器——接口通过不代表语义一致。第九篇历史中的执行控制九阿丽亚娜 5 号——复用成功代码不代表新场景依然安全。前面九篇里珍珠港讲的是信号太少、来不及反应。这一篇讲它的镜像信号太多控制室里灯光、警报、仪表一应俱全系统却始终没搞清自己到底处在什么状态。摘要三哩岛事故常被理解成一次设备故障与操作失误共同造成的核电站事故。但从 Havenlon 的视角看它揭示的是一个更值得今天重新理解的问题系统拥有大量信号不代表系统真正理解自己处于什么状态。事故初期一个泄压阀在完成泄压后没有按预期关闭但控制室的指示让操作人员以为它已经关闭与此同时警报响起、指示灯闪烁多组仪表提供的信息又不完整甚至具有误导性操作人员迟迟没有识别出系统正在持续失去冷却剂。这不是没有信息——恰恰相反控制室里充满了信息有告警、有灯光、有仪表、有压力、有水位、有设备状态、有操作程序。真正的问题是这些信号没有被组织成一个正确的系统状态判断。三哩岛给执行控制的第十课是告警不是边界数据不是状态。真正可靠的系统必须把分散信号转化成可以约束执行的状态判断。一、先把历史讲准确三哩岛核电站位于美国宾夕法尼亚州、萨斯奎哈纳河中的一座小岛上距哈里斯堡东南约 10 英里。出事的是 2 号机组TMI-2——一座压水堆PWR近乎全新。1979 年 3 月 28 日约凌晨 4 点机组在约 97% 功率下运行时二回路非核部分的主给水泵突然停转导致汽轮机与反应堆先后自动停堆控制棒在几秒内落下一回路压力随即上升。为了泄压稳压器顶部的先导式泄压阀PORV*按设计打开蒸汽和水开始通过排放管流入安全壳内的水箱。约十几秒后随着压力回落这个阀门本应关闭——但它*卡在了开启位置并且一直开着约2 小时 20 分钟。头 100 分钟里大约32000 加仑冷却剂超过堆芯容量的三分之一就这样流失这是一场典型的失水事故LOCA最终导致 TMI-2 堆芯部分熔毁。这里有两个细节是理解整起事故的关键也正好是本篇的两条主线。其一控制室仪表显示的不是阀门的真实状态。操作员之所以以为 PORV 已经关闭是因为仪表反映的只是关闭信号已经发出电磁阀已断电——而不是阀门的真实机械位置。控制室里根本没有一个直接显示阀门实际开闭的仪表。其二稳压器水位是一个具有误导性的间接指标。在压水堆里装堆芯的压力容器正常时总是充满水所以并没有为它设计一个堆芯是否被水覆盖的水位表。操作员于是默认只要稳压器水位足够高堆芯就一定被水覆盖着。可实际上此刻堆芯里正在形成蒸汽空泡、把水顶进稳压器——稳压器水位偏高恰恰发生在堆芯正在失水的时刻。操作员看到水位不断上升又害怕稳压器充满而失去压力控制于是节流、切减了应急高压注水HPI还关掉了因抽送汽水混合物而剧烈振动的主冷却泵。这几个动作把一个本可控制的局面推向了熔堆。还有一点值得记下这并不是 PORV 第一次卡开。它是巴威Babcock Wilcox机型的老毛病同样的顺序早在 1977 年的 Davis-Besse 电站就发生过——只是当时一名操作员及时识别出阀门开着并封堵了它。一个已经被看见过的前兆没有变成全行业的教训。事故后由达特茅斯校长约翰·凯梅尼John G. Kemeny领衔的总统调查委员会得出结论这是设备故障、设计缺陷与人因/培训问题共同作用的结果而非某一个人的单独错误。就后果而言官方评估认为周边约 200 万居民平均仅额外受到约 1 毫雷姆的辐射剂量、对工作人员和公众没有可检测的健康影响尽管一些反核团体对此有争议。它至今仍是美国商业核电史上最严重的事故。二、控制命令成功不代表设备真实状态正确PORV 那个细节揭示了一个至今仍普遍存在的问题命令状态不等于现实状态。系统发出了关闭命令不代表阀门真的关闭。放到今天API 返回成功不代表现实动作真的按预期完成交易已经提交不代表最终执行对象和意图完全一致设备回报已接收不代表物理机构已经到位Agent 完成了工具调用不代表现实世界已经进入安全状态。很多软件系统习惯把请求已发送当成动作已完成把流程成功当成现实正确。但在执行控制里这两者必须被严格分开Command ≠ State命令不等于状态。Havenlon 强调的执行证据正是为了回答这个问题——不是上层说自己发出了什么而是最终执行层究竟做了什么。三哩岛缺的那个仪表就是这样一层证据一个显示阀门真实位置、而非命令信号的独立反馈。三、数据正确不代表推断正确三哩岛的很多仪表其实并没有损坏稳压器水位读数本身也可能是真的。问题在于操作员是通过这个间接指标去推断堆芯的状态——而这个推断本身不成立稳压器水位高并不能证明堆芯区域也有足够的水。这意味着一个读数可以是真的但基于它形成的系统判断仍然可能是错的。这和上一篇火星气候轨道器的语义错配有相似之处——数字没伪造、格式没损坏、信号也许准确反映了某个局部部件但系统把局部信号解释成了一个更大的结论。这是复杂系统里极常见的错误局部正常被推断成整体安全命令成功被推断成动作完成某个指标正常被推断成状态正常审批通过被推断成执行安全签名合法被推断成意图正确SaaS 显示允许被推断成本地必须放行。高风险执行不能依赖这种未经验证的推断。Havenlon 要追问的是这个信号究竟证明了什么它没有证明什么从信号到状态之间是否存在一个没有被验证的假设四、告警过载会让真正重要的信号失去优先级告警系统的初衷是让异常被看见。但当上百条告警同时涌出时告警本身会变成新的障碍。三哩岛控制室当时警报大作、灯光闪烁——事后的人因研究长期聚焦于控制室设计、告警显示与信息可用性其中一个典型问题是操作员没有注意到安全壳集水坑高水位报警而那恰恰暗示着一回路正在泄漏。告警过载最危险的地方不是让控制室变吵而是让系统失去优先级哪个信号代表根本原因哪个只是后续反应哪些告警其实来自同一个故障系统当前最该保护的目标是什么如果一个系统只是把所有异常平铺出来它其实是把理解这项最难的任务整个甩给了操作者——这不是状态判断只是信息转移。现代系统有同样的病安全平台几百条告警、运维平台几千条日志、AI 生成大量风险解释、多个监控工具同时报告不同指标、审批链里堆满提示与评分。看起来信息极其丰富但在真正的执行窗口里系统仍然回答不了那个最重要的问题——现在到底能不能继续执行五、真正缺少的不是更多仪表而是状态模型三哩岛告诉我们复杂系统不能只靠增加传感器和仪表来解决问题。更多数据当然有价值但系统还需要一个能把信号组织起来的状态模型它必须能够区分命令状态与真实状态、局部指标与整体状态、原因信号与结果信号、瞬时异常与持续故障、正常波动与安全边界突破、可以继续执行与必须进入降级。没有这样的状态模型控制室可能握有所有局部信息却依然读不懂系统整体。这对 Havenlon 非常关键Havenlon 不应该只是另一个告警平台也不应该只是把更多策略、审批、设备状态和证据堆在同一个页面上。它真正要形成的是一个明确的执行状态——允许执行、需要升级审批、需要重新绑定意图、需要本地确认、需要进入安全模式、必须拒绝执行。信息必须收敛成状态状态必须影响边界边界必须约束执行。否则再多信号也只是背景噪声。六、错误动作往往来自错误的状态理解三哩岛的操作员并非没有行动——恰恰相反他们做了很多动作只是因为对系统状态的理解出了偏差一些动作节流应急注水、关停振动的主泵不但没帮系统恢复反而加剧了失水。这说明一个重要问题执行错误不一定来自恶意也不一定来自没有权限它可能来自错误的状态判断。操作者是合法的、权限是正确的、程序也允许该动作、目标甚至是保护系统——但只要状态判断错了合法动作仍会产生错误后果。这正是为什么 Havenlon 不能只验证身份和权限。身份回答谁在操作权限回答他是否有权操作但执行控制还必须回答第三个问题在当前系统状态下这个动作是否仍然应该发生Owner 有权限不代表任何状态下都能执行管理员有权限不代表设备异常时仍应放行Agent 有工具权限不代表上下文不确定时仍应继续审批已经完成不代表系统状态没有变化。权限是静态资格执行状态是动态边界两者不能混为一谈。七、程序如果建立在错误模型上只会更稳定地执行错误事故发生时操作员并非没有程序可依。但早期核电站的应急程序更偏基于事件先判断发生了哪一种已知事故再按对应程序操作。三哩岛之后行业和监管逐渐转向基于症状的应急程序——不要求操作员先准确命名事故而是围绕关键安全功能和实际状态采取行动。这个转变很有启发性复杂系统里真正的异常往往不会严格按预设剧本发生。如果系统必须先正确识别这是什么事故才能决定怎么办那么一旦事故形态超出预期整条执行链就会建立在错误分类之上。AI Agent 面临一模一样的问题。它会先给场景归类这是普通退款、这是正常部署、这是常规转账、这是低风险数据导出、这是标准权限变更……一旦分类错误后续每一步都会合规地沿着错误类别推进——形式上没有违规步骤也很顺畅但系统在稳定地执行一个错误模型。所以执行控制不能只相信上游对事件的命名还必须核对实际症状资产是否异常变化对象是否与 Intent 一致设备状态是否异常策略是否冲突证据链是否连续不要只相信系统说它是什么要检查系统实际上处于什么状态。八、AI 时代信息过载会比信息不足更常见三哩岛发生在 1979 年当时控制室的计算与显示能力远不如今天。但它揭示的问题在 AI 时代反而可能更严重——因为未来的系统不会缺少信息更多传感器、更多日志、更多风险评分、更多行为分析、更多模型解释、更多 Agent 汇报、更多策略来源、更多审批意见、更多实时状态。真正稀缺的不是信息而是可信的状态收敛能力。AI 可以飞快地解释每一条告警、生成几十种原因、推荐多个方案、同时监控大量系统——但它是否能可靠回答现在到底处于什么状态哪些信号来自共同原因哪个是事实、哪个只是推断哪个动作可逆、哪个不可逆当前该继续、降级、冻结还是拒绝如果这些问题没有明确答案AI 只是在更快地生产信息。更多解释不一定带来更多控制更多建议也不一定形成更强边界。九、Havenlon 的答案让状态收敛先于执行让边界高于仪表盘Havenlon 的执行控制不能建立在收集到足够多数据之后自然会安全这个假设上。它必须完成一个更明确的过程信号进入 → 事实验证 → 状态收敛 → 边界裁决 → 最终执行 → 证据形成。在这个过程中要严格区分三种东西。第一种是观察到的事实设备报告了什么硬件实际状态是什么哪个模块做了签名当前计数器和哈希是什么请求实际包含什么第二种是系统作出的推断这可能是哪类风险请求是否异常成员是否可信情境是否符合历史模式第三种是最终执行状态允许、拒绝、降级、等待确认、进入 Safe Mode。事实可以来自设备推断可以来自策略、软件或 AI——但最终执行状态不能被模糊的推断直接替代。这就是 Havenlon 的分层不信任软件可以解释SaaS 可以协同AI 可以提出判断人可以参与审批但最终执行层必须依据可验证的事实和本地边界重新裁决。今天很多安全产品容易制造一种视觉幻觉屏幕很大、数据很多、图表很复杂、告警颜色醒目、评分持续跳动、每步都有日志——于是人们感觉系统已经受控。但三哩岛提醒我们看得见不等于看得懂看得懂不等于能阻断。一个告警若不能改变执行状态它只是提示一个仪表盘若不能形成边界它只是展示一个风险评分若不能触发降级它只是数字一个审计日志若只能事后查看它只是记录。可观测性回答的是发生了什么而执行控制必须再往前走一步回答接下来什么仍然被允许发生——这正是 Havenlon 与普通监控系统的分界线。十、从十篇看主线执行控制的第十个侧面D-Day没有正确窗口不执行。切尔诺贝利不要让错误穿过所有边界。Apollo 13失败不是终点边界才是系统韧性。Bletchley Park不是破解密码而是重构决策优势。珍珠港信号必须及时改变执行状态。挑战者号工程边界不能被执行压力压过。Therac-25软件不能替代所有硬件安全边界。Mars Climate Orbiter接口通过不代表语义一致。Ariane 5复用成功代码不代表新场景依然安全。Three Mile Island信号很多不代表系统形成了正确的状态判断。这十篇共同指向一个越来越清楚的判断高风险执行不能只依赖更多信息——它需要把信息收敛成状态再让状态进入边界。结语三哩岛不该被简单总结成操作员看错了仪表。真正的问题远比这复杂阀门的真实状态与指示之间存在错位局部水位被误推断为整体冷却状态大量告警没有形成清晰优先级控制室信息不足以直接回答关键安全问题而程序、培训和系统设计也没有帮操作者快速建立正确的状态模型。凯梅尼委员会与后续监管复盘都把它视为技术、人因、管理与监管共同作用的结果而非某一个人的单独失误。这正是三哩岛给 Havenlon 的第十课复杂系统最危险的时刻不一定是没有信号也可能是信号太多却没有任何一层知道系统究竟处在什么状态。AI 和自动化时代我们会拥有前所未有的信息能力。但信息不是边界告警不是状态解释不是裁决仪表盘也不是执行控制。真正可靠的系统必须完成最后一步让事实形成状态让状态改变边界让边界约束执行。 当系统无法确认自己处于安全状态时正确答案不该是继续猜测——而应该是条件不清楚不执行。参考资料U.S. NRC,Backgrounder on the Three Mile Island AccidentReport of the Presidents Commission on the Accident at Three Mile Island凯梅尼委员会1979 年 10 月The Need for Change: The Legacy of TMINuclear Energy Institute,Lessons From the 1979 Accident at Three Mile IslandWorld Nuclear Association,Three Mile Island AccidentAmerican Nuclear Society,TMI Accident in BriefWikipedia,Three Mile Island accident含 Davis-Besse 1977 前兆与 BW 机型 PORV 问题