37.7°C热晕了，剑桥大学AI超算瘫痪，350个科研项目集体停摆
最近欧洲人疯抢中国空调的消息传得挺热，但大家有没有想过：
这波热浪之下，恐怕最需要空调的，是AI超算本身（doge）。
这事儿，就发生在英国。
英国目前最强的AI超算之一，Dawn，在30多度的高温天气里直接瘫痪了整整一周。
这台安放在剑桥大学的超算，来头不小：
它是英国政府3亿英镑国家AI算力规划的核心构成，配备了1024块Intel GPU，带有256台液冷服务器，已支撑起超过350个科研项目。今年1月，又拿到了3600万英镑扩容，预期性能提升6倍。
然后，6月底一波热浪来袭，它，歇了。
更让人苦笑不得的是，这台超算上正在跑的研究里，就包括气候变化模拟。
这……
用来预测全球变暖的机器，反倒被全球变暖给打败了
37.7°C，一个国家级超算的"至暗时刻"
37.7°C，一个国家级超算的"至暗时刻"
话说回来，具体发生了什么？
今年6月，英国遭遇了有记录以来最热的六月天。
6月26日，诺福克地区的林伍德镇直接热到了37.7°C，一举打破了1957年和1976年创下的35.6°C纪录。英国气象局都罕见地发布了连续三天的红色极端高温警告。
结果呢？1000多所学校停课，铁路信号因高温失灵，公路路面甚至开始融化。到了6月27日，热浪峰值一到，Dawn超算所在剑桥西区数据中心的冷却系统彻底扛不住了。
Dawn，就此停摆。
△
事后，剑桥大学发言人对外表示：
。Dawn遭遇了热天期间的技术问题，冷却能力现已完全恢复，预计访问将于7月6日重新开放
具体原因没细说，但结果很清楚：从6月27日到7月6日，Dawn"冷却"了整整一周多。对于一台分秒必争、每天砸钱的超算而言，这一周的停摆实在太可怕了。
损失最大的，也已经浮出水面。
剑桥大学Vendruscolo教授的团队当时正用Dawn做帕金森新药分子筛查。Dawn的机器学习能力可以在几天内筛查数十亿个分子，寻找能与帕金森相关蛋白聚集体结合的化合物。如果用传统方法？半年起步，花费数百万英镑，而且只能覆盖Dawn几小时扫完的一小部分。
这一周停机，意味着这条救命"流水线"直接断了。
还有牛津大学的Lennard Lee，他是英国癌症疫苗AI与超算项目的负责人。他的团队拿到了Dawn 10000个GPU小时的算力，正在用AI加速个性化癌症疫苗的靶点发现。Lee之前说过一句话：
以前需要几年才能做到的发现，现在只需要几周。
虽然事后Lee表示数据没丢，工作也不用重做，但
他话语里的庆幸，本身就说明了问题的严重性
另外，英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了；剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了……Dawn上跑着350多个项目，几乎无一幸免。
而制造这一切的黑手，不过是37.7°C。
好，"凶手"抓到了，锅该谁来背呢？转了一圈，好像没人想接。
Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事发后，USystems发了一份声明：
。我们的设备在整个事件中完全按照设计规格运行，表现正常
翻译过来就是：散热崩了，不赖我们，我们的设备本来就不是按这个温度设计的。
那么，是设计标准太保守，还是气候变化太快？
答案很可能是：两者都有份。
英国六月的历史极端温度只有35.6°C，Dawn的冷却系统大概率就是按这个量级设计的。37.7°C，超标了。而且这个"超标"来得毫无征兆，因为上一次达到这个纪录，还是在近50年前。
另外，Dawn并不是唯一的受害者。
同一周，英国朴次茅斯的Queen Alexandra医院冷却机组故障，宣布紧急事件。手术室停了，心导管室停了，影像科也停了。医院还特别告诉患者：
请自带大量饮用水，因为医院里面非常热。
诺福克与诺里奇大学医院（NNUH）更惨：所有MRI扫描仪的冷却系统因高温高湿全部失灵，至少254个门诊被取消。
所以，某种程度上说：
不是超算脆弱，而是英国整个温控基础设施，都没为这种天气做过准备
30多度怎么就热瘫了超算？
30多度怎么就热瘫了超算？
Dawn被热瘫这事儿，放在更长时间线来看，并不意外。
2022年7月，英国遭遇了当时的史上最热天（40.3°C）。Google伦敦数据中心的冷却系统"多个冗余系统同时失效"，只得被迫关机保护硬件，Google Cloud伦敦区域服务中断了超过18小时才恢复。
△
Oracle伦敦南区数据中心当天同样瘫痪，Oracle的声明里用了一个很有意思的词："非季节性高温"。
从2022到2026，4年过去了，类似事件再次上演。
这事儿真就难到不可预防吗？
实际上，30多度搞瘫一台超算，还真有点说法，其中最难突破的瓶颈就是散热。
尤其在欧洲地区，设备多采用自然冷却方式，这天然受限于室外温度。
怎么理解呢？
所有散热系统，不管多先进，最终都要把热量"倒"给室外空气，而室外温度就是整条链条的终极瓶颈。
这条链条展开是这样的：芯片把热量传给散热器，散热器传给冷却液或空气，冷却液传给冷却塔，冷却塔再传给大气。大气是最后一个"接盘侠"。所以当大气自己都37°C了，它自然就接不住了。
具体来说，当室外温度从20°C飙到37°C，冷却塔和干冷器的散热效率可能骤降40%到50%。
有人可能会问，为啥不开空调？因为压缩机在高温下效率下降、电流升高，很容易过热跳闸。Oracle 2022年的事故报告原话就是：
两台冷却机组在被要求超出设计极限运行时发生了故障
Dawn这次的情况，合理推测可能也类似。
它用的是Dell PowerEdge XE9640服务器，配备直接液冷系统，比传统风冷先进得多。冷却液直接贴着芯片表面流过，带走热量的效率远超吹空气。
但关键点还在这里：液冷解决的是机架内部的效率问题。
而冷却系统一旦停摆，后续会引发一连串连锁反应。
研究数据显示，冷却系统停机后，5分钟内服务器入口温度就能从22°C飙升到35°C以上。遇到这种情况，芯片会启动自保：先降频（thermal throttling），主动降低运行速度来减少发热，性能随之暴跌；如果温度继续上涨超过安全阈值，就会强制关机。
运营商这时只有两个选择：让设备自己断电，可能损坏数据；或者主动有序关机，保护硬件但业务停摆。
Google、Oracle、剑桥Dawn，都选了后者。
AI越强，越怕热
AI越强，越怕热
还有更值得担心的。
随着AI数据中心不断"膨胀"，温度对AI的影响可能会越来越明显。
之前看到有人探访数据中心时的一个对比，让人印象深刻：传统数据中心一个机架的功率密度大约5到10千瓦，但AI训练机架已经到了30到50千瓦，Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦（下一代Rubin可能到600千瓦）。
什么概念？一个AI机架100千瓦的发热量，相当于在一个电话亭大小的空间里同时开50台电暖器。想象一下冬天用的"小太阳"，再把它全部塞进一个机柜里，这就是今天AI算力基础设施要面对的压力。
△
更麻烦的是，GPU本身正在变得越来越"热"。
2017年的Nvidia V100大约300瓦，2023年的H100跳到700瓦，2024年的B200达到1000瓦，2025到2026年的B300和AMD MI355X直接拉到1400瓦。七年时间，单芯片发热翻了3到5倍。
所以，不管从数量还是单个芯片来看，随着AI变强，它就越怕热、越需要散热。
至此，两条正在"对撞"的曲线浮现了出来：
芯片在指数级地变热，地球也在加速变热。
事情，变得更棘手了。
Google早在2011年就跑到芬兰建数据中心，Meta去了瑞典北部，都是想用寒冷气候做天然散热。马斯克更是直接想到了去太空建AI数据中心。
但英国政府今年1月刚给Dawn砸了3600万英镑扩容，还在规划爱丁堡的新国家超算。这些设施的散热设计，是按上一个时代的英国夏天算的，还是按正在到来的"新常态"来设计的？谁也说不准。
但有一件事是确定的：
用来预测气候变化的超算，被气候变化给热停了。
这已经不再是一个段子，这是AI时代基础设施必须面对的真实课题。
