智源大会热议AI安全，图灵奖得主建议接受概率性风险

6月12日，第八届北京智源大会现场，智源研究院院长王仲远披露了一组数据：截至目前，智源开源模型超过200个，全球总下载量累计突破10亿次。这个数字本身就说明了开源生态的活跃程度，不过更值得关注的，是开幕式上另一个贯穿始终的议题——AI安全。

行业正在追问一个越来越现实的问题：AI如何稳定、持续、安全地与真实环境交互，真正融入工作流和社会系统？这不再只是理论推演，而是迫在眉睫的工程挑战。

王仲远在接受采访时提到一个关键变化：前两年大家更多是担忧超级人工智能的远期风险，而现在，随着AI智能体和大模型自进化能力的发展，大量可复现的安全威胁已经摆在眼前。相关工具可以绕过现有筛查机制，合成有害蛋白、突破网络漏洞——生物安全与网络安全的威胁正在变得非常具体，不再是科幻小说里的桥段。

说到AI安全，Anthropic是目前全球范围内态度最鲜明的厂商。CEO Dario Amodei认为AI系统正在逼近递归自我改进的临界点，他甚至建议行业暂停前沿AI开发，并提出了《人工智能指数政策》，强调如果按现在的发展速度再持续一两年，世界很可能会迎来他所定义的强人工智能。

对此王仲远回应说，大模型的递归自进化能力确实放大了安全隐患，近期行业也在讨论头部模型对网络安全、生物安全、管理安全的影响，这些都已迫在眉睫。但他同时强调，这不是一家科研机构能单独解决的问题，需要整个行业共同努力——包括产业链升级、跨领域专家联合、政策法规制定，最终实现更平滑的过渡。

现场，2015年图灵奖得主Whitfield Diffie也谈到了安全问题。他给出的观察很有意思：目前行业主流的安全运维模式本质上是控制论思路——程序出漏洞了再修复，发现问题再调整，就像反复转动船舵修正航向。但AI智能体的安全防护存在明显短板：程序、子进程的权限管控机制不完善，无法严格限定行为边界，程序往往能突破预设范围执行操作。这让人联想到人类用工法律里的一些困境——权责边界模糊带来的管理难题。

整体来看，Diffie认为人机交互将成为21世纪的核心议题，重要性甚至超过国际关系、核战争、全球变暖这些传统话题。至于AI最终会不会接管世界？他的回答很干脆：会。但他同时补充说，人机之间不会爆发战争，未来机器会持续为人类分担工作、提供便利，而人类也乐于接受这样的安排。

从安全态度上看，相比Anthropic渲染的AI恐慌，一种更务实的思路正在行业形成共识——不追求绝对"零风险"。Diffie说得很直白：安全本身就不是绝对的确定性事件，人类出行都存在概率性风险，AI安全也一样。密码学追求绝对的规则约束，但AI安全必须接受概率特征。