Claude Code之父:Harness保质期只有半年,解开缰绳吧
Boris Cherny访谈深度解读:产品迭代、模型解缚与AI使用之道
近期的YC访谈视频中,Claude Code之父Boris Cherny分享了一系列关于产品设计、模型使用和编程学习的深刻见解。他大胆建议,开发者应定期“删除”系统的提示词、工具和代码,这一观点源自“消融实验”(Ablation Study)的概念。
本文将从产品迭代策略、产品悬余与解缚、实用建议三个方面,深入解析Boris Cherny的核心观点。
一、产品迭代策略:少一点预判,多去做测试
Boris Cherny指出,每六个月,删掉你的Claude.md,删掉你的skills,删掉你的hooks。 这一建议的核心是“消融实验”(Ablation Study),即在控制其他条件不变的前提下,移除、替换或关闭一个模块,去比较性能、稳定性、效率或成本的变化。
“你应该把整个系统提示词全删掉,然后一行一行加回来,看看每一行到底有什么影响。”Boris在访谈中解释道。他认为,人们不应去猜测模型需要什么指令,因为“根本猜不对”。正确的做法是:一行行去删除,去测试,找出模型反复卡住的地方。
关键观点:
因此,这对于Boris而言是更偏向“经验性”的,需要用科学的态度予以对待:不加预判地尝试,查看结果,迭代,重复。
在这样一个不断推倒重来的世界里,Eval(评估)也未必能稳定使用。尽管它确实比harness和prompt耐用,但眼下模型进化太快,很多时候一套评测会被很快刷到满分。因此,需要观察模型到底在哪不断挣扎,然后设计新的Eval。
△
小提示: 定期进行消融实验,可以帮助你发现哪些指令是真正必要的,哪些是冗余的。这不仅能优化产品,还能节省成本。
二、一种思维:产品悬余与模型解缚
(一)产品悬余(Product Overhang)
Boris分享了一个对他做产品很有帮助的思考方式——产品悬余(Product Overhang)。
大模型以不连续的跳跃式速度跃迁,而产品集成却以连续的增量式节奏推进。这导致模型所具备的能力总会超出现有产品所能释放出的边界。Boris举了一个例子:2024年底Sonnet 3.5刚推出的时候,这个模型就已经能一次性写整个文件的代码了。但当时的编程产品Copilot、Cursor早期版,还在做补全代码这样的小事。
拥有完整终端权限的Claude Code一定程度上弥补了这种差距。
(二)模型解缚(Unhobbling)
Boris提出了第二个概念——解除束缚(Unhobbling),即拿掉限制。
他分享了Anthropic内部的案例:有人尝试给Opus 5接入OpenCV(全球最大开源计算机视觉库),结果发现模型能自己画出人物肖像、动物风景,而此前他们从未训练过模型去画画。这就是“模型激发”(Model Elicitation),在不改变模型权重的前提下,通过提示词、上下文、工具或产品形态的设计,让模型表现出它本已具备、但此前未被调用的能力。
尽管这里或许还存在着疑问:如何归因?究竟是模型被激发出了原本就具备的能力,还是模型因为“脚手架”设计而学会了新的技能?不过,Boris毫不怀疑此间存有巨大的商业机会。
△
Boris提出的三条模型解缚方法:
- 给模型比你想象中更难做的任务。描述清楚目标和边界和退出条件,然后就放手。
第一,
- 多去做实验。允许模型做一些没有明确商业目的但好玩的尝试,“给自己自由去玩模型、去做有创意的事”。
第二,
- 让模型自己验证成果。如今的重点已经不是“prompt engineering”了,问题在于,“当你给Claude分配了一个非常困难的任务之后,你怎么让它在过程中就去验证自己做的工作?”
第三,
Boris认为第三点可能是如今大家做的最不尽如人意的一件事。因为如果模型不能自我验证任务,它就无法长时间独立运行。
△
自己的例子:
Boris:“好吧,我要你做的是——把Electron 应用重写成 Swift。我要你在Mac虚拟机里运行Electron应用,截屏,然后逐像素对比,跟Swift版本比,没做完就不要停。”主持人:这就是你的prompt?Boris:这就是我的prompt。主持人:跑了多久?Boris:还在跑。主持人:什么时候开始的?Boris:已经跑了两个多星期了,大概 14 天、15 天吧……Claude 还决定做直播,它做的事情是在内部建了一个Slack频道,然后每隔几分钟就发一张进度截图。
小提示: 尝试让模型独立完成更长、更复杂的任务,并赋予它自我验证的机制。这往往能挖掘出模型的巨大潜力。
三、Boris给AI使用者和创业者的实用建议
(一)如何像顶尖用户一样使用Claude?
Boris表示,最重要的是别去听LinkedIn上那些网红说的,别去刷Twitter。关于使用AI,“每个人都在找那种‘奇技淫巧’。但根本就不存在那种东西。没有那种东西。”
他建议大家用经验主义方式对待模型,忘掉过去对旧模型的经验和课堂上学的计算机科学理论,直接观察模型在哪里卡壳,再针对性调整。
“所以它已经不是一门理论科学了,它已经变成了一门经验科学。我觉得那些特别擅长放下自己的先验,放下那些‘以前不行’的想法,愿意再试一次的人——会非常非常成功。”
更重要的是保持一种心态,那就是放下自己对模型的“控制欲”,把模型当同事一样相处,不过度指定,不做太具体的要求,不试图让模型完全按照你会做的方式去做任务。因为“模型不是那样工作的”。
△
(二)给编程学习者的3个建议
对于那些还在学习编程的人,Boris呼吁不要只学纯计算机科学理论,要学如何应用。例如他本人最初学习编程的动力也是为了在数学考试中作弊。
“通常这关乎创业,关乎做产品,关乎培养你自己的设计感、商业感,学会怎么做数据科学,学会怎么跟用户对话……当你把它们和计算机科学、工程结合起来的时候,才会变得真正有价值。”
总之,“先做自己想要的东西,再升级去做别人想要的东西”。
常见问题与解答
问:消融实验具体怎么做?
答:从你的系统提示词中,一次删除一行或一个主要部分,然后测试模型的表现。观察删除后模型是否出现卡顿、错误或性能下降。如果删除后模型表现更好,说明该部分可能是冗余的。问:如何判断模型是否被“解缚”成功?
答:观察模型是否开始执行你从未明确指示过但属于合理范围内的任务。例如,Boris的例子中,Claude在重写代码时,自己决定在Slack上发截图。这就是模型被“激发”出的独立行为。问:如果模型自己验证任务时出错了怎么办?
答:需要为模型设定清晰的验证标准。例如,指定“逐像素对比”或“运行测试用例”等客观指标。如果模型在验证过程中间出错,你可以调整验证指令或提供更明确的反馈。