从 AICon 总结大模型落地现状

上周五、周六参加了两天 #AICon 大会，中间还主持了一场关于大模型落地的闭门会——能进门的，必须是已经有实际落地经验的团队。周日沉淀了一天，今天把观察到的东西整理出来，供同行参考。

先简单介绍下 AICon 的背景。它和技术领域的顶级会议 QCon 一样，都是由极客邦主办的，是国内 AI 方向在工程技术和应用技术层面的顶级会议。据极客邦创始人霍太稳透露，今年 AICon 的参会人数已经超过了 QCon，可见 AI 这股热度有多猛。

这两个会邀请的主讲人，几乎没有老板，甚至连 CTO 都不多。绝大多数是某个具体产品、方向的技术负责人，所以内容相当实战。当然，搞 PR 的也有，也会遇到公司限制不能讲这、不能讲那，但毕竟是一线技术交流的场合，主讲人都不想被同行喷，都想树立技术大牛的形象，所以在允许范围内，干货输出还是挺足的。

团队（我们 AGIClass.ai 一共去了四个人）散开来听，再交流碰撞，最终形成的观察如下：

1. 模型厂商还拿不出像样的落地案例
   ，所谓的杀手级应用连影子都没有。产品和技术团队的主要精力，依然在追赶 OpenAI 的路上，忙着提升模型性能。

2. 有场景、有技术的公司，对大模型相关技术的探索已经相当深入了。
   哪怕是套壳，也套得很厚。效果不错，但还谈不上什么碘伏，只能说值得期待、值得继续优化。不过也不排除另一种可能——效果太好了，只是不方便让别人知道。

3. 微调项目非常多，甚至还有在做继续预训练的。
   但不少项目辛苦调出来的效果，换一个不微调的新模型，大概率也能实现。在业务用量没上来之前，微调的性价比优势很难体现出来。

4. 多 Agent 已经成为主流的应用构造方式。
   不过这里的 Agent，不是学术圈追捧的那种能做强规划的类型，而是工业界一条专门做一件事的 prompt，就可以算一个 Agent。

5. 技术上基本只有“做过”和“没做过”的区别，没有水平高低的区别。
   大模型相关的技术门确实比较低。但一条精细打磨出来的 prompt，就是一道护城河——谁都不愿意告诉别人。

6. Prompt 玄学并非一劳永逸。
   不仅换模型、模型升级要重新调，甚至在交付的最后一米还要做定制。就算通用测试已经能跑通 90%，但个别用户偏偏就要那 10%，不得不针对性地适配。交付的工作量真不低。

7. 能不能拆出合理的 flow，以及把每个节点上的 Agent 调到最优，这是关键。
   这个 flow 不是简单映射人类工作的 SOP，而是可以拆得更细。比如喜马拉雅分享的 AI 写作案例，写开头和写结尾的，分别是两个不同的 Agent。

8. 懂不懂业务，是能不能拆出合理 flow 的关键。
   这里的认知差距，远大于技术差距。要抹平它，需要业务和技术双方共同努力。

9. 可能是技术大会的原因，感觉多数项目还是技术驱动，而不是业务驱动的
   ——尤其是面向公司内部提效的项目特别多。不知道行业全貌是怎样的。产品经理们，赶快支棱起来啊！