关于大模型在产品开发中所面临的问题

具体问题具体分析，大模型技术没有统一的解决方案

2024年被很多人称为大模型应用的元年。从长远来看，这项技术的潜力毋庸置疑，人工智能也理所当然地被认为是下一个风口。我们能看到，形形色色基于大模型技术的创业公司，正像雨后的春笋般不断冒出来。

从应用落地的角度来梳理，大模型的主要方向无非是几个：智能体（Agent）、AIGC、聊天机器人等等。严格来说，聊天机器人其实更应该被归类为基于大模型的知识库问答系统。随着多模态大模型的出现，应用场景确实变得更丰富、更强大。但别被这股热潮冲昏了头脑——这并不意味着基于大模型的产品已经完美无缺。恰恰相反，实际落地时问题还真不少。

不同应用方向下的真实困境

下面，我们就从应用的角度，挨个盘一盘大模型在几个主要方向上到底碰到了哪些坎。

AIGC：通用模型的“偏科”问题

AIGC是大模型最广为人知的应用方向。所谓的AIGC（AI生成内容），在它之前还有PGC（专业生成内容）和UGC（用户生成内容）。说白了，就是利用生成式AI的能力去替代或辅助人类创作图文和视频。

当然，文字、图像、视频只是AIGC的一部分。它还包括文档总结、视频总结、PPT/WORD处理、文生图、语音处理、数字人、人物仿真等众多细分领域。听起来百花齐放，但对大部分创业公司来说，从头开发、训练或微调一个自有模型，成本高得吓人。所以，更现实的选择是接入第三方大模型来构建业务系统。

问题就出在这里。第三方模型虽然经过了海量数据的洗礼，但在你所在的特定领域，缺少针对性的微调或专项训练。这样一来，内容生成的质量就成了一个巨大的赌注。举个例子，某公司想做一款文生图工具，选了个表现不错的第三方模型。在通用场景下，它确实能画得不错。但如果需求一下子切到某个细分领域，比如现在很火的AI古风视频创作——这个模型能理解大众审美，可如果你想要它生成一套“小蝌蚪找妈妈”的视频分镜，效果可能就大打折扣了。

为什么会这样？其实很好理解。大模型就像一个人，每个人都有自己的强项。齐白石以画虾闻名，徐悲鸿以画马著称。他们都是大师，但擅长的完全不是一回事。模型也一样，即使能力再强，也很难在所有领域都做到顶尖。

所以说，无论是在文本、图像、视频还是其他AIGC场景，通用大模型的表现往往都很普通。想让它在某个特定方面表现出色，就必须对它进行针对性训练，也就是微调，或者干脆针对不同场景开发一个新模型。但这对绝大多数公司来说，无论是从成本还是技术上考量，都极不现实。

那该怎么办？最聪明的做法，其实是把自己的业务牢牢限定在某个特定领域下的几个高度聚焦的场景里。与其四处撒网、什么都想碰，不如在一个点上死磕出深度来。

Agent：理想很丰满，规划却绕路

智能体（Agent）是大模型的又一个主要战场。它的核心，是让大模型利用自主规划能力，自己去分析问题、制定方案，然后调用外部工具去完成任务。

想象一下，你是个导游，每天要挖掘新游客、设计旅行方案、还要操心订门票、住宿、餐饮。如果用了Agent，你只需要告诉大模型你的需求，它就能自动搞定一切。比如，让它制定一份招揽新游客的方案，同时根据不同的路线设计详细行程，还要考虑天气、路线，甚至推荐沿途的住宿和餐饮。

理论上这就是Agent的魅力：靠大模型的规划能力，通过提示词和思维链等技术，自动分析、自动解决。但问题是，目前Agent的表现还不成熟。原因很简单——大模型的推理与分析能力还没强到那个地步。你让它帮你制定一份旅行计划，它可能给你出的主意是：早上还在成都看熊猫，下午就直接飞到云南看洱海，晚上却住到了北京王府井。

而正常的逻辑应该是：早上去熊猫基地，中午在附近吃个便饭，下午退回市区，晚上溜达锦里和宽窄巷子，最后在武侯祠附近找个酒店住下。这才是一个有可能真正执行下去的计划。

目前Agent的发展趋势，是把大模型的推理能力与外部工具结合起来，借助工作流的方式，把它们整合成能完成特定任务的Agent。然后，再让多个不同功能的Agent协同作战，共同完成更复杂的任务——像字节旗下的“扣子”Agent平台就属于这一类。所以对于Agent而言，提升大模型的推理和规划能力才是真正的关键。这个问题绕不过去，一旦解决不了，Agent就很难真正走向成熟。

知识库：补偿大模型的“记忆短板”

知识库技术，其实是一个挺有意思的存在。它既是大模型的一个应用方向，也可以看作是对大模型能力缺陷的一种补偿策略。

众所周知，大模型天生就有一个“知识短板”。因为它不会主动学习，它的知识永远停留在被训练出来的那一刻。除非你重新训练或微调它，否则它的“大脑”就一直停在过去。另外，训练数据本身也是有限的。数据过多，还可能导致过拟合，让模型在某些领域表现不佳——这同样是知识短缺的一种表现。

于是，知识库的独特作用就浮现了。它通过构建一个外部的知识库，让大模型每次回答问题之前，先到库里查查相关资料，做到“有据可依”。同时，大模型一个非常棘手的顽疾——幻觉问题——也能通过知识库有所缓解。虽然能不能根治还不知道，但起码能把出错概率压低一些。

然而，知识库面临的难点，其实主要不在大模型本身，而在于知识库的建设。海量数据怎么存？存完怎么检索？检索的效率和准确性怎么提升？不同格式的资料怎么统一处理、加载和分析？这些全都是绕不开的硬骨头。

拿《西游记》来说。如果把它作为整本名著加入知识库，用户想问的是关于孙悟空的事，那要怎样从这本大部头里抓到最相关的内容？用户可能输入“孙猴子”“孙悟空”“齐天大圣”“弼马温”“泼猴”“老孙”——这些都是同一个角色的不同指向。知识库能不能把这些关联起来，准确检索出用户真正想问的内容？是“三打白骨精”，还是“当弼马温”，或是“女儿国”？

这些，就是知识库技术必须直面的挑战，也是RAG（检索增强生成）技术要下大力气解决的问题。

总的来说，大模型的应用还处在摸索期。大家都在摸着石头过河。而且，不同应用方向面临的难题各不相同：AIGC领域主要在“输出质量”上较劲，出路是训练和微调；Agent领域卡在“推理与规划”能力上；而知识库系统最头疼的，其实是“知识的存储与高效检索”。

无论个人还是企业，能做好其中的一两项就已经很了不起了。想同时解决这三个问题，几乎不太可能。

这就是大模型在应用落地过程中，不得不面对的现实难题，以及目前能看到的一些解题思路。