AI+知识管理，助力企业高效创造价值

从知识管理到智能问答：阿里云产技知识的大模型实践

人工智能技术正在快速重塑企业知识管理的面貌。如何借助大模型的能力，构建一个既高效又智能的知识库问答系统，进而提升服务品质和运营效率，已经成为不少企业关注的核心课题。

这次分享，我们就聚焦在通义大模型和百炼的基础上，看看阿里云是如何将自身视为一家企业，结合知识与AI，来创造价值的。主要从四个方面展开：

• 阿里云的知识采集管理实践，先看看我们在AI领域的构想和现状。
• 最早也是最成熟的智能应用——智能问答产品，描述当前产品知识在AI方面的应用情况。
• 很多企业关心的：如何产出高质量的知识内容。
• 内容和效果完善后，如何在集团企业内部广泛运营传播，产生业务价值。

01 阿里云产技知识管理实践

阿里云的产技知识是其知识最核心的组成部分。我们的知识管理有几个核心理念：知识管理最终目标是为了提升业务效率，同时要对知识本身进行运营；用户既是使用者，也是内容生产者，通过社区化运营来实现；知识来源于业务，最终也要服务于业务。这些是我们做知识管理的出发点。

在AI时代，知识的生产和管理方式必然要发生变化。我们采用“一加N”的模式——横向拉通整个阿里云众多不同条线的产品或技术领域。知识生产则采用“三环”方式：第一环是官方材料，即最正式、质量最高的内容，完全由内容管理方生产；第二环由内容管理方定义框架、规划甚至输出模板，再由各业务方或产线填充内容；第三环则由广大条线部门人员和用户拓展不同内容。这三个层次分别对应不同的内容质量和生产方式。之所以详细说这个，是因为它和我们基于大模型进行内容利用与治理密切相关。我们需要思考，如何把知识管理理念与大模型更好地结合，利用大模型的能力把知识管理落地到业务中，提升效率。

从去年开始，我们基于通义千问和百炼构建了一系列应用。有些纯粹跟知识管理相关，有些直接面向业务——比如面向产品管理生命周期、需求管理提效的AI增强应用，以及售前过程中的AI增强能力。从建设之初，我们就把它规划为一个大的框架，称为“产品博士”，如今它已经成为我们产品知识的专属模型。基于这个模型的能力，未来还会不断拓展更多新应用，更好地衔接知识与业务。

02 智能问答产品介绍

接下来聊聊智能问答。它是我们从去年5月开始做的、最早的应用。选择智能问答作为第一个切入点，原因有两点：第一，它本质上是LLM最直接的应用形态，大家比较熟悉，技术上也相对成熟；第二，我们希望通过做智能应用，沉淀出产品专属知识的专属模型能力。因为在这个过程中，需要大量的内容治理工作。当整个工作完成后，产品知识被打磨好，这部分知识就可以被其他应用复用。

从今年年初发布上线到现在，我们又陆续打造了一些新的应用，它们都源自于我们事先做好的产品知识内容。智能问答包括几个应用场景：最基本的是基于产品询问相关信息，比如功能、优势、特性、原理、场景等。但客户通常不会这么问，他们更可能会问：“我要做一个某某业务，可以用什么产品或产品组合来满足？”所以我们也提供了基于场景或功能查找产品的能力。

我们打造的这个智能问答应用，定位是专门面向阿里云的产品知识，回答产品知识各方面的问题。目标用户是阿里云内部员工，尤其是前线销售队伍。除了两个主要的问答能力外，还整合了一些周边能力，比如查找产品相关的产品经理、案例、解决方案、产品参数以及产品竞品对比等。经过几个月的打磨和几轮优化，产品在今年2月推出。从全年运营情况看，得到了前线核心用户群体的积极反馈，目前是整个公司内使用量最大的智能应用。

流量并非仅靠运营就能取得，一定是有较好的实际问答效果才会被认可。效果取决于两个方面：一是模型的能力，二是内容的质量。

模型能力可以分两个层次。第一层是基模，基模的能力和参数规模对效果有全局性、根本性的影响，非常明显。第二层是基于基模的百炼。对ToB业务来说，必然要通过百炼来调用基模的能力。百炼提供了Prompt、SFT、RAG等能力，直接使用这些能力就能撬动基模的智慧。我们今天讲的智能问答应用就是基于百炼的RAG能力，同时内置了系统级Prompt。

第二个层面是内容质量。很多客户初次结合大模型做智能应用时，常常不知道如何处理内容，效果未必能达到预期。当模型确定后，能下功夫的地方就是内容。今天也分享一下我们在内容方面的实践。

我们的智能应用主要用到三方面的知识内容，这是我们人为划分的，但我觉得对任何企业来说，无论知识形态如何，也可以类似划分。先看结构化数据内容，它代表一类非常准确客观的数据，直接存在数据库里，最客观、可信，几乎不需要治理，可以直接使用，尤其是在直接问到相关数据时，甚至可以不经过内容生成就直接给出答案。但这类内容的覆盖范围通常不够大。

所以还需要一部分核心知识内容，去覆盖90%以上询问产品各种知识的情况。我们构建了一批核心知识内容，要求质量必须有保障。这些内容来自过去知识管理过程中沉淀的高质量材料，比如产品知识库、赋能认证材料等。为了覆盖更全面，还会有各种扩展知识内容，应对产品周边问题，比如市场洞察报告、客户案例、解决方案资料等，用以提高覆盖度。

03 体系化内容设计与标准化内容生产

接下来介绍我们是如何产出高质量的知识内容的。

这样做效果通常不会好，因为手上内容往往没有经过规划，是历史沉淀下来的。如果直接使用，当问到知识盲区时，就会发现缺乏知识内容，回答效果肯定不好。所以不能有什么就用什么。正确的做法是先做内容规划和策划。就好比写代码之前要先做软件架构设计，今天我们也要先做内容的架构设计。围绕智能应用的定位，分析面向的人群和需要提供的问答范围，根据这个范围确定我们需要哪些知识模块和知识点，这些知识点就构成了知识地图，这是内容策划架构的成果物。有了知识地图指引，自然就知道缺什么，缺什么就补什么。

企业里知识内容往往非常庞大，经过十多年沉淀，但很多知识有生命周期，有的已经很陈旧却没有被更新。看似海量的知识库，内容质量参差不齐。一旦把所有内容都用上，效果反而不好，因为内容之间会互相影响。尤其是RAG方式，在生成之前先检索。每次提问，比如问同一个问题10次，检索召回的内容片段可能各不相同。重复的知识点太多，且质量参差不齐，每次召回的可能是高质量或低质量的内容，问答效果就会大打折扣。所以并不是内容量越多越好。从我们的实践看，尽量不要让冗余内容太多。如果一定要有冗余，也要保证这些冗余知识都是高质量的，这样无论检索到哪个片段都没问题。理论上，描述一个知识点，只需要一篇非常好、非常全面的文档就够了，不需要导入10篇、100篇围绕这个知识点的文档。

很多用户或企业用户发现效果没达到预期时，不知道如何下手，看到海量内容就头疼。实际上，内容治理并不需要把所有内容都治理一遍，那样工作量肯定无法承受。正确的做法是：先做内容筛选，不要一股脑全搞进去，先选出高质量的内容，在此基础上进行可控工作量的治理。就像企业招人，不会到市场上招很多小学生，使劲培养成大学生再用人，而是培养大学生后，做一个小规模的上岗培训。所以一定要有一个内容筛选机制。

做了内容规划和设计之后，对内容进行打标、分类，了解其质量和来源。这时面临两种情况：一种发现缺某种知识内容，需要生产、准备；另一种是已有知识内容但效果不好，说明需要治理。我们分别说一下。

最好的方式是建立标准化生产模式。我们发现大模型正好需要这种方式。具体来说，要使生产过程流程化，生产的内容结构化。需要某个内容时，不是直接作为任务交给内容生产者，而是先梳理内容，把知识点结构化，甚至定义出内容的规范标准。在此基础上，可以拉通其他各个团队，进行跨团队的大规模知识生产，通过流程化、规范化保障生产过程。这样生产出来的内容质量相对较高，几乎可以直接与大模型结合，导入后效果不错。如果内容生产比较随机、随意，质量未必有保证。

前面提到一环、二环、三环几种生产方式。在选择内容时，尽量多用一环内容，对二环内容要仔细考察，三环内容几乎不用。我们希望直接选出来的就是“可以上岗的大学生”，而不是需要大量工作把“小学生”培养成“大学生”。

治理有几个方面。第一个是ROI比较高的增补。比如发现一些英文缩写在问答时效果不好，可以针对一些英文概念术语进行定向增补。还有一些重点场景或热点问题，也进行定向增补。有些知识问题比较复杂，需要跨多个文档才能回答，对RAG来说，检索召回的片段永远有上限（比如5个或10个），跨多文档可能找不全。这时可以人工定义一些high level的知识内容框架，通过这个框架更好地整合跨多文档的内容，有利于检索召回。对于复杂表格中的知识内容，可以根据需要进行总结或简化加工，以便更好解析表格。

知识内容经过生产和治理后导入到百炼。这个过程是迭代进行的，但建议在没有产生较好效果之前，不要直接推送给用户。因为一旦效果不好，会影响用户心智。一般来说，在发布前一定要进行多个迭代，直到达到预期效果后再发布。这个过程涉及对知识内容迭代和优化的管理。

左手是企业知识库，右手是百炼和通义千问，如何将知识库内容与基模、百炼整合呢？我们通过工程化能力构建了一个逻辑性的数据管理平台。这个平台能带来一些便利：比如企业知识库中有大量PPT文件，直接解析效果可能受损，我们可以进行格式转换（比如转成PDF），自动完成。同时还能关联更多内容源和知识库，知道知识内容的来源；当原件更新时，它也能自动更新。这里很重要的一点：不建议将知识内容从原件上复制粘贴出来再治理，因为一旦原件变更，我们可能不知道，知识就会分叉，以后难以管理。尽量在原件上进行内容治理和提升。

有了知识内容导入并与百炼结合后，在查看效果之前需要进行基准评测，要有一个基准评测集。怎么构建呢？最好能有非常准确、高质量的客观数据。比如阿里云内部有一套经过上万人验证的试题集。第二种情况是尽量收集来自真实用户的提问，到核心用户群那里收集客户询问产品知识的实际情况，把这些真实问题变成评测集的一部分，这样能更准确判断效果。

迭代打造效果的过程中，要针对Badcase做好分析。所有改善效果背后的关键问题都包含在Badcase中。比如有1000个用例问题，跑完后发现有100个Badcase，不一定一个一个解决，那样效果通常不好且费时间。可以先分类，至少分出TOP3，分类后的TOP3一定代表了问题的主要部分，解决一个问题就等于解决了一类问题。现在产品博士的界面上已经给出了用户互动方式，用户可以点赞或点踩。当用户发现问答效果不好时，可以通过点踩传到后台，每天有人针对这些数据进行分析，从而提升效果。另外，还会对用户进行分析：有些用户发布后一直没用过（缺席用户），会对他们访谈调查；有些用户使用一个月后不再使用（离席用户），也会进行访谈和调研。通过这些行动共同提升内容质量。

04 通过知识问答运营产生业务价值

最后介绍一下如何进行知识问答的运营。很多企业客户都是大中型集团企业，其内容知识很分散，运营范围也很广。阿里云也是集团企业，那我们怎么做呢？

先看两组数据。产品从今年2月发布到现在，大半年时间。发布时就做到了这样的问答质量：问题平均回答率95%以上，回答采纳率90%以上——在拒实率较低的情况下，正确率还能做得很高。有了这样的效果基础，才有后面的运营支撑，才会有今天这样的用户反馈。现在我们的核心用户群大概几千人，8月份时使用率已经达到73%以上，月问题回答数超过15万。

经过分析，主要有几个最核心的使用场景：第一是需要快速作答的场景，比如在客户现场与客户交流时，客户问了一个问题，需要快速回答，没时间线下查资料。这在电销客服中非常常见。第二种是客户问到一些非常复杂的问题，自己解决不了，需要请教专家或查阅大量文档，这时可以直接问智能问答。第三种是非常细致的问题，比如产品如何使用，不需要去官网查找。

这些场景用得最多。一是快速应答客户，二是可以帮助洞察商机。举个例子，现在每月有4000多个提问都是关于辅助场景下产品推荐的，比如“我们要做一个两地三中心的容灾方案，请问可以用什么产品？”这类问题能帮助我们洞察商机。

此外还有一些辅助作用。第一个是带来写作能力，对业务提效。每月有500多个提问直接要求“请帮我写一段关于xx产品的介绍，我的应用场景是面向客户交流”。第二个是可以帮助改进产品。结合每月15万以上的问答数据，按行业、场景、产品等维度分析，能发现很多关于产品的洞察。至少可以帮助扩充产品资料、提升产品资料质量，同时也能连带提升产品的其他能力。

如何做运营推广？我们用大半年时间，把提问量做到了15倍，月提问人数做到10倍。很多人可能首先想到面向内部员工和核心用户群体直接运营，但效果不一定好。所以我们采用ToB+ToC的方式。我们希望“产品博士”这个智能应用能给业务提效，而业务的开展是以组织方式牵动的，所以要拉通组织一起运营，运营对象首先是组织和团队，而不是个体。我们联合业务方和用户群体的团队组织共同运营：先确定目标用户和优先级，把他们拉进来一起共建、一起发布。在没有得到用户真正认可的效果之前，不会发布。一旦联合发布，效果一定达标。

同时，这种发布不能仅仅代表我们在发布，而是用户自己在做发布。用户团队在自己内部消化和使用，运营效果会非常好。有了这个基础后，就可以全面铺开，利用企业内部各种渠道触达和推广。

但仅有触达和推广是不够的，往往只带来一个波峰——这一周效果很好，下一周流量又下降。怎么办？我们发现很多用户可能还不知道怎么用这个产品，或者不太了解。所以日常要有节奏、有频率地推送几个方面的内容：第一，如何使用这个产品，让用户清楚功能和操作方法；第二，如何提问——这类大模型应用，提问的Prompt是撬动智慧的钥匙，提问技巧直接影响回答效果；第三，最佳实践分享，把别人真实的好问法分享出来；第四，回到组织ToB层面，与不同团队衔接，找到面向业务的核心诉求点，联合开展线上线下活动，甚至将产品嵌入到日常业务办理节点中。这样，整个产品就会自然而然地被使用起来。