亚马逊COSMO: 大模型驱动的大规模常识知识图谱应用于商品推荐框架

在电商平台推荐系统这个领域，常识知识图谱的角色到底有多大？亚马逊最近的一篇论文给出了一个相当有分量的回答。他们提出的COSMO系统，简单来说，就是用大模型来构建常识知识图谱，并实实在在地应用到了商品推荐里。这件事很有意思，我们来展开看看。

大型知识图谱在电子商务平台的应用，目标直指改善客户的购物体验。现有的电商知识图谱整合了大量概念或产品属性，但它们往往没能捕捉到用户的意图——说白了，就是与人思考、行为以及与周围世界互动的方式之间存在一道鸿沟。

在这项工作中，亚马逊推出了COSMO，一个可扩展的系统。它从海量行为数据里挖掘以用户为中心的常识知识，并构建行业规模的知识图谱，用以支撑多样化的在线服务。具体来说，论文描述了一个收集高质量种子知识声明的流程：这些声明从大型语言模型（LLMs）中提炼，再通过对人类标注数据进行训练的批评分类器来优化。当然，大模型生成的内容不一定都和人类偏好一致，还可能夹杂噪声。所以，接下来的关键一步，是采用指令微调的方式，对高效的语言模型（COSMO-LM）进行微调，让它能在规模上生成真实的电商常识知识。结果是，COSMO-LM仅凭3万个标注指令，就生成了数百万条高质量知识，成功将知识图谱覆盖到了亚马逊的18个主要商品类别。

最后，COSMO已经在亚马逊的搜索应用中落地，比如搜索导航功能。离线和在线的A/B实验都表明，我们提出的系统带来了显著的改进。这些实验也凸显了从指令微调的大模型中提取常识知识的巨大潜力。

随着知识图谱在各类应用中的探索，我们遇到了一个非常熟悉的实际应用案例：电子商务。亚马逊这篇论文详细介绍了如何利用大模型构建常识知识图谱，并最终服务于商品推荐，背后逻辑值得细品。

在广阔且不断演变的电商世界里，为客户提供个性化和关联度高的产品推荐，始终是一个核心挑战。传统的推荐系统往往依赖历史购买数据和协同过滤，但它们在捕捉许多日常购买决策背后的细微常识知识方面，常常力不从心。

Amazon COSMO Framework

亚马逊的COSMO框架就是在这样的背景下诞生的。COSMO，全称是“常识知识生成和服务系统”，它是一种开创性的方法，用于构建常识知识图谱，能够显著提升产品推荐引擎的效能。

COSMO的核心，是认识到常识推理对于理解客户查询的上下文和相关性至关重要。举个更具体的例子：如果用户搜索“孕妇鞋”，一个由COSMO驱动的推荐系统，会理解到背后隐含的需求是防滑、舒适，而不是简单地推荐那些评分最高或最畅销的鞋子。这就是常识知识的力量所在。

为了构建这种常识知识，COSMO采用了一套递归流程，结合了大型语言模型（LLM）、人工标注和机器学习。系统首先通过挖掘客户行为数据——比如查询-购买对和共同购买模式——来发现产品之间以及使用场景中的潜在关系。然后，利用LLM，使用“用于”、“能够”、“是”和“原因”这些预定义的关系类别，来描述这些关系。

生成的候选关系会通过一系列启发式方法进行过滤，剔除低质量或冗余的条目，再将其中的一部分提交给人工标注员，根据合理性和典型性进行评估。有了标注数据，COSMO就能训练一个基于机器学习的分类器，为剩余的关系候选打分，只保留那些达到特定阈值的优质关系。

这些高质量的关系，随后会被编码为LLM的指令，引导LLM生成更多的解释和见解。最终的结果，是一个综合知识图谱，它清晰地捕捉了产品、功能、受众和使用场景之间的常识性联系。这个图谱可以无缝集成到产品推荐模型中，为模型表现带来强有力的提升。

图3：用于生成知识候选的提示

图4：调整COSMO-LM以生成来自两种典型用户行为的电子常识知识的示例。我们扩大产品领域、关系类型和任务。

图5 COSMO-LM部署的示意图，展示了异步缓存存储和特征存储作为核心组件。它描绘了用户查询的高效处理和动态每日更新，这对满足亚马逊的搜索延迟要求至关重要。

图8：COSMO尾部知识的层级组织示意图

COSMO图9：使用COSMO的搜索导航体验

性能表现

为了评估COSMO的实际效果，研究人员使用了一个为KDD Cup 2022比赛创建的购物查询数据集。他们对比了三种推荐模型：双编码器、交叉编码器，以及加入了COSMO常识知识的交叉编码器。

结果数据相当直观。当编码器固定时，基于COSMO的模型在宏观F1得分上，比表现最好的基线提升了60%。即便是在测试数据的一个子集上进行微调，COSMO模型依然保持着显著优势，在宏观F1和微观F1上分别超越了最佳基线28%和22%。

这些研究结果突显了常识知识图谱在电商领域的变革潜力。通过捕捉产品及其使用场景之间的细微关系，COSMO让推荐系统能提出更明智、更相关的建议，最终结果是提升客户体验，并推动销售增长。

核心启示

放眼未来，常识知识图谱的潜在应用远超产品推荐。这个框架同样可以用于改善客户支持、个性化内容推送和营销策略，甚至为产品开发决策提供依据。随着电商领域持续发展，利用常识知识的能力，无疑将成为行业领先者的关键竞争优势。

总而言之，亚马逊团队在COSMO上的工作，代表了将常识推理与电商结合的方向上迈出的一大步。通过构建一个能捕捉产品与用户之间上下文关系的全面知识图谱，他们正在为未来铺路——在那个未来，个性化推荐不单单是数据驱动的，而是真正直观、以人为本的。随着电商格局的持续转变，COSMO的见解与创新，将在塑造在线购物的未来中发挥关键作用。