【一文读懂】RAG的重要组成-Embedding Model

在众多热门的RAG引擎中（比如AnythinRAG、RAGFlow、Dify），几乎都能看到Embedding Model（嵌入模型）的身影。那么，这个看似简单的工具，到底在RAG引擎里扮演什么角色？这篇文章会尽量用通俗易懂的方式，把它的工作原理和应用场景讲清楚。

什么是Embedding

要理解嵌入模型，得先搞明白Embedding本身是什么意思。简单来说，Embedding就是把那些离散的、非结构化的数据（比如文字、图片、声音）转换成一组连续的实数向量。在自然语言处理里，Embedding常用来把单词、句子甚至整篇文章映射成一个固定长度的向量，这样计算机就能更容易地处理和理解文本了。每个单词或句子对应着一个实数向量，这个向量里就藏着它的语义信息。

举个例子。“猫喜欢鱼”这句话，计算机看到的是文字符号，并不会理解含义。Embedding的作用就是把“猫”变成一个向量，比如[0.1, 0.2, 0.3]；把“鱼”变成另一个向量，比如[0.4, 0.5, 0.6]。这样一来，计算机就能通过这些向量做各种计算，比如比较“猫”和“鱼”之间的关系。这些向量不是瞎蒙的，而是通过大量数据学习出来的，在学习过程中它们会记住哪些东西长得像、哪些不像。相似的词（比如“猫”和“狗”）在向量空间里靠得很近，而不相关的词（比如“猫”和“汽车”）就隔得很远。

那么，为什么非得要向量呢？因为计算机只认识数字。要把文字变成它能处理的东西，就得靠向量这个中间人。每个向量相当于数据在数学空间里的一个“地址”，有了地址，计算机才能更好地理解数据之间的关系。

什么是Embedding Model

在自然语言处理（NLP）领域，Embedding Model就是一种把词语或句子转成数字向量的技术。它实际上是把高维、离散的输入数据（像文本、图像、音频等）压缩成低维、连续的向量表示。你可以把Embedding Model想象成一个“指纹生成器”，它给每个词或句子分配一个独一无二的数字指纹，这个指纹能在数学空间里表达这个词或句子的含义。每个词语或句子都被转换成一个固定长度的数字向量，之后计算机就可以对文本进行各种数学运算，比如比对词语相似度、分析句子意思等等。

Embedding Model的作用

在RAG引擎里，Embedding Model是核心组件之一。它负责把文本变成向量，以实现高效的信息检索和文本生成。下面是它在RAG系统中的几个具体用途：

将用户的问题和海量文档库中的文本都转换成向量表示。比如用户问“如何制作意大利面？”，Embedding Model就把这个问题转成一个高维向量。

拿用户的查询向量去文档库的向量空间里找最相似的文档。RAG引擎会计算用户问题向量和每个文档向量的相似度，然后返回最相关的几条内容——比如那些讲意大利面制作步骤的文档。

把检索到的文档和用户问题拼在一起，形成新的上下文，再交给生成模型。检索来的意大利面文档也会被Embedding Model转成向量，和问题向量一起作为上下文送入大模型。

生成模型基于融合后的上下文，输出一个连贯、准确的答案。比如结合用户的问题和检索到的文档，生成一份详细的意大利面制作指南。

通过微调Embedding Model，可以提升检索的相关性和准确性。在特定领域（比如医学或法律），用领域数据微调后，检索质量会明显提高。

在多语言场景下，Embedding Model能处理不同语言的文本。用户用中文提问，文档库里有英文内容，模型需要把两种语言映射到统一的向量空间，才能有效检索。

长文档会被切分成多个片段，每个片段都生成一个向量，这样既不丢失太多语义，又能提高检索效率。比如一篇长报告，可以按段落分别向量化。

总的来说，Embedding Model在RAG引擎里就像一座桥梁，连接了用户查询和大量文本数据，让信息检索和文本生成真正落地。下图展示了它在整个RAG系统中的中心位置。

RAG引擎中的工作流

下面这张图是一个典型的RAG引擎工作流，虽然不同引擎的内部算法略有差异，但大体流程是一致的。

（此处应有工作流示意图，但原文未提供具体图片，请参考原文图片）

图中1到5步说明如下：

1. 把用户查询传给嵌入模型，从语义上把查询内容表示成查询向量。
2. 将查询向量传给向量数据库。
3. 检索前k个最相关的上下文——通过计算查询向量与知识库中所有片段向量之间的距离来排序。
4. 把查询文本和检索到的上下文文本一起传给大语言模型（LLM）。
5. LLM根据提供的上下文生成回答。

总结

通过上面的梳理，相信读者对RAG引擎的工作流和Embedding Model的作用已经有了比较清晰的认识。弄懂这些基础知识，对后续学习大模型的Fine-tuning、LangChain、AI Agent等概念和方法会很有帮助。