一文读懂，为什么向量数据库是大模型时代的核心基础设施

一场聚焦生成式AI的线下研讨会，上个月底在亚马逊云科技落下帷幕。现场，Zilliz、智谱AI、Dify几家代表性企业轮番上场，分享各自在向量数据库、大模型和应用开发上的最新实践。其中，Zilliz资深解决方案架构师沈亮带来的主题是《超亿规模向量数据落地Zilliz Cloud最佳实践》。以下内容根据现场演讲整理，在不改变原意的基础上略有删减和调整。

01. 为什么向量数据库会成为大模型热潮中的基础设施？

Zilliz是一家全球领先的向量数据库企业，旗下拥有开源向量数据库系统Milvus和商业化产品Zilliz Cloud。之所以长期深耕这个方向，离不开我们在AI时代看到的几个关键趋势。

过去多年，结构化数据处理是主流。结构化数据，就是字段、存储、查询都相对固定的数据，比如电商里的交易数据——金额、购买时间、产品名称，都有严格定义。但AI时代，IDC做过一个预测：到2025年，全球数据总量中超过80%将是非结构化数据。语音、视频、图片、文档……这些形式无处不在。这几年最火的短视频，就是最典型的非结构化数据。

非结构化数据处理的基础是语义挖掘，而语义挖掘在电商、社区内容推荐中潜力巨大。比如用户搜“面包”，如果只按关键词匹配，吐司、贝果、欧包、慕斯这些细分品类很可能被漏掉。但通过语义和向量维度，它们之间的相似度极高。基于向量返回结果，才更符合真实场景的需求。

非结构化数据有四个显著特点：数量庞大、理解困难、搜索昂贵且计算密集、缺乏专业工具。相比之下，结构化数据处理工具已发展了二三十年，非常成熟。而非结构化数据的需求增长，是近五年才出现的，工具远未完善。同时，数据量大意味着处理时需要投入大量算力和存储。举个例子，同样在上亿级数据中搜索，结构化数据因为有分级、标签索引，能快速直达结果；而非结构化数据——比如在上百部电影里找某个特定画面——如果没有向量数据库，检索过程会变得极度复杂和庞大。成本一旦增加，很多数据不得不被丢掉，造成巨大浪费。

一个基础认知：人和计算机认知世界的方式不一样。面对泰迪和金毛的照片，人类知道它们都是狗；但在计算机的二进制世界里，两张照片之间没有强相关性。要让计算机理解它们同属“狗”，就需要用深度学习做语义抽取，把文字与文字、文字与视频、文字与图片、视频关键帧之间关联起来。而衡量它们相似度的载体，就是向量。

现在大家基本达成共识：AI时代需要一套专门的向量数据库系统。过去一年，有两三百家数据库厂商称自己为向量数据库公司，但其中至少八成是传统数据库厂商。但真正的向量数据库要考虑很多问题：如何把历史海量数据向量化，如何构建索引，如何存储，如何做多路召回，如何兼顾语义查询和传统精确查询，还需要在高可用、可扩展性、查询和读写性能上做大量优化。Zilliz与超过5000家企业用户共同打磨了6年，已经是公认的向量数据库开拓者和全球领先者——旗下开源产品Milvus在GitHub上获得超过29K stars，是全球最受欢迎的开源向量数据库之一。

02. 向量数据库落地的明星场景分析

技术落地离不开场景。当前，向量数据库的明星应用场景主要包括以下几个：

典型代表是电商。评论、商品描述、推荐等信息，都是海量的非结构化数据。处理这些数据，往往要面对高并发访问，用户个性化推荐需要千万级数据规模下毫秒级的延迟，文本内容没有重度垂类知识，需要集成embedding model直接向量化。而向量数据库可以在千万级数据规模下，做到毫秒级延迟、每秒千次查询并发，并原生集成向量化。

大模型爆火后，语音助手和问答机器人迎来了第二春。这类场景对召回率要求极其苛刻，通常需要叠加稀疏向量模型做更精准的查询，还要支持频繁的数据修改、租户隔离和数据失效策略。向量数据库可以轻松应对亿级数据规模，召回率能达到98%以上，并且支持稀疏向量的多路召回。

自动驾驶近年来热度不减，整车厂和方案提供商都需要采集和处理海量数据——这些数据大多是视频。我们需要对视频进行预处理抽帧，然后在特定场景中寻找具备某特征的图片，比如雨天的十字路口、反光的水潭、夜晚的安全锥……这些样本量往往很小，但重要性极高。传统方法要维护一个超宽列的数据表，把所有图片中的实体结构化和标量存储，每个挖掘任务都要做多次查询，耗时分钟甚至小时级，百亿数据量级的集群运维压力也极大。而基于向量数据库，可以支撑百亿级数据规模、十万级的返回结果，还能结合标量过滤做混合查询，并执行指定相似度的范围搜索。

03. 专业级场景，需要开箱即用的向量数据库服务

大模型爆火已经将近两年，行业关键词从单纯的技术维度转向了产品、落地。面对越来越多的专业级场景，市场越来越需要开箱即用的向量数据库服务。因此，在开源Milvus之外，Zilliz还推出了面向商业级场景的Zilliz Cloud。相比开源产品，它具备三大特性：全托管服务、高效索引、企业级功能。

从商业化第一天起，Zilliz Cloud就瞄准全球市场——2022年8月上线内测版，2023年3月登陆北美，同时支持AWS和GCP；2023年7月登录阿里云，开启国内向量数据库云服务；同年12月登陆Azure。截至目前，Zilliz Cloud已实现阿里云、腾讯云、AWS、GCP和Azure五大云18个节点的全覆盖，成为全球首家同时提供海内外多云服务的向量数据库企业。