LLM Wiki – Karpathy开源的自运行个人知识库
如果你用过传统的RAG工具,可能会发现一个问题:每次提问,它都像是一次“开卷考试”,模型临时去翻你的资料库,答案拼凑感强,且用完即弃。知识似乎并没有真正沉淀下来。最近,AI领域的大牛安德烈·卡帕西(Andrej Karpathy)开源了一个名为“LLM Wiki”的项目,提出了一种截然不同的思路。它不再让LLM被动检索,而是让其主动担任起“知识库程序员”的角色,为你编译和维护一个持续生长、结构化的个人Wiki。
LLM Wiki是什么?一种知识管理的新范式
简单来说,LLM Wiki是一个自运行的个人知识库系统。它的核心突破在于,彻底改变了传统RAG那种“每次查询都从零开始检索”的模式。你可以把它想象成一个由LLM驱动的“知识编译器”。
这套系统通过一个预先定义好的Schema文件来指导LLM,让它能够主动地维护一个结构化的Markdown Wiki。原始资料(如PDF、文章)会被“编译”进这个Wiki,形成带有交叉引用、甚至能标注观点矛盾的持久化知识体。其架构分为清晰的三层:最底层是只读的原始资料(raw/),中间是LLM生成和维护的Markdown Wiki(wiki/),顶层则是定义规则的Schema文件(如CLAUDE.md)。
这样一来,知识随着你的使用而持续累积、增厚,而非重复推导。人类可以专注于提问和知识策展,而将繁琐的维护工作——更新关联页面、建立链接、检查一致性——交给LLM。这相当于让Obsidian这类笔记软件变成了IDE,让Wiki变成了代码库,而LLM则成了那位孜孜不倦的程序员。
主要功能:从灌入到巡检的全自动流程
LLM Wiki的设计围绕几个核心功能展开,形成一个完整的工作闭环:
- :这是起点。你只需将新的PDF、文章等原始资料放入
知识灌入(Ingest)
raw/目录,然后指令LLM Agent进行处理。接下来,LLM会自动提取关键信息、撰写摘要,并联动更新Wiki中的相关实体页、概念页。一次资料灌入,可能会触发10-15个关联页面的更新,效率远超手动整理。 - :基于已经编译好的Wiki内容来回答问题。它的输出非常灵活,支持Markdown、对比表格,甚至能生成Marp幻灯片或matplotlib图表,方便你直接用于演示或报告。
智能查询(Query)
- :这是保证知识库质量的“自动医生”。它会定期检查知识库中的矛盾陈述、过时结论、孤立页面(没有链接的页面)以及缺失的引用,并能主动提出新的研究方向,让你的知识库保持清晰和一致。
健康巡检(Lint)
- :系统会自动维护
索引维护
index.md(相当于内容目录,替代了传统RAG的向量检索)和log.md(操作时间线日志)。这套基于纯文本文件的机制,无需复杂的向量数据库,就能高效支撑中等规模(约100篇文献或40万字)的知识管理。
如何上手使用?
想要搭建自己的LLM Wiki,流程其实相当清晰:
- :安装Obsidian作为Wiki的阅读和浏览工具。同时,需要准备一个像Claude Code这样的LLM Agent来担任“维护者”。
环境准备
- :创建一个包含
初始化目录
raw/(存放原始资料)、wiki/(存放LLM生成的内容)和CLAUDE.md(Schema配置文件)的文件夹结构。 - :将卡帕西在Gist上提供的Schema示例内容复制给你的Agent,让它据此生成定义Wiki结构、页面格式和工作流程的配置文件。这是整个系统的“宪法”。
配置Schema
- :把新文件放入
灌入资料
raw/目录,然后指令Agent处理。LLM便会开始它的编译工作,提取信息并更新Wiki。 - :向Agent提问,获取基于Wiki的综合回答。一个精妙的设计在于,你可以指令它将优质的答案存回Wiki,成为新的页面,从而实现知识的持续累积。
查询与归档
- :定期运行巡检指令,让Agent检查并修复Wiki中的问题,保持知识库的健康度。
健康巡检
- :最后,在Obsidian中打开
浏览使用
wiki/文件夹,你就能实时查看所有更新,通过点击双向链接深入探索,利用图谱视图直观地把控知识关联。
核心理念与关键机制
理解LLM Wiki,需要抓住这几个关键点:
- :它的目标不是临时检索,而是让LLM主动维护一个持续累积的结构化知识库。
本质
- :三层分离结构(raw/wiki/Schema)是实现“编译”和“持久化”的基础。
架构
- :整个流程围绕“灌入-查询-巡检”这三个核心动作展开,形成闭环。
核心操作
- :知识“编译”一次、持续“保鲜”,交叉引用与矛盾标注被持久化保存,使得知识库越用越厚。
关键机制
优势何在?为何值得关注
与现有方案相比,LLM Wiki带来了几个显著的优点:
- :这是最大的突破。它改变了传统RAG“从零检索、用完即弃”的模式,让Wiki成为持久化、可累积的产物。新资料会被自动整合进已有的知识网络,交叉引用和矛盾标注得以持续沉淀。
知识复利累积
- :LLM承担了所有繁琐的维护工作,包括自动更新大量关联页面、标注数据矛盾、维护索引等。人类得以解放出来,专注于更高级的策展与提问。
零维护负担
- :对于个人或小团队的知识管理规模(约100篇文献),它仅靠Markdown索引文件就能实现高效检索,无需引入向量数据库、嵌入模型等复杂架构,技术门槛大幅降低。
中等规模免基建
- :系统形成了“使用即增长”的飞轮效应。优质的问答可以一键归档回Wiki,成为新的知识节点,探索过程本身就在不断丰富知识库。
动态自增强
项目地址
整个项目的理念和详细Schema定义,都由卡帕西本人分享在GitHub Gist上,感兴趣的朋友可以前往查看:
https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f
与同类产品有何不同?
为了更清晰地定位LLM Wiki,我们将其与市场上两类主流产品做个简单对比:
| 对比维度 | LLM Wiki |
NotebookLM(RAG 代表) |
Mem(AI 笔记代表) |
|---|---|---|---|
知识模式 |
主动编译, 持续累积 |
被动检索, 每次从零拼凑 |
AI 自动整理, 但无显式编译层 |
维护主体 |
LLM 全职维护 (自动更新多页、 标注矛盾) |
无维护, 每次临时检索 |
AI 黑盒处理, 用户难干预规则 |
核心架构 |
三层分离: raw/(只读) wiki/(LLM写) Schema(规则层) |
单层: 原始资料直接作为 检索源 |
双层: 笔记内容 + AI 关联 |
索引机制 |
Markdown 索引文件 (中等规模免向量库) |
向量嵌入 + 相似度检索 |
私有算法 (黑盒) |
可定制性 |
白盒控制通过 CLAUDE.md自定义页面格式、 更新规则、工作流 |
固定流程无法干预检索 和生成逻辑 |
黑盒限制仅能开关功能, 无法定义维护规则 |
输出沉淀 |
优质回答可 归档回 Wiki 形成新页面 |
回答消失于 对话历史 |
可保存但 缺乏结构化 归档机制 |
技术门槛 |
仅需 Markdown 文件 + Obsidian |
依赖 Google 基础设施 |
依赖第三方 云服务 |
它能用在哪些地方?
这种主动编译、持续累积的知识库模式,应用场景非常广泛:
- :追踪年度目标、健康数据、心理状态与自我提升历程,整理日记、阅读笔记和播客心得,最终构建一个关于自我的、结构化的认知图谱。
个人成长系统
- :针对某个特定领域进行数周或数月的深度钻研,持续阅读相关论文和报告,让LLM Wiki帮你逐步构建起一个包含历史沿革、不同学派论点的综合知识体系。
学术研究助手
- :在阅读一本复杂书籍时,逐章整理内容,自动建立人物关系页、主题解析页、情节线索页,最终形成类似“托尔金网关”那样完整的作品知识网络。
深度阅读伴侣
- :接入团队的Slack对话、会议纪要、项目文档和客户沟通记录,由LLM自动维护一个实时更新的内部Wiki,实现知识的自动沉淀与流转,无需额外投入人工整理。
企业/团队知识库
总而言之,LLM Wiki代表了一种更激进、也更符合“智能”本意的知识管理思路。它将LLM从临时的“信息检索员”,提升为了长期的“知识架构师”。对于任何希望建立个人第二大脑,或寻求团队知识高效沉淀的人来说,这无疑是一个值得深入探索的新工具。