Karpathy LLM Wiki — 用编译替代检索的知识库范式

10 篇提到。核心主张:个人知识库的瓶颈是 bookkeeping 而非检索,让 LLM 一次性把语料编译成 wiki,查询时只需 lookup。

主张

Karpathy 的洞察:知识库的痛点不是「找不到」,是「维护不动」。

rag 把 bookkeeping 推到查询时(每次重新检索、重新拼上下文),代价是每次查询都在重算。LLM Wiki 反过来——摄入时一次性编译:

  • 抽实体 → 建概念页 → 加交叉引用 → 更新 MOC
  • 查询时只是 lookup + 小窗口综合

对个人规模的语料(能塞进上下文),这比 RAG 高效得多,而且产物是人能读的 wiki 而非机器 chunk。

selfwiki 就是这个范式的完整实现:processor.py(摄入)→ compile_stage.py(编译)→ 概念页 / MOC(产物)→ 全局 skill(查询)。

为什么重要

  • 对 selfwiki:整套架构的理论出处,决定了「为什么不上 RAG」
  • 对内容:Karpathy 每次发言在中文圈都是流量,而你有可运行的实现,这是差异化

Evidence(10 篇来源)


基于 312 篇干净转写的 compile 结果重建(2026-08-12)。status: budding —— 人工校准后升 evergreen。