RAG 是怎么回事?
模型不知道你们公司的制度、也不知道昨天的新闻——RAG 就是"先帮它查资料,再让它答题"的开卷考试。
一、为什么需要 RAG
三个硬伤,决定了不能只靠模型本身:① 知识截止——训练完就冻结了,昨天的新闻它不知道;② 私有知识——你们公司的文档它从来没见过;③ 幻觉——不知道也会硬编。给模型微调能治一部分,但贵、慢、且知识更新一次就要重训。RAG(Retrieval-Augmented Generation,检索增强生成)的思路:把知识放在外面,回答前先检索,把查到的资料塞进上下文——知识可以随时更新,答案还能附带出处。
二、动手:一次检索增强的全过程
用户问题:"公司年假怎么申请?"
《考勤制度 v3》第 4 章 · 年假申请流程…
《2026 春节值班安排》…
《报销制度》差旅住宿标准…
《员工手册》入职指引…
① 文档切块 知识库文档被切成小段(chunk),各自算好向量存进向量库
② 问题向量化 用户问题也变成向量(第 7 课的 Embedding)
③ 相似度检索 在向量库里找"意思最接近"的 Top-k 块
④ 拼装 Prompt 把命中的资料 + 问题拼在一起
⑤ 生成答案 LLM 基于资料回答,可附引用
点「走一步」,看左边知识库的命中块怎么亮起来。绿块 = 检索命中的资料。
三、五个关键词
Chunking 切块
把长文档切成适合检索的小段(几百 token 一段)。切太大→命中的资料夹杂噪声;切太小→上下文断裂。
🧠 类比:日志切分粒度——太粗查不准,太细丢上下文。
向量数据库
存 Embedding 并支持"相似度检索"的数据库(Milvus、FAISS、pgvector…)。
🧠 类比:ES 按关键词建索引,它按"意思"建索引。
Top-k 检索 + Rerank 重排
先粗筛 k 个候选(快),再用更精细的模型重排(准)。混合检索 = 关键词 + 语义双路。
🧠 类比:负载均衡粗筛 + 慢路径精查。
引用与溯源
答案标注"来自哪份文档哪一段",可人工核对——这是 RAG 对抗幻觉的底牌。
🧠 类比:变更单附审计日志。
Naive vs Advanced RAG
Naive:检索→生成一步到位。Advanced:查询改写、混合检索、重排、压缩上下文等增强环。
🧠 类比:单级缓存 → 多级缓存 + 预热。
微调 vs RAG 怎么选
教"能力/风格"用微调(SFT);给"知识/事实"用 RAG——知识会变就该外置。
🧠 类比:培训技能 vs 查手册。
四、小测验
Q1 · RAG 主要解决什么问题?
Q2 · 公司知识库每月更新,哪种方式更合适?
Q3 · 检索回来的块(chunk)切得太大,最直接的坏处是?