← 返回课程目录 · 第 8 课 / 共 14 课 · 建议用时 10 分钟

RAG 是怎么回事?

模型不知道你们公司的制度、也不知道昨天的新闻——RAG 就是"先帮它查资料,再让它答题"的开卷考试。

一、为什么需要 RAG

三个硬伤,决定了不能只靠模型本身:① 知识截止——训练完就冻结了,昨天的新闻它不知道;② 私有知识——你们公司的文档它从来没见过;③ 幻觉——不知道也会硬编。给模型微调能治一部分,但贵、慢、且知识更新一次就要重训。RAG(Retrieval-Augmented Generation,检索增强生成)的思路:把知识放在外面,回答前先检索,把查到的资料塞进上下文——知识可以随时更新,答案还能附带出处。

二、动手:一次检索增强的全过程

用户问题:"公司年假怎么申请?"

《考勤制度 v3》第 4 章 · 年假申请流程…
《2026 春节值班安排》…
《报销制度》差旅住宿标准…
《员工手册》入职指引…
① 文档切块 知识库文档被切成小段(chunk),各自算好向量存进向量库
② 问题向量化 用户问题也变成向量(第 7 课的 Embedding)
③ 相似度检索 在向量库里找"意思最接近"的 Top-k 块
④ 拼装 Prompt 把命中的资料 + 问题拼在一起
⑤ 生成答案 LLM 基于资料回答,可附引用
点「走一步」,看左边知识库的命中块怎么亮起来。绿块 = 检索命中的资料。

三、五个关键词

Chunking 切块

把长文档切成适合检索的小段(几百 token 一段)。切太大→命中的资料夹杂噪声;切太小→上下文断裂。

🧠 类比:日志切分粒度——太粗查不准,太细丢上下文。

向量数据库

存 Embedding 并支持"相似度检索"的数据库(Milvus、FAISS、pgvector…)。

🧠 类比:ES 按关键词建索引,它按"意思"建索引。

Top-k 检索 + Rerank 重排

先粗筛 k 个候选(快),再用更精细的模型重排(准)。混合检索 = 关键词 + 语义双路。

🧠 类比:负载均衡粗筛 + 慢路径精查。

引用与溯源

答案标注"来自哪份文档哪一段",可人工核对——这是 RAG 对抗幻觉的底牌。

🧠 类比:变更单附审计日志。

Naive vs Advanced RAG

Naive:检索→生成一步到位。Advanced:查询改写、混合检索、重排、压缩上下文等增强环。

🧠 类比:单级缓存 → 多级缓存 + 预热。

微调 vs RAG 怎么选

教"能力/风格"用微调(SFT);给"知识/事实"用 RAG——知识会变就该外置。

🧠 类比:培训技能 vs 查手册。

四、小测验

Q1 · RAG 主要解决什么问题?

Q2 · 公司知识库每月更新,哪种方式更合适?

Q3 · 检索回来的块(chunk)切得太大,最直接的坏处是?

延伸阅读(上游硬核版)