检索增强与事实落地

检索增强的处理流程

系统接收问题 $q$ 后，先构造检索查询，召回候选片段，按相关性和权限过滤或重排，再在长度预算内组成上下文 $C$，最后由生成器估计 $p(y\mid q,C)$。输出若包含引用，还要把每个声明映射回片段、原文档、版本与位置。任一阶段都可失败：查询丢失约束、召回漏证据、重排误降、上下文截断、生成忽略证据或引用指错来源。

因此“加入检索”不是事实正确性的保证。它只让模型有机会读取外部材料。若来源错误或过期，忠实复述仍可能不正确；若正确材料进入上下文，模型仍可能加入没有支持的内容；若答案碰巧正确，引用也可能并不支持相应声明。检索、使用、忠实、正确和引用完整性必须分别评价。

链路还应保留可重放输入：原始问题、查询改写、索引版本、过滤条件、候选分数、最终片段顺序、生成配置和引用映射。只保存最后答案无法定位是检索错误还是生成错误。

稀疏检索与稠密检索

稀疏检索以词项、文档频率和长度归一等统计匹配查询与片段，擅长产品编号、姓名、公式符号和罕见术语等精确重合。它对同义改写较弱，也受分词和拼写影响。稠密检索把查询与片段编码成向量，用内积或余弦检索语义相近内容，能连接部分同义表达，却可能忽略关键数字或否定词，并继承编码数据偏差。

两者都可采用近似索引降低大规模搜索成本。稀疏倒排只访问含查询词的列表；稠密近邻图或量化索引牺牲部分精确召回换取延迟和内存。评价时要用精确搜索或足够强基线区分“表示没找到”和“近似索引漏掉”。

RETRO 使用冻结的检索器获取相邻文本块，再通过分块交叉注意力将检索结果接入语言模型。

混合检索不能直接相加未经校准的原始分数，因为稀疏和稠密分值范围不同。可以在验证集上归一化加权，也可只融合名次。倒数排名融合定义

其中 $k$ 控制前几名差距，缺席某列表的文档不贡献该项。

查询构造与用户约束

短问题可直接检索，长对话常需把代词、时间、产品版本和地域补进独立查询。改写能提高召回，也可能改变意图：把“不能用于儿童的药物”改成“儿童药物”会丢失否定。应同时保留原始查询与改写，必要时并行检索后融合。

多跳问题可能需要先找到实体，再用第一跳结果形成第二跳查询。每次扩展都增加延迟和漂移风险，停止条件要由证据缺口而非固定“思考轮数”决定。涉及数值、日期和专名时，可把关键词通道与语义通道并行，避免只依赖生成式改写。

文档分块与召回

文档进入索引前通常按标题、段落、句子或token窗口切块。块过小会失去定义、条件和结论之间的上下文；块过大会混入多个主题、稀释向量并浪费生成窗口。固定重叠能减少边界切断，但会生成近重复候选，占据top-$k$。

每块需要稳定标识、原文档标识、版本、起止位置、标题路径、时间和访问控制。稳定标识应区分同一文档的不同版本；更新后旧块要删除或标记失效，不能让新旧规则同时进入上下文。解析表格、代码和PDF时还要保留行列、页码或章节结构，而不是只拼成无位置纯文本。

语义分块可按标题或主题边界自适应，但模型分段结果需可复现，并避免使用未来敏感数据。分块策略变化相当于索引结构变化，比较前应整体重建或明确混合版本。

召回与重排的性能上限

第一阶段追求高Recall@$k$，允许候选含噪；重排器读取问题和候选的联合特征，把更相关证据推到前面。cross-encoder重排能处理词间交互、否定和条件，成本随候选数增长。重排器只能移动已有候选，不能恢复未召回证据。

多证据问题还要评价证据集合覆盖。只找到结论而漏掉适用条件，生成器可能作过宽回答；只找到两跳中的一跳，也不能支持最终推理。标注应尽量区分必要证据、可替代证据与背景材料。

上下文窗口与来源映射

构造器按预算选择片段，去除近重复，保留标题、来源和边界，并避免在句中截断关键条件。相关性最高不一定是最佳组合：四个重复片段可能不如三个互补来源。可用覆盖、时间、来源多样性和权限作为约束，但每项都要说明排序规则。

“窗口放得下”不表示模型能可靠使用每处证据。片段顺序、长上下文中的位置、冲突来源和问题复杂度都会影响使用。应比较不同候选数、顺序和oracle上下文，检查证据的使用情况。

引用与主张的对应

生成器可在上下文中读取带稳定编号的片段，并在句子或声明后输出编号。系统再把编号解析为原文档链接和位置。引用不能由答案生成后再仅按语义相似度“补一个最近来源”，因为相似文档可能没有蕴含该声明。

声明级检查至少回答三问：引用片段是否包含相应信息，片段是否在适用条件和时间上支持该表述，答案是否把多个来源的结论错误合并。一个段落含四个事实却只在末尾放一个来源，不能假定来源支持全部四项。

自动蕴含模型可用于大规模筛查，但也会受长文本、否定和数值比较影响；高风险领域仍需抽样或人工核对。引用格式正确只是解析成功，不等于语义支持。

上下文忠实性与事实准确性

上下文忠实性检查答案是否只陈述证据允许的内容。事实正确性还依赖来源质量、新鲜度和问题所指时点。两个版本冲突时，系统应按版本、发布日期和适用范围处理，并在无法消解时展示冲突或拒答。

索引更新要有抓取时间、源版本、删除传播和缓存失效策略。实时源不代表实时索引；展示“来源日期”也不代表内容仍有效。对易变事实可设置最大陈旧时间或查询时回源，并把无法达到的新鲜度写入回答边界。

检索内容的信任边界

网页、邮件和文档可能包含“忽略先前要求”“调用工具发送数据”等提示注入文本。检索器把它们放入上下文后，生成模型可能误当指令。系统应把来源内容放在明确数据边界内，优先级低于系统与用户授权；对工具调用实行独立权限、参数验证和最小权限，不能依赖一句“不要听文档指令”。

注入防护还包括来源允许列表、主动内容剥离、可疑模式标记、工具前确认和输出数据流控制。攻击者可以用自然语言改写绕过简单关键词，因此要用端到端攻击集测试。即使模型拒绝执行，也可能在回答中泄露上下文里的秘密。

访问控制必须在召回前按当前用户过滤，不能先取全库top-$k$再期待生成器不引用无权片段。索引缓存、向量副本、日志和引用链接都要继承删除与权限。稠密向量本身也可能泄露成员或内容特征，不应被视为无敏感信息。

组件评估与端到端评估

检索集标注查询—证据相关性，报告稀疏、稠密、混合的Recall@$k$、排名和延迟；重排单独测候选内排序。生成阶段用oracle正确证据测试“会不会使用”，用真实检索测试端到端，用空上下文测试模型先验。三者差异有助于定位瓶颈。

答案评价拆成任务正确、声明支持、引用覆盖、来源质量、拒答适当性和冲突处理。安全评价加入恶意文档、越权文档、删除后文档和索引延迟。最终还要报告成本、尾延迟和失败率；提高候选数可能改善召回，却扩大上下文、注入面和费用。

练习

概念关系

• 视觉语言模型 提供双编码器相似度与跨模态检索。
• 哈希、堆与图算法 支持索引、近邻和候选管理。
• 条件概率 区分问题、上下文与输出的条件关系。
• 数据切分与泄漏 约束重复文档、查询和评价证据隔离。
• 语言建模与规模规律 提供条件生成目标与计算背景。
• 工具、记忆与规划 延伸权限、状态与外部动作链。
• 大模型智能体综合复习 汇总端到端成功、成本和安全评价。

资源

RAG 论文介绍检索器与生成器的组合。《Deep Learning》提供序列生成的基础，可结合本章比较检索结果、生成内容和引用依据。

分块交叉注意力的结构与训练设置见 RETRO 论文。