企业官网建设流程全解析

本文深入解析了RAG技术的常见问题——误召与漏召，并提供了详细的排查与优化策略。误召会导致不相关信息干扰模型，而漏召则造成关键信息缺失。文章从分块策略、嵌入模型、排序机制等方面分析了误召的成因，并提出了优化建议；同时针对漏召问题，从问题与文档的语义鸿沟、分块信息割裂等方面进行了剖析，给出了相应的解决方案。此外，还介绍了如何通过构建测评数据集、定期评估等方式实现RAG系统的闭环优化，确保其稳定高效运行。

RAG（检索增强生成）可以说是目前AI中最早实现落地应用的技术

RAG使用虽然广泛，但是经常出现的“找错了”（误召）和“找不到”（漏召）还是让人头疼。明明我创建的知识库中啥信息都有，但就是不按我想要的答案来干活。

01

—

先分清：什么是误召，什么是漏召？

比如你去书店买书：

误召：你告诉店员要买“哈利·波特”全集，他给你拿来了一堆书，里面还有一些计算机和法律书籍，这种不相干的书籍就是误召的信息。

漏召：店员拿了很多书，但是“哈利·波特”并不全，缺少的部分就是漏召。

在 RAG 中：

• 误召→ 不相关内容进入上下文 → 模型可能被干扰 → 回答跑偏或产生幻觉
• 漏召→ 关键信息缺失 → 模型回答不完整甚至直接说“没找到”

02

—

误召的排查与优化

典型症状

• 生成的答案里出现了与问题无关的信息
• 模型明明回答正确，但引用的块却看起来“不对劲”
• 对于简单问题，召回了大量看似语义相似实则无关的内容

排查优化思路：

1. 分块策略问题（这是需要首先考虑的，通常固定分块的误召率会比较大）

• chunk 过大：一个 chunk 包含多段不同主题，只要其中一小段语义匹配就被整体召回，带来大量噪声
• chunk 过小：信息碎片化，缺少上下文，导致孤立匹配

优化建议：

• 将固定大小分块策略更换成语义分块，尽量减少语义无关信息
• 调整测试 overlap（重叠区域）的大小
• 对结构化文档（如表格、代码块）单独设计分块逻辑
• 将知识库原始材料进行重新整理，例如整理成excel格式，一行就是一个新块，并手动去除无关信息

2. 嵌入模型能力不足

• 通用嵌入模型（Embedding）在垂直领域表现差
• 对细粒度语义区分能力弱（例如“2024年”和“2023年”的综述）

优化建议：

• 在目标领域数据上微调嵌入模型，这个对技术要求会比较高，而且如果你自己的数据质量不高，或者数量不足，就有可能让模型能力变的更差，所以谨慎选择
• 更靠谱的方法是，从[模型排行榜]进行尝试
• 对时间、数字等敏感信息，改用[结构化提取而非纯语义]匹配。有时候简单的正则化可能效果比语义识别更靠谱

4. 排序失效

• 相关文档排在 20 名之外，被截断丢弃
• 不相关文档因为某种特征排到了前面

优化建议：

• 设置合理的召回数量（Top-K）和重排序（Rerank）
• 引入交叉编码器（一种用来判断问题和文档是否相关的模型）进行精排，虽然慢但准确率高
• 检查是否有“高频词作弊”：某些词在向量空间中过于突出

03

—

漏召的排查与优化

1. 问题与文档的语义鸿沟

• 用户问“怎么退费”，文档写的是“取消订阅后剩余金额处理”
• 用户问“感冒了怎么办”，文档写的是“上呼吸道感染的护理措施”

优化建议：

• 问题改写：用 LLM 将用户问题扩展为多个相关问法
• 多 问题策略：生成 3-5 个不同表达的问句并行检索，合并结果
• 建立同义词/术语映射表，在检索时自动扩展

2. 分块导致信息割裂

• 关键信息被切碎，每个 chunk 单独看都不足以回答
• 答案分散在多个 chunk 中，没有一块完整包含答案

优化建议：

• 增大 chunk 大小（注意，这样可能又会引起误召问题）
• 引入父子块索引：子块用于匹配，父块（更大上下文）返回给模型
• 对长答案类问题，考虑用 Graph RAG 或 summarization 索引

3. 检索器召回能力上限

• Top-K 设置过小
• 相似度阈值过高
• 检索方式单一（只有向量或只有关键词）

优化建议：

• 适当提高 Top-K（如从 10 提到 30），配合重排序
• 降低相似度阈值，宁可多召后精排，不漏召
• 混合检索 + 加权融合（RRF 算法是简单有效的选择）

4. 元数据过滤不当

• 用户问“去年的报告”，但没对文档元数据（年份）做过滤
• 或错误设置了过严的过滤条件

优化建议：

• 在文档入库时提取元数据（时间、作者、类别、章节等）
• 问题解析时识别过滤条件，先过滤后检索，或过滤与检索并行

5. 多跳推理问题，信息分散在不同 chunk 中

• 问题是多跳推理（例如，用户问“A 公司被 B 公司收购后，CEO 换成了谁？”需要先知道“A 被 B 收购”，再知道“B 的 CEO 是谁”。这两个信息很可能在不同文档中，一次简单检索往往只召回“A 被 B 收购”相关的那一段），检索却只做单轮
• 问题需要整篇文章信息，召回只有几个片段

优化建议：

• 引入 HyDE（假设性文档嵌入）：让 LLM 先“想象”答案文档，再用答案去检索
• 使用多路检索融合：关键词检索（BM25） + 向量检索，取长补短

04

—

通用排查工具与闭环优化

光知道如何优化还不行，你还得不断去确定RAG系统的误召和漏召情况。这就需要你构建测评数据集，定期检查RAG的健康状态。

定期评估

• 构建测试集：每个测试用例包含（问题，相关文档 ID 列表）
• 计算召回率、精确率、MRR、NDCG@K
• 用 RAGAS、ARES 等框架做端到端评估

分析流程

1. 记录：记录RAG的测试结果，标记是误召还是漏召
2. 定位：确定是哪一环出问题？query 理解？检索？分块？排序？还是多跳未被分解？
3. 调整：针对性地调整参数或策略
4. 验证：在测试集上确认改善
5. 迭代：继续采样下一个周期

05

—

快速自检清单

误召检查：

• chunk 是否包含了多个不相关主题？（分块过大）
• 嵌入模型是否区分不了“相似但不同”？（年份、细粒度语义）
• 排序是否失效？不相关文档是否靠高频词排到了前面？
• 问题很小但 chunk 很大，导致噪声多？

漏召检查：

• 问题是否需要多跳推理？有没有分解成子问题？
• query 和文档的说法是否差异大？（需要改写或 HyDE）
• 关键信息是否被切碎在不同 chunk 中？（父子块索引）
• Top-K 是否过小？相似度阈值是否过高？
• 元数据过滤是否有误？

01

什么是AI大模型应用开发工程师？

如果说AI大模型是蕴藏着巨大能量的“后台超级能力”，那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。

AI大模型应用开发工程师是基于AI大模型，设计开发落地业务的应用工程师。

这个职业的核心价值，在于打破技术与用户之间的壁垒，把普通人难以理解的算法逻辑、模型参数，转化为人人都能轻松操作的产品形态。

无论是日常写作时用到的AI文案生成器、修图软件里的智能美化功能，还是办公场景中的自动记账工具、会议记录用的语音转文字APP，这些看似简单的应用背后，都是应用开发工程师在默默搭建技术与需求之间的桥梁。

他们不追求创造全新的大模型，而是专注于让已有的大模型“听懂”业务需求，“学会”解决具体问题，最终形成可落地、可使用的产品。

CSDN粉丝独家福利

给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】

02

AI大模型应用开发工程师的核心职责

需求分析与拆解是工作的起点，也是确保开发不偏离方向的关键。

应用开发工程师需要直接对接业务方，深入理解其核心诉求——不仅要明确“要做什么”，更要厘清“为什么要做”以及“做到什么程度算合格”。

在此基础上，他们会将模糊的业务需求拆解为具体的技术任务，明确每个环节的执行标准，并评估技术实现的可行性，同时定义清晰的核心指标，为后续开发、测试提供依据。

这一步就像建筑前的图纸设计，若出现偏差，后续所有工作都可能白费。

技术选型与适配是衔接需求与开发的核心环节。

工程师需要根据业务场景的特点，选择合适的基础大模型、开发框架和工具——不同的业务对模型的响应速度、精度、成本要求不同，选型的合理性直接影响最终产品的表现。

同时，他们还要对行业相关数据进行预处理，通过提示词工程优化模型输出，或在必要时进行轻量化微调，让基础模型更好地适配具体业务。

此外，设计合理的上下文管理规则确保模型理解连贯需求，建立敏感信息过滤机制保障数据安全，也是这一环节的重要内容。

应用开发与对接则是将方案转化为产品的实操阶段。

工程师会利用选定的开发框架构建应用的核心功能，同时联动各类外部系统——比如将AI模型与企业现有的客户管理系统、数据存储系统打通，确保数据流转顺畅。

在这一过程中，他们还需要配合设计团队打磨前端交互界面，让技术功能以简洁易懂的方式呈现给用户，实现从技术方案到产品形态的转化。

测试与优化是保障产品质量的关键步骤。

工程师会开展全面的功能测试，找出并修复开发过程中出现的漏洞，同时针对模型的响应速度、稳定性等性能指标进行优化。

安全合规性也是测试的重点，需要确保应用符合数据保护、隐私安全等相关规定。

此外，他们还会收集用户反馈，通过调整模型参数、优化提示词等方式持续提升产品体验，让应用更贴合用户实际使用需求。

部署运维与迭代则贯穿产品的整个生命周期。

工程师会通过云服务器或私有服务器将应用部署上线，并实时监控运行状态，及时处理突发故障，确保应用稳定运行。

随着业务需求的变化，他们还需要对应用功能进行迭代更新，同时编写完善的开发文档和使用手册，为后续的维护和交接提供支持。

03

薪资情况与职业价值

市场对这一职业的高度认可，直接体现在薪资待遇上。

据猎聘最新在招岗位数据显示，AI大模型应用开发工程师的月薪最高可达60k。

在AI技术加速落地的当下，这种“技术+业务”的复合型能力尤为稀缺，让该职业成为当下极具吸引力的就业选择。

AI大模型应用开发工程师是AI技术落地的关键桥梁。

他们用专业能力将抽象的技术转化为具体的产品，让大模型的价值真正渗透到各行各业。

随着AI场景化应用的不断深化，这一职业的重要性将更加凸显，也必将吸引更多人才投身其中，推动AI技术更好地服务于社会发展。

CSDN粉丝独家福利

给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】