企业官网建设流程全解析

DeepEval指南：3分钟快速拿到LLM评估首份得分

【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval

凌晨，你负责的 RAG 客服开始答非所问，你需要用 DeepEval 这个 LLM 评测框架，在 5 分钟内定位是检索环节还是生成环节出了问题。它把“问题→检索→回答”的全链路量化成指标得分，而不是依赖你的直觉判断。

什么是 DeepEval：一个能接进 pytest 的 LLM 评测框架

DeepEval 是一个开源的 LLM 评测框架，把大模型应用的质量问题转写成 pytest 风格的测试用例来执行。它解决的核心问题是“AI 的回答好不好，如何量化判断”，同时覆盖端到端黑盒评估和组件级评估。构建 RAG 管道、Agent、客服机器人的开发者，以及需要在 CI 里设质量门的测试工程师，都可以直接把它接入现有工作流。

主流程走读：安装到出分的 4 个步骤

1. 安装。执行pip install -U deepeval，要求 Python 3.9+，全程不依赖云账号。
2. 写测试用例。构造一个LLMTestCase，填入input、actual_output（你应用的真实输出）和expected_output（理想答案）。
3. 选 LLM 评测指标。用AnswerRelevancyMetric衡量答案相关性，或用GEval用一句话自定义评判标准，并设threshold决定通过线。
4. 运行读分。执行deepeval test run收集并运行测试文件，控制台报告给出每个指标 0-1 的得分与通过/失败结论。

最小可运行示例

pip install -U deepeval

from deepeval import assert_test from deepeval.metrics import AnswerRelevancyMetric from deepeval.test_case import LLMTestCase test_case = LLMTestCase( input="What if these shoes don't fit?", actual_output="We offer a 30-day full refund at no extra cost.", expected_output="You're eligible for a free full refund within 30 days.", ) assert_test(test_case, [AnswerRelevancyMetric(threshold=0.7)])

运行deepeval test run执行这个文件后，你会看到答案相关性指标的得分和 PASS/FAIL 判定：得分 ≥ 0.7 判通过，否则判失败，结果直接打印在控制台。

三个常见任务：DeepEval 如何介入

上线前回归测试

把 golden 集整体跑一遍评估管线，任何指标得分跌破阈值都会直接暴露回归。DeepEval 在同一套测试集上逐项对比新旧版本的结果，你只需检查哪条用例从通过变成失败，而不必重读全部回答。

Prompt 迭代对比

同一份数据集分别跑三个版本的 prompt，DeepEval 会按版本汇总每项指标的均值并标出差异，每个测试用例的分差都单独列出。你能直接看出哪个版本在哪些题上变好或变差，这是 RAG 评估与调参最省时间的路径。

线上 Bad Case 归因

用户报错时，先用 tracing 捕获一次完整执行链路，再对轨迹跑TaskCompletionMetric等指标。你会定位到具体是哪次检索或哪次工具调用出了问题，而不是只盯着最终回答猜测原因。

技术设计上值得看的 4 个决策

• 本地优先执行：评估在你的环境里运行，deepeval test run按 pytest 规则收集执行（见docs/content/docs/getting-started.mdx）。不开云账号也能拿到第一条结果。
• 指标可插拔：指标继承deepeval/metrics/base_metric.py的BaseMetric，只需实现measure方法。deepeval/metrics/下有 30 余个从 RAG 到 Agent 到安全性的现成指标目录。
• 框架适配层：deepeval/integrations/为 LangChain、LlamaIndex、CrewAI、Pydantic AI 等提供独立适配器，用回调处理器注入评估与轨迹捕获，业务代码不用改。
• 轨迹感知：deepeval/tracing/的@observe装饰器记录模型调用、工具调用等 span。轨迹级指标基于完整执行路径评估，而不是只看最终输出。

生态对接：这些框架可以直接接入

• LangChain：回调处理器接入链路与 Agent，捕获各节点输入输出。
• LlamaIndex：面向 RAG 应用，对检索与生成质量一并打分。
• CrewAI：评估多智能体协作的执行结果与工具使用。
• Pydantic AI：对接类型安全 Agent，复用其结构化校验。
• OpenAI：包装客户端后调用轨迹被自动捕获，可做轨迹评估。
• Google ADK：支持 ADK Agent 与多智能体工作流的追踪和评估。

分阶段上手路线

• 入门：读docs/content/docs/getting-started.mdx跑通第一条评估；参考现成测试文件examples/getting_started/test_example.py；熟悉deepeval test run的收集与报告输出。
• 进阶：在deepeval/metrics/里核对每个指标的实现与 prompt 模板；用deepeval/dataset/建可复用的 golden 集；输出格式有硬要求时先加ExactMatch、PatternMatch这类确定性指标。
• 生产级：用deepeval/tracing/捕获生产流量做离线评估；把deepeval test run放进 CI，以阈值做发布门禁；用deepeval/benchmarks/跑 MMLU 等标准基准校准模型。

常见误区与避坑

• 只挂一个 LLM-as-Judge 指标。G-Eval 类指标受评判模型偏好影响，单指标容易系统性偏宽。正确做法是搭配deepeval/metrics/exact_match/的ExactMatch或PatternMatch交叉验证，多指标联合判定。
• 测试集太少太单一。只测三五条“标准问”得到的 0.9 分没有代表性。正确做法是构建覆盖常规、边界、对抗性问题的 golden 集，并用deepeval/synthesizer/做合成数据补齐你拿不准的场景。
• 阈值一直用默认值。默认 0.5 的阈值分不出“能用”和“优秀”，门禁形同虚设。正确做法是先对 golden 集全量跑分观察分布，再按业务可接受下限设定阈值。

DeepEval 的价值，是把“AI 好不好”变成可以在 CI 里重跑、可以跨版本比较的数字。从docs/content/docs/getting-started.mdx开始拿到第一条结果；想弄清指标怎么算，直接读deepeval/metrics/的源码；想看更完整的用例组织方式，浏览examples/目录即可。

【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval