企业官网建设流程全解析

做模型评测这行干久了，你会慢慢意识到一个问题：评测结果靠不靠谱，三分之一取决于模型，三分之一取决于图像，剩下的三分之一，其实藏在那些看起来毫不起眼的文本题目里。所谓“VLLM 基准测试文本”，就是指用来评估视觉-语言大模型（Vision-Language Large Model）的一组自然语言问题、指令和提示词，它们配合图像或视频输入，组成一套量化的能力考卷。

VLLM 的基准测试不是随便拿张图、随便问一句“这张图里有什么”就完事的。题目文本的设计质量，直接决定了你能不能测出模型的真实水平。我见过太多团队，跑完 benchmark 分数漂漂亮亮，一上真实业务就原形毕露，最后排查下来，问题往往不是模型不行，而是测试文本本身就有歧义、答案不唯一、维度覆盖失衡。这篇文章就把我自己在搭建 VLLM 基准测试文本集时踩过的坑、总结的方法、沉淀的工具流程一次性说清楚，适合做模型评估的算法工程师、应用落地选型的人，以及想在论文里严谨对比模型优劣的研究者参考。

1. VLLM 基准测试到底在测什么

1.1 能力维度拆解：文本要能“打中”每种技能

视觉语言大模型的能力不是铁板一块，它至少横跨了从低层感知到高层推理的多个层级。你在设计基准测试文本时，第一件事就是把这些能力维度拆清楚，否则你的题目文本大概率会一窝蜂地堆在“图里有什么”这一层，测出来的分数毫无区分度。

我习惯把 VLLM 能力拆成四个大层：

• 低层感知：物体识别、属性识别（颜色、材质、大小）、文字 OCR、人体属性、物体计数。
• 中层理解：场景类别、空间关系（左/右/上/下/前后）、动作识别、事件时序、图表理解。
• 高层推理：常识推理、逻辑推理、多步推理、反事实假设、隐喻理解、争议性判断。
• 对齐与安全：指令跟随、格式约束、拒绝不当内容、幻觉抑制（针对图中不存在的事物）。

每一层都对应着不同的文本设计策略。比如测低层感知，你的问题文本就要尽量“原子化”，一道题只考一个属性。你要是问“图中有几个红色的球？”，模型必须同时搞定“计数”“颜色过滤”“目标识别”三个动作，一旦答错你根本定位不了是哪个环节出了问题。而测高层推理时，文本则要故意提供“足够但不冗余”的上下文，让模型有机会展示推理链，比如“如果图中左侧的物体被拿走了，右侧的物体会倒向哪边？”这种题目，同时考了空间关系、物理常识和运动预测。

我做评测时常用一张表格来规划文本的覆盖矩阵：

这张表是我所有评测文本设计的地基。每次新增题目，先打上能力标签，再检查是否和已有题目重复，保证整套考卷在能力维度上是均匀铺开的。

1.2 为什么文本设计决定了基准测试的“质量天花板”

很多团队做评测，喜欢把精力全花在选图像上，费老大劲找了一批高清、多样化的图片，结果问题文本随便写两句就上线跑了。这种做法多半会吃大亏。原因很简单：同一张图像，配上不同的文本题目，测的根本不是同一种能力。

举个例子。一张图片里“桌上放了两个苹果、一个橘子和一杯水”。

• 问“图中有几个苹果？”——测的是计数和目标识别；
• 问“这张桌子上的场景可能发生在哪里？”——测的是场景推理和常识；
• 问“如果来了一位客人，主人最可能先递上什么？”——测的是社会常识和意图推理。

你看，图像只是提供了视觉环境，真正定义“考什么”的是文本。文本一换，能力考察方向就全变了。所以，基准测试文本的语言学质量，比如指示清晰度、词汇难度、句式复杂度、歧义度，直接构成了这套 benchmark 能测出多少真实信息的质量天花板。

实操中我见过一个典型翻车案例：某团队拿一个公开视觉问答数据集做评测，里面有一道题是“What is the man holding?”，参考答案是“a bat”。模型答了“baseball bat”，按精确匹配判错，但其实那根球棒就是一个棒球棒，参考答案反而标得不全。这个锅不能甩给模型，是文本和参考答案设计时没考虑答案的合法变体。这类问题如果不在一开始就规避，最终评测报告里的数字是没有什么参考价值的。

还有一点容易忽略：文本措辞会直接影响模型的注意力分配。VLLM 内部通常把图像 token 和文本 token 融合在一起走注意力机制，你问“图片中最大的物体是什么颜色？”，模型会把注意力集中在“大物体”和“颜色”两个概念上；如果你问“这张图漂亮吗？”，模型则会把注意力导向整体美学评分，而不是任何具体物体。题目里每一个形容词、每一个限定词，都在模型内部参与注意力权重的计算。因此，措辞上的微小差异，可能导致最终分数的显著波动。

2. 基准测试文本的设计原则与三类构建路径

2.1 五条设计原则，少一条都会在后期爆发问题

经过反复试错，我把 VLLM 基准测试文本的设计原则收敛成五条。这五条不是什么学术理论，完全是实战中“不这么做就会出事”的总结。

第一，任务意图明确。一道题只考一个能力点，不要考“组合拳”。比如“图中左上角的红色物体是什么？它的材质是什么？”这种题目就应该拆成两道。组合题一旦答错，你无法定位模型到底是哪个子能力不行。

第二，题干自洽。题目本身要包含足够的信息，不能依赖图像之外的隐含知识才能作答。比如“Where is this place?”如果图中没有任何地点线索，那就是一道废题，因为模型只能靠猜。题干自洽的意思是：一个具备基本世界知识的人，只看图像+文本，就能确定唯一答案。

第三，参考答案可判定。对于封闭式题目，答案必须有明确的判定标准，包括同义词表、允许误差范围（比如计数题的“大约”“至少”）。对于开放式生成题，必须提前写好评分 rubrics（评分细则），拆成“内容正确性”“细节丰富度”“格式合规性”几个维度。

第四，难度分层。整套文本集不能全是送分题，也不能全是地狱题。我会按 3:4:3 的比例分配低层感知、中层理解、高层推理，并且在每一层内部再细分简单/中等/困难三档。这样跑出来的分数才有区分度，能把不同模型的能力画像清晰画出来。

第五，反鲁棒性。模型可能“背题”，也可能被某种句式误导。我在正式文本集里会刻意混入一批风格改写的题目：同义改写、否定陈述（“图中没有一个红色的球”）、数量反转、时空条件变更。这一批题的目的不是测能力上限，而是测模型的稳定性。

2.2 构建路径：人工、程序生成、规则改写

这三条路径我都跑过，可以负责任地说，没有哪一条是银弹，实际工程中必须组合使用。

人工编写是质量最高的路径。找三五个懂模型也懂业务的人，从零开始写题。优势是题目自然、歧义少、参考答案可控；劣势是太慢，一个人一天能写出五六十道高质量题目就算不错了。我一般只在两个阶段用人工：一是定义核心种子题，二是最终审校全量题目。

程序生成是效率最高的路径。先定义好模板，再通过参数填充批量产出题目。比如：

• “图中有[m个][物体类别]？”（计数+识别）
• “位于[空间方位]的物体的[属性]是什么？”（空间+属性）
• “图中[动作]的[主体]正在做什么？”（动作理解）

模板的好处是一致性强，每道题的语法结构都是可控的，不会自己制造歧义。但风险也很明显：模板痕迹太重，模型见多了会产生“模板偏见”，这在评测中会造成虚高的分数。我的对策是每套模板最多生成不超过总题目量的 10%，并且用同义改写工具对模板句做表层变化。

规则改写是最具性价比的路径。拿现有图文数据集里的描述文本（caption），通过规则把陈述句改写为疑问句。“A red car is on the street”改写为“这辆红色的车停在哪里？”质量上限取决于原 caption 的质量，但胜在可以快速获得大量有图像支撑的题目，不用再重新找图。

三条路径对比如下：

2.3 文本增强与干扰策略，让模型无题可背

基准测试最怕的一件事，是测试文本被模型大数据“偶然见过”。现在的 VLLM 训练语料里包含了大量图文对，如果你从公开数据集里直接拿原始问答，那你的评测结果基本就是在验证模型的记忆力，而不是推理能力。

为了对抗这一点，我会在基础题目之上做一层文本增强。具体有四种手段。

同义改写：把问题换个说法，比如“图中有几只猫？”改成“画面里猫的数量是多少？”。模型如果只在训练时见过前一种问法，后者就能暴露它到底是真的理解还是背答案。

否定构造：把问题从正向改成负向。比如“图中没有出现以下哪种动物？”。这类问题天然考察模型的集合判断能力，对人类不难，但对很多 VLLM 特别容易翻车。

条件变化：给问题加一个假设前缀。比如“如果将图中所有的红色方块移走，还剩几个蓝色方块？”。这类文本把任务从单纯感知升级到了“感知+心理模拟+推理”，对模型的能力要求直接上一个档次。

指代磨掉：这是我最常用也最狠的一招。把原题里指向明确的名词替换成指代词，比如“这个物体”“那个区域”。模型如果对图像区域的定位能力不够，很容易在这一类题上大量失分。用这招检测出的问题，往往是模型在实际业务中最致命的问题。

文本增强不是把所有题目都变难，而是让同一道题出现多个“平行版本”。我会把原始题记为 v0，增强记作 v1/v2/v3，每个版本对应不同的测试目的。正式出报告时，可以分别列出原始版本分数和增强版本分数，两者差距越大，说明模型的泛化性越差。

3. 实操：从零构建一套 VLLM 基准测试文本集与评测管线

3.1 定义任务与文本格式：先把数据 schema 定下来

一套合格的基准测试文本集，绝对不能是一堆散落的 txt 问题。我在最开始就会定义好标准的数据 schema，用 JSON 存储每条评测样本。这个习惯帮我省了后面不知道多少麻烦。

每条样本必须包含：样本 ID、图像路径或图像 ID、问题文本、能力标签、难度标签、参考答案（可能多个）、评分方式（精确匹配/包含匹配/人工评分）、备注信息。

我实际使用的 JSON 结构大致长这样：

{ "sample_id": "vllm_bench_000123", "image": "images/val/scene_0042.jpg", "question": "图中左侧的人物正在做什么动作？", "capability": "action_recognition", "difficulty": "medium", "answers": ["跑步", "奔跑", "正在跑步"], "score_type": "exact_match", "note": "该题考察动作识别与方位词的联合理解，若模型只答方位部分，判为部分正确" }

这个 schema 看起来简单，但它在后续评测管线里的价值非常大。你可以随时按capability字段分组统计，按difficulty字段做难度曲线分析，甚至可以在answers里为审判员提供多答案集合，把开放题因为措辞不同导致的误判降到最低。

唯一需要提醒的是：图像 ID 和文本问题之间必须建立强关联，我踩过的坑是图像文件重命名后没有同步更新 JSON，导致 30% 的样本文本跟图像对不上，重跑了两天评测才发现。

3.2 题目生成与审校流程：四步走，缺一步都会崩

题目生成我有一套固定的四步流程，每一步都有明确的产出物和检查点。

第一步，定义维度矩阵。把你要测的能力维度列成表格，确定每个维度下要出多少题。比如我近期做某电商客服场景的 VLLM 评测，维度矩阵是：商品识别 120 题、属性识别 120 题、场景理解 90 题、用户意图推理 80 题、安全对齐 40 题，合计 450 题。这样分配，每个维度都有足够样本量去做统计显著的分析。

第二步，编写种子题与模板。人工写出每个维度下的 5～10 道种子题，再把这些种子题泛化成模板。检查模板的方式是“换值测试”：把模板里的名词换掉，看生成的新题是否语义通顺、是否仍然只考单一能力。例如模板“图中共有[数字]个[物体]吗？”换不同数字和物体后，语义是稳定的，但换成“图中共有[数字]个[颜色]吗？”就明显不通。

第三步，批量生成与自动清洗。运行脚本批量生成题目后，做一轮规则清洗：剔除图片中不存在的物体类别（需要先跑一遍检测器）、剔除长度超过 50 个字符的过长问题、剔除含有 HTML 转义符等脏字符的样本。自动清洗的规则不能贪多，否则会误伤有效题目。

第四步，人工抽检三联。我会用 5% 的抽样比例，按三个维度抽检：语义通顺性（题目读起来是否自然）、难度标注合理性（标注困难但实际简单的要回退重标）、答案一致性（多个参考答案之间是否等价）。抽检不合格的批次，整批退回重新生成。这一步最花时间，但也是整个流程里价值最高的一步，务必不要省。

四步走完，这套文本集才算可以进入评测管线。记住，先小批量再全量。我在首次构建时习惯先跑 30～50 道的迷你版，用真实模型跑一轮，看有没有系统性误判，确认没问题再扩到全量。这个“小步快跑”的习惯至少帮我避开过三次大返工。

3.3 评测管线与核心指标计算：从文本到分数的完整链路

文本集就绪之后，评测管线就是把你选定的 VLLM 模型按批次喂进题目，拿到输出之后和参考答案做比对，算出各项指标。整个链路里，最容易被忽视的就是指标和评分方式不匹配。

我按任务类型把指标分成三组。

第一组是感知类任务的精确匹配指标。比如物体识别、计数、属性识别，这类任务答案通常是有限的、可枚举的，我会用 Accuracy@1 和 Macro F1。计算时注意，不要直接用模型输出全文做匹配，最好先抽取答案部分再做归一化（去空格、转小写、去除标点），否则一个多余的句号就能让分数掉下去。

第二组是理解类任务的语义相似指标。比如场景理解、图表理解，答案往往不是唯一词，我会用 ROUGE-L 和 BERTScore 这类对语义相似度敏感、对语序不那么敏感的指标。ROUGE-L 看的是最长公共子序列，适合判断关键信息有没有覆盖；BERTScore 则是用向量相似度兜底，能捕捉“同义不同形”的情况。

第三组是开放生成类任务的大模型裁判打分。比如推理题和安全对齐题，答案无法穷举，就需要用另一个强模型当裁判，按照评分细则打分。“LLM-as-judge”的坑在于评审者本身也有偏好，所以我在评分 rubric 里强制要求裁判按维度拆分打分，而不是给一个整体分，同时抽样人工复核裁判的分数，确保评分没有系统性偏移。

下面这段代码是一个最小化的评测脚本骨架，我在实际项目里会在此之上扩展成支持多模型并发、断点续跑、全量日志的结构：

import json import re from collections import defaultdict def normalize(text: str) -> str: text = text.lower().strip() return re.sub(r"[^\w\u4e00-\u9fa5]", "", text) def exact_match(pred: str, answers: list[str]) -> bool: pred_n = normalize(pred) return any(pred_n == normalize(ans) for ans in answers) def batch_evaluate(model, samples: list[dict]) -> dict: results = defaultdict(lambda: {"total": 0, "correct": 0}) for sample in samples: pred = model.generate(sample["image"], sample["question"]) is_correct = exact_match(pred, sample["answers"]) cap = sample["capability"] results[cap]["total"] += 1 if is_correct: results[cap]["correct"] += 1 return {cap: v["correct"] / max(v["total"], 1) for cap, v in results.items()}

跑完评测之后，我会按能力维度分组统计准确率，画一张简单的柱状图来对比不同模型的优劣势。比如竞品模型 A 在感知层准确率高但推理层崩盘，模型 B 反过来，那么你要做应用选型，就非常清楚了：如果业务场景是看不懂的图表校验，你应该选 A；如果是开放域客服问答，选 B 更有把握。

3.4 结果分析的正确打开方式：不要只盯总分

评测分数算出来只是第一步，真正有价值的是对结果的深度解读。我看结果有三个习惯。

第一，按能力维度和难度双重分层看。总分相同的两个模型，可能一个靠刷简单题拉分，一个靠硬啃难题得分。我会把“简单题准确率”和“难题准确率”拆开列在报告里。一个模型简单题 95%、难题 40%，另一个模型简单题 85%、难题 70%，显然后者更值得投入业务。

第二，看错误分布，而不是只看准确率。把模型答错的题目按错误类型归类：物体漏检（模型没看到物体）、属性错配（看到了物体但把颜色搞错了）、方向混淆、幻觉（答出图像中不存在的东西）。错误类型分布能直接指导模型的下一步优化方向，幻觉占比高就要调解码参数或加约束，方向混淆多就要强化空间注意力。

第三，做文本消融分析。把同一批图像配上不同风格的问题文本，跑两条评测线：一条用原始文本，一条用增强文本。两条线的分数差，就是模型对文本表面形式的敏感度。这个指标极其隐蔽，但极其重要——如果模型换个问法分数就从 90 掉到 50，那它在真实业务里根本没法用，因为用户不会照着你的模板说话。

4. 常见问题与排查技巧实录

4.1 题目文本有歧义，人工都答不统一

这是构建文本集时最容易被忽略的问题。你以为写清楚了，拿去让两三个人试答，发现答案分了两派。比如“图里的老人旁边是谁？”，如果图里有老人、小孩、年轻人，到底“旁边”是左边还是右边，指代的是哪个对象？答案根本落到具体实体上。

排查技巧：每道新题生成后，让至少 3 个和项目无关的人试答，录下他们的答案。如果出现超过两种不同答案且各有道理，这道题就必须回炉重写。回炉时优先把“旁边”“那里”“这个”这类指代词换成具名对象，比如改成“老人左边站着的成年男性是谁？”。如果无论如何都有歧义，干脆在题目里加上限定条件：“以图中观看者的视角，老人左侧的成年男性是谁？”

4.2 参考答案不唯一，模型答对了却被判错

开放题和部分理解题最容易踩这个坑。参考答案只写了一个“标准表述”，模型给出同义但不同措辞的答案就被误杀。这种情况在语义理解题上特别常见。

排查技巧：在正式评测前，先用一个小型模型跑一遍全部题目，把所有模型答出但参考答案里没覆盖的合法答案抽取出来，人工判断后补充进参考答案。这个流程叫做“两轮答案扩展”，第一轮扩展同义词，第二轮扩展合法变体，做完后准确率指标的稳定性会大幅提升。

4.3 数据污染：文本题目和大模型训练语料撞了车

如果你的评测题是从公开数据集或者网上直接拿来的，那模型大概率已经在训练时见过差不多的题目，评测分数虚高非常正常。

排查技巧：我会在文本集的 schema 里加入created_at时间戳，追踪每一批题的入库时间。评测报告中只统计“入库后发布的新模型”的分数，这样能排除“背答案”的干扰。更稳妥的做法是常年在文本集里保持 20% 的新题配额，每一两个月更换一轮，旧题只保留经典种子题。

4.4 分布失衡：文本集和真实业务场景脱节

很多人构建 VLLM 基准测试文本集时，喜欢按自己想象的“通用能力”出题，结果评测分数很高，一上线面对真实用户提问就歇菜。原因无他：真实用户的提问风格、词汇、句式，和你的 benchmark 文本相差十万八千里。

排查技巧：从真实业务日志里捞数据，脱敏后作为“真实分布”评测子集单列。方法和构建评测集一模一样，只是文本来源换成真实用户的问题，而不是专家撰写的问题。这组题目准确率比通用题低 5～10 个百分点都是正常的，但这才是业务能感知到的真实水平。建议每个季度更新一次分布，保证文本集跟着真实用户习惯的演化。

4.5 常见问题速查表

最后再分享一个小技巧

我自己做评测这几年，最常翻车的就是人工抽检环节。一开始图快，每批题抽 3% 过一眼就放行，结果全量评测跑完，发现某个小众模板的准确率只有 30%，还以为模型能力不行，排查到最后发现是模板里“哪个”指代不清，20 道题全军覆没。后来我养成了规矩：每批题至少抽 5%，并且至少独立抽检两轮，第一轮看语义通顺，第二轮看答案一致性。这个流程看着费时间，实际是最省时间的，因为它把大返工扼杀在萌芽阶段。

另外，我强烈建议你在正式版本里保留一份“对照组文本”。同一批图像，配上两套风格不同但语义等价的问题，比如口语化版本和书面语版本。每次模型升级你就同时跑这两套，一对比就能知道模型是真的变强了，还是只是恰好更适配了你的问法。这个动作花不了几分钟，但它给的信息密度，比单跑一遍全量 benchmark 高得多。