企业官网建设流程全解析

简介：C-EVAL 是面向中文语境下基础模型评测的多层级、跨学科评估套件，适合自然语言处理与大模型评估方向的研究人员及技术从业者使用，用于系统分析各类大模型在中文环境中的知识储备与推理短板。套件按中学、高中、大学、专业四个难度层级组织，覆盖人文到理工共52个学科，并附有高难子集 C-EVAL HARD 专门考察高级推理能力；实验显示仅 GPT-4 平均准确率超过60%，说明现有模型仍有较大提升空间。资源包共1个文件，为PDF格式论文，大小约4.89MB，完整呈现评测设计、实验设置与结果分析，并说明数据集与评估代码已在 GitHub 公开、配有在线提交与实时排行榜。已有76人学习，读者可据此了解基准构建思路、题目难度分层与模型能力对比方法，为中文大模型评测与改进提供参考。

1. 中文大模型评测，为什么我最后把 C-EVAL 当成了基线

去年帮一个做行业模型微调的团队看评测方案，他们拿一堆英文榜单刷分，刷得挺好看，一上真实中文业务就露馅——问法律条文、问医学常识、问大学物理，答得似是而非。问题不在模型笨，在于评测选错了尺子。英文基准翻译过来，考的是翻译质量，不是中文语境下的知识与推理。后来我把 C-EVAL 这套中文多级多学科评估套件推给他们，用 52 个学科、四个难度层级、13948 道单选题重新拉了一遍基线，很多“高分模型”当场掉到及格线附近。这篇就讲清楚：这套评测套件到底怎么用、怎么读结果、哪些坑我踩过。做模型选型的、做评测复现的、刚入行想建立评测直觉的，都能照着往下走。

2. 拆开 C-EVAL 看设计：四个难度层级和 52 个学科怎么落到评测里

2.1 难度分层不是噱头，是定位模型能力边界的坐标

C-EVAL 把题目按中学、高中、大学、专业四个层级切分，这个设计我第一次看觉得只是分类，用久了才发现它是定位能力边界的坐标系。中学层考的是常识性知识，模型答对说明基础语料覆盖够；高中层开始考组合推理；大学层涉及 25 个代表性本科专业方向；专业层直接对标职业资格类考试，比如医师资格、法律职业资格、注册类工程师。四层叠起来，你能看出一个模型是“知识面广但推理弱”，还是“推理还行但专业领域空白”。

我一般会这么比：先看整体平均分，再看四个层级的分数落差。落差大，说明模型在某一档能力上断层，比如中学层 80 分、专业层 30 分，那这个模型基本只能做通用问答，碰专业场景就得靠外挂知识库。落差平缓但整体偏低，说明基础能力没打牢，微调再多也补不上。这个判断依据比单看一个总分有用得多，因为总分会被学科数量加权稀释，层级落差才是真实的能力剖面。

从统计口径看，中学 7 科 1409 题、高中 8 科 1594 题、大学 25 科 6249 题、专业 12 科 4696 题，大学和专业两层占了近八成题量。这意味着平均分其实更偏向高阶能力，一个模型总分能到 60，说明它在大学及以上难度有实打实的覆盖，不是靠中学题刷上去的。选型时如果业务偏专业咨询，直接盯专业层分数，别被总分迷惑。

2.2 学科聚类与题型约束：为什么只保留四选一单选题

52 个学科被聚成 STEM、人文、社科、其他四大类，题量分别是 4495、2676、2845、3932。这个聚类方式对选型很关键：你的业务如果偏理工，就看 STEM 类得分；偏内容合规和人文理解，就看人文和社科。我见过团队拿一个社科强、STEM 弱的模型去做工程文档问答，结果一塌糊涂，回头查分才发现 STEM 类只有 40 出头，只是总分被社科拉平了。

题型上 C-EVAL 只保留四选一单选题，每个题恰好四个选项、唯一正确答案。这个约束看起来简单，实际是评测可信度的地基。开放式生成题的评分要么靠人、要么靠模型裁判，前者贵后者有偏；单选题的指标就是准确率，定义清晰、可复现、跨模型可比。原文里也提到，多选题是评估高阶能力的一个简单但有效的代理指标，因为这类能力在指令微调后能迁移到下游任务。

数据处理上有个细节值得说：原始题目来自 PDF、Word 和网页，作者做了自动解析加人工标注，STEM 类涉及复杂数学符号的统一转成标准 LaTeX 格式，还做了去重和清洗，保证 LaTeX 无语法错误。每科至少处理约 200 题，再按学科内随机切分成开发集、验证集、测试集。开发集每科 5 条带解析的示例，专门给少样本评测用；验证集和测试集按 1:9 切，验证集调超参，测试集出最终分。这个切分逻辑意味着你复现时不能自己乱切，必须用官方给定的划分，否则分数和排行榜对不上。

2.3 防数据污染的设计：为什么题目来自模拟卷和校内卷

评测套件最怕的是题目进了预训练语料，模型不是会做，是见过。C-EVAL 在这点上做了两层防护，值得做评测的人抄作业。第一层是来源选择：数据主要来自网上公开的模拟考试，以及部分高校学生公开分享的校内期末题，还有少量经授权的研究生入学模拟题，而不是直接搬全国统一考试的真题。真题流传太广，极易被爬进预训练集；模拟卷和校内卷的分布更分散，泄漏概率低。

第二层是格式门槛：大部分样本来自 PDF 和 Word 文档，需要解析和人工标注才能变成结构化题目，STEM 还要做 LaTeX 转换。这个加工过程本身就是一道过滤，纯文本爬虫很难直接拿到干净题目。原文明确说，这种做法偏离了此前用官方真题建基准的路线，目的就是降低数据污染风险。

对使用者的实际意义是：当你拿 C-EVAL 分数去对比两个模型，分数差异更可能反映真实能力，而不是谁家预训练时“不小心”见过题。但也不能完全躺平，我后面避坑章节会讲，某些高频公开题仍有泄漏可能，读分时要留个心眼。

3. 跑一遍评测：从数据格式到少样本思维链的完整复现

3.1 数据组织与提示构造：dev 示例怎么喂进去

C-EVAL 的每条数据是结构化单选题，字段包括题目、四个选项、正确答案，开发集还额外带解析。少样本评测的标准做法是从开发集取 5 条同科示例拼进提示，再让模型回答目标题。下面是我常用的提示构造骨架，语言标注为 python，逻辑是把 dev 示例和待测题拼成一段对话式输入：

# 从开发集取 5 条同科示例，构造少样本提示 def build_prompt(dev_examples, question, options, use_cot=False): prompt = "以下是中国考试的选择题，请选出唯一正确答案。\n\n" for ex in dev_examples: prompt += f"题目：{ex['question']}\n" for i, opt in enumerate(ex['options']): prompt += f"{chr(65+i)}. {opt}\n" if use_cot and ex.get('explanation'): # 思维链模式：先给解析，再给答案 prompt += f"解析：{ex['explanation']}\n" prompt += f"答案：{ex['answer']}\n\n" prompt += f"题目：{question}\n" for i, opt in enumerate(options): prompt += f"{chr(65+i)}. {opt}\n" prompt += "答案：" if not use_cot else "解析：" return prompt

这段代码的关键参数是use_cot。关掉时模型直接输出选项字母，对应原文的 answer-only 设置；打开时先让模型生成推理过程再给答案，对应少样本思维链设置。dev_examples必须同科取，跨科示例会干扰模型对题型分布的判断。选项统一映射成 A/B/C/D，是因为不同来源的原始选项标号混乱，统一后才能稳定解析模型输出。

解析模型输出时别用正则硬抠第一个字母，模型可能先复述题目再给答案。稳妥做法是取最后一个匹配[ABCD]的字符，或者要求模型输出固定格式如“答案：X”。我一般会在提示末尾加一句“最后一行只输出答案字母”，把解析成本压到最低。

3.2 answer-only 与思维链两种设置：分数差异说明什么

同一批模型在两种设置下的分数差异，本身就是一条判断依据。answer-only 考的是知识检索和快速判别，思维链考的是推理链条完整性。原文的实验里，GPT-4 是唯一平均准确率超过 60% 的模型，达到 66.4%；在更难的 C-EVAL HARD 子集上只有 53.3%，是少数让 GPT-4 也吃力的中文基准之一。这个数字很说明问题：连最强模型在硬子集上都刚过半，说明高阶中文推理远没到饱和。

思维链设置下，如果某模型分数比 answer-only 明显提升，说明它有推理潜力，只是零样本时没被激发；如果提升很小甚至下降，说明它的推理输出不稳定，生成长解析反而引入噪声。我对比过几个中文模型，有的 answer-only 50 分、思维链 55 分，属于可救；有的 answer-only 48、思维链 42，那就是推理链路本身不可靠，微调时得从指令跟随入手，而不是堆知识。

还有一个观察：原文提到部分中文模型在中文知识测试上能缩小与 ChatGPT 的差距，但推理能力的获取明显更难，在 C-EVAL HARD 上多数模型只能保持接近随机的准确率。这条结论对选型很实用——如果你的业务是知识问答，中文模型够用；如果是复杂推理，别指望换个中文模型就解决，得看它在硬子集上的表现。

3.3 C-EVAL HARD 子集：硬骨头怎么单独拉出来测

C-EVAL HARD 是从 52 科里挑出的高难学科子集，比如高等数学、大学物理这类需要多步推理的科目。它不是另一套数据，而是 C-EVAL 的一个切片，单独拉出来测的意义在于：整体平均分会被大量中等难度题拉平，硬子集才能暴露推理短板。

复现时我的做法是维护一份学科白名单，只对白名单内的科目算平均分，其余科目照常跑但不计入硬子集指标。这样同一份评测脚本能同时产出整体分和硬子集分，不用跑两遍。白名单的划定依据是学科本身的推理密度，不是题目难度标签——同样是大学层，有的科目偏记忆，有的偏推导，后者才进硬子集。

读硬子集分数时有个经验阈值：接近 25% 就是四选一的随机水平，说明模型在该子集上基本没学到东西；30% 到 40% 之间是“有零星正确但不成体系”；过 50% 才算具备可用的高阶推理。GPT-4 的 53.3% 放在这个坐标里，是“刚过可用线”，不是“已经很强”。这个判断帮我避免过一次误判：某模型整体分不错，硬子集只有 28%，团队还想拿它做工程计算类问答，我直接劝退了。

4. 选型对比：几个模型在 C-EVAL 上的分数怎么读才不翻车

4.1 横向对比表：整体分、层级分、硬子集分三列一起看

单看排行榜一个总分，是最容易翻车的读法。我一般拉三列：整体平均分、四层级分、硬子集分，再按业务场景加权。下面这张表是我整理对比时的模板结构，数值位置留给你填自己跑出来的结果，重点是列的设计逻辑：

列的设计各有用途。整体平均是入口，快速筛掉明显不合格的；四层级分看能力剖面，判断模型的知识覆盖是否匹配你的业务难度；硬子集分看推理天花板；思维链增益看推理潜力。原文的实验结论是 GPT-4、ChatGPT、Claude 排在前三，尽管它们并非专为中文数据打造，这个结果本身就提示：中文专项模型在知识测试上能追近，但推理能力仍是分水岭。

填表时注意口径统一：同一套提示模板、同一批 dev 示例、同一个解析规则。我见过团队拿 A 模型的思维链分数去比 B 模型的 answer-only 分数，得出“A 更强”的结论，这是典型的口径混用。要么都开思维链，要么都关，跨设置比较没有意义。

4.2 按业务场景加权：知识问答看专业层，推理任务看硬子集

选型不是选总分最高的，是选最匹配场景的。我的加权规则大致是这样：做通用客服和知识问答，专业层和大学层权重高，因为真实问题多落在这一档；做教育类解题，高中层和大学层并重，还要看思维链增益；做工程计算、法律推理这类硬任务，硬子集分是硬门槛，低于 40% 直接排除，不管总分多好看。

举个具体判断：两个模型整体分都是 58，模型甲专业层 52、硬子集 45，模型乙专业层 60、硬子集 32。做专业咨询选乙，做推理密集型任务选甲。这个拆分依据来自 C-EVAL 的层级设计——专业层考的是职业资格类知识，贴近真实专业问答；硬子集考的是多步推理，贴近复杂任务。总分相同不代表能力相同，加权才是选型的核心动作。

还有一条容易被忽略：看学科聚类分。STEM、人文、社科、其他四类的分数分布，能告诉你模型的知识偏科方向。业务如果跨多个领域，就要求四类分差不要太大；如果只做单一领域，反而可以容忍偏科，把资源压在对应类目上。原文把 52 科聚成这四类，就是为了让使用者能做这种切片分析，而不是只吞一个总分。

4.3 分数之外的判断：评测成本、可复现性与更新节奏

分数之外还有三个维度决定这套评测值不值得长期用。第一是评测成本：13948 道题全量跑一遍，对推理接口的调用量不小，思维链模式还要生成解析，token 消耗更高。我的做法是先跑验证集和硬子集做粗筛，入围的模型再跑全量测试集，把成本压到可控范围。

第二是可复现性：C-EVAL 给了固定的开发/验证/测试划分和 5 条带解析的 dev 示例，这意味着任何人按同一流程跑，结果应该能对齐。复现时最容易出偏差的是提示模板和答案解析，这两处必须固定成脚本里的常量，不能每次手改。我一般把模板和解析规则写进配置文件，跑之前先拿一两条 dev 示例做冒烟测试，确认模型输出能被正确解析再开跑。

第三是更新节奏：评测套件是静态的，模型是动态的，题目泄漏风险会随时间上升。原文已经用模拟卷和校内卷降低了污染概率，但使用者仍要关注自己业务领域的高频题是否可能已进语料。我的习惯是每季度抽一批题做人工复核，看模型是否出现“答案对但解析离谱”的情况，那往往是记忆而非推理的信号。

5. 避坑与排查：跑 C-EVAL 时最容易翻车的五个地方

5.1 提示模板不统一，分数没法横向比

现象：同一模型两次跑分差出五六个点，换个人跑又不一样。原因：提示模板里的措辞、示例顺序、是否带解析说明每次都在变，模型对提示敏感，微小改动就会影响输出分布。解决：把模板固化成脚本常量，dev 示例按固定顺序取，跑之前用冒烟测试确认输出格式稳定，任何对比实验都基于同一份模板文件。

5.2 答案解析抠错字母，准确率虚高或虚低

现象：模型明明答对，分数却低；或者答错却被判对。原因：模型输出里先复述题目再给答案，正则抓到的是题目里的选项字母，不是最终答案。解决：要求模型最后一行只输出“答案：X”，解析时取最后一个匹配项；对不按格式输出的样本单独记录，人工抽检，别让解析 bug 污染整批结果。

5.3 拿思维链分数比 answer-only 分数

现象：得出“某模型推理能力碾压另一个”的结论，实际是设置不同。原因：思维链模式给了模型生成推理过程的机会，分数天然高于直接作答，跨设置比较等于让一方多跑一段。解决：对比表里单列“思维链增益”，所有横向比较限定在同一设置内；要比较推理潜力，就看增益幅度，不看绝对分。

5.4 忽略数据泄漏，把记忆当能力

现象：某模型在某科分数异常高，换一批同科新题就掉下来。原因：该科题目可能来自公开模拟卷，已被爬进预训练语料，模型是见过而非会做。解决：对高分科目做人工复核，看解析是否合理；定期抽题做改写测试，把题干换个说法再问，分数大幅下滑就是泄漏信号。原文用模拟卷和校内卷降低风险，但使用者仍要自己留一道复核。

5.5 全量跑测试集，成本失控还拖慢迭代

现象：每次调完模型都全量跑 13948 题，等结果等到失去耐心。原因：没做分层抽样，把评测当成一次性全量任务。解决：先用验证集加硬子集做粗筛，入围模型再跑测试集全量；把评测脚本做成可配置子集，按学科、按层级、按难度切片跑，迭代节奏能快好几倍。

6. 落到实操：我给团队定的 C-EVAL 使用规矩

跑了大半年，我给团队定了一套固定动作，写下来给你参考。第一步永远是先跑硬子集和验证集，不碰测试集全量，粗筛阶段只看两个数：硬子集是否过 40%，验证集是否稳定。这两个数不过关的模型，连进对比表的资格都没有，省下来的调用量留给入围者。第二步是固定模板和解析脚本，模板写进配置文件，解析规则要求模型输出固定格式，跑之前拿 dev 示例做冒烟测试，确认输出能被稳定解析。第三步是对比表只填同一设置下的分数，思维链增益单独一列，绝不跨设置比较。

读结果时我有个习惯：先看层级落差，再看学科聚类，最后才看总分。层级落差大说明能力断层，聚类偏科说明知识覆盖不全，总分只是这两者的加权结果，先看总分容易被平均数骗。原文的结论也支持这个顺序——GPT-4 是唯一平均过 60% 的模型，但硬子集只有 53.3%，说明即便最强模型，高阶推理也只是刚过可用线，选型时把硬子集当门槛比看总分靠谱。

还有一个具体技巧：把 C-EVAL 当成一套可拆分的评测套件，而不是一个整体榜单。原文明确说，子集可以单独用来评估特定能力，分析模型的强项和短板。我的做法是按业务建三套子集——专业知识子集、推理硬子集、通用常识子集，分别对应三类业务场景，每套子集独立出分、独立设阈值。这样模型迭代时，哪块能力退化了立刻能看出来，不用等全量分出来才发现问题。

回过头看，最大的教训是早期太迷信总分，拿一个平均分不错的模型上了专业场景，结果专业层只有 40 出头，返工成本远高于当初多跑几轮评测。从那以后我每次选型都强制走一遍“硬子集门槛 + 层级落差 + 聚类偏科”三连查，宁可前期多花两天评测，也不在业务里补窟窿。这套 C-EVAL 的数据和评测代码是公开的，配套在线提交和排行榜也能用来交叉验证自己的复现结果，建议你拿到手先按上面的规矩跑一遍粗筛，再决定要不要全量。希望帮到你。

本文还有配套的精品资源，点击获取