企业官网建设流程全解析

方向1：从"探索性自测"升级为"预注册的可复现实验"。

在跑数据之前就把实验方案固定下来：主题清单、提示词模板全文、模型 / 版本、联网开关、采样参数、输出条数上限、判定规则，全部写进实验方案并留档。当前报告的根本问题不是算错，而是跑完才发现该记的没记——这正是因为没有预注册。补齐元数据比再多跑一轮更急迫。

方向2：从单一"真实率"升级为多维指标体系。

建议建立六维指标：①真实率（四项要素一致）、②部分真实率（错 1 项，区分错哪一项）、③不可核验率（原"幻觉率"，并与 ① 区分）、④拒答/无输出率、⑤主题相关率（真实但题不对题，另计一档）、⑥有效产出率（去重后、格式合规、可解析 DOI 的净条数）。其中⑤主题相关率是当前报告最大的盲区——它直接决定"真实率 70%"到底对使用者有没有用。

方向3：从人工二分判定升级为"自动核验+人工仲裁"。

用接口做题名—作者—年份—期刊的机器比对，输出匹配度分数；仅在模糊区间（如 0.6–0.85）转人工，并由两名判定者独立打分、计算 Kappa。这一步不只能降主观性，更是把样本量从100条级拉到1000条级的唯一现实路径——当前样本上不去，根子就在这里。

方向4：从单次点估计升级为"重复测量+推断统计"。

每组 ≥3 次重复、报告均值 ± 95% CI；采用随机区组 / 拉丁方设计平衡调用顺序；用线性混合效应模型（固定效应 = 模型、通道、任务类型；随机效应 = 主题、批次、时间点）直接估计"模型 × 任务"的交互项。到这一步，报告才第一次具备"哪个模型真的更好"这一问题的回答能力。

方向5：从混杂对比升级为干净通道对照。

在同一模型、同一版本、同一时点内做 A/B/C 三臂：裸生成（无工具） vs 本地库检索增强 vs 联网检索增强，每臂 ≥30 条。这样"通道是否决定真实率"才能从跨设计推断升级为同设计因果证据，也才能顺带解释实验 5 的"0%"与实验 3 的"72%"为何能同时存在。

方向6：从静态快照升级为纵向回归测试。

固定同一套 prompt 与主题脚本，每周 / 每月自动跑一次，画真实率随时间的趋势线。这既能监测模型迭代带来的漂移（直接回答 4.4 节文心 X1 那 57.1 pp 到底是不是版本更新造成），也能让"42.3%"这类数字变成有对照、有基线的连续观测，而不是一次性快照。

方向7：从"结论式报告"升级为"证据分级报告"。

给每条结论标注证据强度：● 已验证（重复 + 显著）｜●● 推断（有方向、无统计）｜●●● 建议 / 立场（超出数据）。并把"给使用者的建议""给厂商的建议"从结论章节中拆出，单列"行业倡导"。当前报告的最大张力——一边自省、一边越界——会在这一改造后自然消解。

P0-1 ·修订口径与验算错误（1天内）

P0-2 ·在现有数据上补足统计信息（1天内，无需重跑实验）

1. 为每一个真实率补 95% Wilson 置信区间，并在 4.2 热力图 / 4.1 条形图的每个单元格上标出n。
2. 对分母 ≤5 的单元格（如豆包 1/1、实验 1 二次验证 KIMI 0/0）加"样本不足，不可解释"标记，并撤回4.3节的模型排序表述，改写为："五个模型的加权真实率区间高度重叠（CI 宽 ±15–20 pp），本样本不足以区分模型间差异"。
3. 把"总体真实率 42.3%"改为"42.3%（95% CI 33%–51.9%）"，或在正文中明确其为描述性统计而非估计值。

P0-3 ·补齐缺失元数据（本周内，成本最低、收益最高）

作为报告的固定附录 C：

• 每个任务的检索主题（原稿完全缺失，是实验 2/3/4 无法归因的直接原因）
• 提示词模板全文（所有实验用同一套还是各写各的）
• 是否开启联网/检索插件；产品形态（网页 / App / API / 小程序）
• 模型版本号+调用日期
• 核验时可访问的数据库清单与权限（是否可登录知网 / 万方 / WoS / Google Scholar）
• 核验人姓名、核验日期、判定阈值（四项要素全等 / 允许 1 项偏差）

P0-4 ·修复HTML呈现（1小时内）

1. 用 Markdown → HTML 工具重新生成HTML，而不是把 Markdown 文本直接写进。
2. 统一 .md 与 .html 的标题层级、表格样式、引用块；
3. 修复附录 A 的空行断表问题，把实验 5 的两行并入同一表格。
4. 在 HTML 顶部加一个"口径说明"折叠块，写清 42.3% 与 44.6% 的关系、以及已撤回的排序表述。

P1-1 ·预注册下一轮实验方案（下一轮开始前）

• 设计：5 模型 × 3 学科主题（建议文理工各一）×3次重复，随机区组、调用顺序拉丁方平衡；每单元格目标 ≥15 条、全样本 ≥500 条。
• 标准化清单：固定提示词模板（含"最多列 10 条""必须给出 DOI""无法确认的请删除"）、固定温度、固定联网开关、固定输出格式要求。
• 实验日志表：把 P0-3 的字段做成强制必填列，缺失不允许进入分析。

P1-2 ·建立自动核验管线（替代纯人工）

• 调用接口，以题名为主键、作者 + 年份 + 期刊为校验项，输出匹配度 0–1 分数与命中库名。
• 分级判定：全等（真）｜错1项（部分真）｜检索不到（不可核验）｜检索不到但由人工确认存在（判定存疑，转仲裁）。
• 两名判定者独立跑一遍模糊样本，报告；目标 ≥ 0.8，否则重训判定标准。
• 先用10条已知真+ 10条已知假文献做一次"测量系统校准"，报出核验流程本身的错判率（假阳 / 假阴），这一步做完才允许开始正式实验。

P1-3 ·补做干净的三臂通道对照（直接检验核心主张）

同一模型、同一版本、同一时点下：A 裸生成 ｜ B 接本地文献库 ｜ C 接联网检索，三臂各 ≥30 条。这一步能同时解决三件事：验证"通道主导论"、解释实验 5 的 0% 与实验 3 的 72% 为何并存、给出"检索增强究竟提升多少"的可外推估计。

P1-4 ·引入推断统计与交互效应分析

• 输出所有指标的均值 ± 95% CI，图表用误差条。
• 用线性混合效应模型：固定效应 = 模型 + 通道 + 任务类型，随机效应 = 主题 + 批次 + 时间点。
• 报告"模型 × 任务"交互项的估计与p值——如果交互项显著（按报告现有观察，很可能显著），就把"模型排名"这一产出从结论中彻底移除。
• 多重比较用校正。

P1-5 ·补上被漏掉的维度

• 每个条目加"主题相关率"人工/半自动判定（真但跑题，单列一档）。
• 统计去重后的有效产出条数与召回率（与人工构建的标准文献集对比，回答"真实率高 ≠ 覆盖全"）。
• 量化"因检索不可达导致的假阴性"占比（区分真幻觉 vs 找不到）。

P2-1 ·纵向回归测试（长期）

固定 prompt 脚本，每周自动跑一次 3 个主题 × 全部模型，建真实率趋势图。用于监测模型迭代漂移，并让"42.3%"这类数字获得纵向可比基线的支撑。

P2-2 ·盲评与第三方交叉

核验人不知条目来源（对输出匿名编号）；或引入 2 名以上相关领域人员交叉判定，降低单人主观偏差。

P2-3 ·结论证据分级+发布可复现包

• 给每条结论打标记：● 已验证（重复 + 显著）｜●● 推断（有方向、无统计）｜●●● 行业倡导（超出数据）。
• 把 7.2 / 7.3 的建议从"结论"中拆出，独立成"行业倡导"章节。
• 公开可复现包：提示词、脚本、原始模型输出、核验表、随机种子、README 复现步骤。附后即可让任何人复算——这也是 7.3(5) 那条"厂商应公开实验日志"建议对自己同样适用的地方。

供下一版报告直接替换现有结论章节使用：

01｜这是一份值得肯定的报告，问题的性质是"控制不足"而非"态度不认真"。它主动暴露设计缺陷、专列六条局限、把推断与结论分开标注、拒绝给出无证据支撑的排名——这种自我约束在同类自测报告里相当少见，应当保留并继续强化。

02｜它最有价值的产出不是42.3%，而是"文心X1两轮差3倍"这件事本身。它证明了单次抽样的结论不可靠，这条方法论结论的证据强度远高于任何模型排名，建议把它提到摘要首位。

03｜最大的短板是实验条件未受控，导致4组实验无法归因。但这个问题有低成本的解法：不需要重跑实验，先把任务主题、提示词、联网状态、模型版本、核验库清单回填进一份附录 C 就能缓解大半；若原始记录确实丢失，则须显式声明并把实验 2–4 降级为"探索性观察"。

04｜模型排名应当撤回。五个模型的 95% 置信区间分别为 [48.1,85.5]、[39.2,72.6]、[23.4,59.3]、[17.2,54.6]、[11.5,43.4]，高度重叠且宽达 ±15–20 pp，样本量不足以区分高低。这是当前报告里最容易被误引、也最缺乏证据的一块。

05｜核心结论"通道比模型更重要"方向是对的。0/12 vs 4/4 的 Fisher 精确检验单尾p≈ 0.0005，统计上站得住；但它与实验 3 的 72% 互相矛盾，暴露出实验 5 的对照不干净。补一次"同模型同版本的三臂对照"（裸生成 / 本地库 / 联网）即可把它从 ●● 升为 ●。

06｜最该补的维度是"主题相关率"和"自动核验"。前者决定 70% 的真实率对使用者到底有没有用（当前完全没测），后者是把样本量从 100 条级拉到 1000 条级的唯一现实路径——当前所有统计问题的根源都在 n 太小。

07｜建议的推进顺序：先修口径与CI（1天）→补元数据（本周）→修HTML（1小时）→建自动核验+三臂对照（2–4周）→纵向回归（长期）。前三项几乎零成本、立即可显著抬升报告严谨度；后两项决定它能否从"一份不错的自测报告"升级为"可复现、可引用的实验结果"。

08｜最后一句评语：这份报告真正的价值，不在于它测出了 42.3%，而在于它诚实地告诉后来者"我这个 42.3% 有多少水分"。把它按上面的 P0–P2 补完，就能把这份"诚实的自测"变成"可复现的证据"。