企业官网建设流程全解析

这篇论文提出了NumericJev，一种面向“类 Jev”大语言模型结构化选择接口的免训练数值解码算法，核心目标是：在不更新模型参数、不访问隐藏状态、不额外训练数值回归头的前提下，让 LLM 通过一系列结构化选择输出任意精度的数值。下面从研究背景、方法、实验、结论与局限五个方面概括。

一、研究背景与问题

1. LLM 能理解自然语言，但稳健决策仍困难：即使改变相同答案选项的顺序，也可能改变模型选择（Zheng et al., 2024）。

2. 类 Jev 模型暴露显式选项和选项概率，擅长在自然语言描述的备选方案间做决策，但其输出是分类标签或评分标准分数，不能直接以指定精度给出任意数值。

3. 现有数值读出方案存在两大问题：

   • 训练回归头或数字嵌入映射：需要额外训练，且泛化到监督范围之外能力差；

   • 将输入限制为孤立数字：丢失了解释完整问题所需的语言上下文。

4. 论文的核心观察是：数值范围选择本身就是一个决策问题，而类 Jev LLM 正好擅长此类决策。因此可以把“数值估计”转化为“在多个数值区间中做选择”的序列决策问题。

二、方法：NumericJev

1. 基本思想

• 将目标数值范围 [L,U) 按分辨率 ϵ 离散为 N=(U−L)/ϵ 个网格单元。

• 每一轮让模型在 K 个子区间中选择“目标值所在区间”，解码器据此缩小范围，递归细化，直到区间只剩一个单元。

• 最终返回所选单元的下端点作为数值输出。

• 模型只负责结合原始问题做上下文判断；区间算术和数值输出由外部解码器完成，从而复用模型已有的决策能力，而不需要拟合新的“隐藏状态→数值”映射。

2. 关键性质

• 命题 1（深度与精确预言机读出）：分支因子 K≥2、网格数 N 时，最多需要 D=⌈logK​N⌉ 轮顺序选择。若每轮所选区间都包含真实值，则误差小于 ϵ；若真实值是网格值，则可精确恢复。

• 命题 2（首次发散误差界）：一旦某一轮选错区间，误差可能被后续细化放大；早期错误可能主导最终精度，贪婪细化不保证误差单调下降。

• 100 值网格、十路树（K=10）只需两轮决策即可产生一个数值输出。

3. 对比的数值表示

论文还比较了其他数值接口：

• 直接选择：一次性列出 100 个网格值让模型选；

• 区间树细化：K=2、4、10；

• 顺序十进制索引数字解码：先选十位、再选个位；

• 独立二进制索引位解码：并行查询 7 个二进制位。

三、实验设计与主要结果

1. 固定仿射网格评估

• 64 个基础算术表达式（加、减、乘、除各 16 个），经四种仿射变换生成 256 个表达式：

  y=z,y=0.01z,y=z−50,y=10000z

• 每种条件两种选项顺序，共 1,024 个作业、每种方法 512 个输出。

• 两种输入条件：算术条件（只给表达式）和提供值条件（额外给出数值结果）。

2. 主要数值结果（算术条件）

• MAPE 差异的置信区间包含 0，因此不能断言任何树在总体 MAPE 上显著优于直接选择；

• 但NMAE 显著更低（如 K=10 为 1.84% vs 直接选择 5.18%），说明树方法在范围归一化误差上更优；

• 索引数字和二进制位表现很差，说明“把计算结果转换为索引/数字/位”本身是额外负担。

3. 提供值条件

• 直接选择 MAPE 降至 3.79%；

• K=2 树达到0%，K=4 为 1.27%，K=10 为 2.93%；

• 但索引数字和位仍分别高达 59.82% 和 77.90%，说明即使给出答案，表示转换仍可能失败。

4. 容差指标（APE ≤ 5%）

• 十路 NumericJev：83.40%；

• 直接选择：80.47%；

• 索引数字：69.34%；

• 二进制位：8.01%；

• 提供答案后：直接选择 97.27%，十路 NumericJev 99.80%。

5. 尺度、符号与选项顺序敏感性

• 直接选择在未移位整数域 MAPE 为 0%，树方法为 0.50–3.19%；

• 在大尺度域（×10⁴），十路树 MAPE 为 30.96%，直接选择仅 0.52%，出现反转；

• 说明没有统一最优的分支因子，聚合结果不能替代分域分析；

• 顺序敏感性和仿射敏感性：树方法通常低于索引数字/位方法，但并非为零。

6. 历史指数回忆实验

• 询问标普 500 在 2019、2020、2023 年最后一个交易日的收盘点位；

• 十路解码从 [0,10000) 以 0.01 点分辨率开始；

• 结果：平均相对误差 4.58%，中位数 4.83%，最大 6.49%；

• 提供参考收盘价后，所有误差为0%；

• 所有回忆输出都高于参考值，但作者强调这只是三个日期的观察，不能推断具体因果机制。

7. 与连续头基线的比较

• 对比 Qwen3.5-4B/9B 上的样条头和 Beta 头（SCM 训练后迁移到算术任务）；

• 这些连续头在 5% 相对误差内仅 2.73–6.25%，远低于 NumericJev 的 83.40%；

• 但作者明确指出：骨干、训练任务不同，不能据此断言连续头本质上更差。

8. 数值分布构造的局限

• 阈值实验显示，48 个查询组中有 25 个出现 CDF 下降；

• 等渗投影只能修复形状，不能验证校准；

• 因此作者将“分布构造”视为未经验证的扩展，而不是点解码结果的直接推论。

四、主要贡献

1. 识别问题：将“数值范围选择”形式化为适合类 Jev LLM 语言条件选择接口的决策问题，并研究组合此类决策能否产生可靠数值输出。

2. 提出 NumericJev：一种免训练的数值解码器，通过多路决策树递归细化范围，无需参数更新或隐藏状态访问；在 100 值网格、K=10 时仅需两轮决策。

3. 实验验证：

   • 256 个算术表达式上，十路 NumericJev 将 83.40% 的输出置于 5% 相对误差内；

   • 范围归一化 MAE 从直接选择的 5.18% 降至 1.84%；

   • 历史指数回忆实验平均相对误差 4.58%，提供值时读出误差 0%。

五、结论、局限与影响

结论

• 数值读出可以在结构化选择接口上实现，无需新增训练有素的数值头；

• NumericJev 提供具体的多路区间解码器，记录每个决策，并暴露有限分辨率；

• 在测试的算术设置中，重归一化误差小于直接选择，但MAPE 差异不确定，且对尺度、分支因子和表示方式敏感；

• 提供数值会显著改变任务性质，但并不能让所有编码都可靠；

• 数值不确定性和更广泛的回归泛化仍需额外证据。

主要局限

• 仅测试一个托管模型版本、简单生成算术和少量历史回忆示例；

• 连续头基线使用不同骨干和训练任务，不能隔离输出头的影响；

• 未比较算术训练头、通用文本生成、开放式应用题或真实预测数据集；

• 范围和分辨率由评估者提供，超出范围目标和未知尺度仍未解决；

• 自助法只捕获采样表达式的变异，不涵盖后端变化或所有模型随机性来源。

影响声明

• 主要风险是：精细的十进制输出或狭窄终端区间可能被误认为准确性或校准置信度；

• 历史指数实验只是回忆诊断，不验证金融预测；

• 方法应保留决策轨迹、说明施加的范围和分辨率，并针对目标应用的数值损失和失败成本进行评估。

NumericJev 把“让 LLM 输出数值”转化为“让类 Jev 模型在数值区间上做一系列结构化选择”，用外部解码器完成区间算术，从而在不训练新数值头的情况下实现可控精度的数值输出；实验显示其在范围归一化误差上明显优于直接选择，但 MAPE 差异不显著，且对尺度、分支和表示方式敏感，数值不确定性校准仍需进一步验证。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里，如下所示：

摘要

大语言模型能够理解自然语言，但稳健的决策仍然具有挑战性。类Jev模型暴露结构化选项，但这些接口不能直接以所要求的精度提供数值。我们提出NUMERICJEV，一种无需训练的数值解码算法，使任何具有类Jev结构化选择接口的大语言模型都能输出数值。令人惊讶的是，在我们的算术基准测试中，它比从包含正确答案的候选列表中直接选择高出2.93个百分点（图1）。我们的动机来自这样一个观察：数值范围选择本身就是一个决策问题，类Jev大语言模型可以处理它。NUMERICJEV通过多路决策树递归地细化一个范围，同时在上下文中保留原始问题，无需参数更新或隐藏状态访问。在100个值的网格上，十路树只需要两轮决策。范围归一化MAE为1.84%，而直接选择为5.18%。另一项针对三个日期的历史指数研究得出4.58%的平均相对召回误差，以及在提供数值时0%的读出误差。

1. 引言

大语言模型（LLMs）能够理解自然语言指令（Ouyang et al., 2022），但将这种理解转化为稳健的决策仍然困难。即使改变原本相同的答案选项的顺序，也可能改变它们的选择（Zheng et al., 2024）。像Jev这样的决策导向模型暴露显式选项和选项概率（Jev, 2026a）。我们将这一接口类别称为类Jev。然而，它对决策的关注留下了一个实际空白：分类输出和评分标准分数不能直接以所要求的精度提供任意数值（Jev, 2026a;b）。类Jev模型能够在自然语言描述的备选方案之间做出有效决策（Jev, 2026a），但这种优势并不能直接转化为可靠的数值（图1）。现有的数值读出研究包括在隐藏表示上训练回归头（Piskorz et al., 2026）以及学习从数字嵌入到值的映射（Wallace et al., 2019）。这些公式暴露了两个不同的问题：数值训练增加了一个必须在其监督范围之外泛化的映射，而将输入限制为孤立数字则移除了解释完整问题所需的语言上下文（Wallace et al., 2019）。同一项研究发现，数字解码探针在训练范围之外外推效果很差，并且当段落中的数字被改写为文字时，数值推理会退化。在我们单独的迁移评估中，经过SCM训练的样条和Beta头在算术问题上表现不佳，在5%相对误差内仅达到2.73−6.25%（图1；附录F）。因此，挑战在于在保留现有模型解释问题及其上下文能力的同时获得数值精度。

我们研究NUMERICJEV，一种用于类Jev结构化选择接口的无需训练的数值解码器。我们的出发点是：数值可以通过关于其所在位置的连续决策以选定精度定位，这与从数值预测到分类的归约一致（Torgo & Gama, 1997; Langford et al., 2006）。在候选数值范围中进行选择本身就是一个决策问题；因此我们询问类Jev大语言模型能否通过一系列此类选择产生可靠的数值。将范围划分为区间，将数值估计转化为在模型可以结合原始问题上下文评估的描述之间进行选择。选择一个区间并重复此构造会逐步提高分辨率，前提是这些决策保留了目标（命题1）。模型提供上下文判断；外部解码器处理区间算术和数值输出。这种分工重用了现有的决策能力，而无需拟合从隐藏状态到数字的新映射（图2；算法1）。

具体而言，NUMERICJEV通过将候选值组织成多路区间树来解码数值。在每一层，Jev结合原始问题的上下文在K个子区间中进行选择；解码器细化所选区间并返回最终单元格的下端点（算法1）。在我们的100值评估网格上，十路树(K=10)仅需两次迭代即可产生每个数值输出（命题1）。在所有256个算术表达式和两种选项顺序上，83.40%的输出落在5%相对误差内，而直接选择为80.47%（图1）。

我们的贡献是：(1) 我们确定数值范围选择是一个决策问题，它自然适合类Jev大语言模型的语言条件选择接口，并研究组合此类决策能否产生可靠的数值输出（第3节）。(2) 我们提出NUMERICJEV，一种无需训练的数值解码器，通过多路决策树递归地细化范围，无需参数更新或隐藏状态访问。在100值网格上，十路树(K=10)仅需两轮决策即可产生数值输出（算法1；命题1）。(3) 在256个算术表达式上，十路NUMERICJEV将83.40%的输出置于5%相对误差内，并将范围归一化MAE从直接选择的5.18%降低到1.84%（图1；表1）。另一项针对三个日期的历史指数研究得出4.58%的平均相对召回误差和0%的提供值读出误差（表3）。

2. 相关工作

通过分类进行回归。离散化连续目标并应用分类是预测现代语言模型的基础。Torgo & Gama (1997)研究了区间离散化和回归的误分类成本，Langford et al. (2006)将条件分位数预测归约为分类并进行了遗憾分析。这些方法确立了分类可以支持数值预测。我们的设置在访问约束上不同：分类器是固定的托管选择接口，备选方案在推理时可能变化，且不训练任何分类器或数值头。我们的分析描述的是外部解码器，而不是为底层模型提供学习理论保证。

来自语言模型的数值输出。数值语言模型接口包括时间序列的数字序列化（Gruver et al., 2023）和语言条件预测分布（Requema et al., 2024）。数值任务还需要适合评估损失的决策规则：可能的文本答案不一定最小化数值误差（Lukasik et al., 2024）。这些结果促使我们评估数值距离，并将点决策与概率分布区分开来。我们的解码器不请求自由形式的数值补全；其外部接口由连续的结构化选择组成。我们不对提供商的内部解码实现做出任何声明。

表示探针和选择敏感性。学习探针可以从语言模型表示中估计数值分布摘要（Piskorz et al., 2026）。它们需要内部表示和训练示例，而我们的解码器使用现有的选择端点。同时，多项选择行为可能取决于选项身份和顺序（Zheng et al., 2024）。这促使我们进行显式顺序控制，但并不能确定Jev中任何偏差的原因。Jev文档已经描述了将选择问题链接用于层次分类（Jev, 2026a）；我们的重点是由此产生的数值误差，包括其对深度和表示的依赖。

3. 通过结构化决策进行数值解码

3.1. 接口和有限数值网格

3.2. 平衡多路细化

3.3. 分辨率、深度和误差传播

3.4. 替代数值表示

直接选择在一个问题中列出所有网格值。顺序索引数字解码将网格索引q=(y−L)/ϵ表示为十进制数字，每个数字以前面的选择为条件。独立索引位解码查询其二进制位，而不进行此类条件化。在我们的受控实验中，它们共享相同的所述范围内网格，但提出不同的问题。学习模型必须执行所请求的数值比较或表示转换；数学等价并不意味着相同的模型行为。

所选树路径只是一个点读出。为了构造分布，一个单独的实验接口查询阈值pi​≈P(Y≤zi​∣x)，将它们投影到非递减序列上，并将相邻值差分为箱质量。投影可以强制有效的CDF形状，但不能建立校准。第5.6节使用存档的阈值查询评估这一区别。我们不将沿贪婪选择路径的概率乘积解释为经过验证的数值结果分布。

图2. NumericJev作为多路决策树。一个记录的10+1查询遵循四次十路决策，从[0, 100)到[11, 11.01)。每一层仅划分所选父区间；显示三个兄弟节点，其余备选方案省略。粗边显示所选路径。返回的下端点为11.00；最终单元格指定分辨率，而非置信度。不更新任何模型参数。

4. 实验设计

模型和访问。所有选择接口实验使用标识为jev-1.13-20260917的托管Jev版本。请求提供结构化状态和Choice问题。没有参数更新、隐藏状态访问、外部计算器或提供给模型的检索工具。参考算术单独计算用于评估。多个独立问题被批处理到一个请求中；服务的内部推理、排序和缓存不可观察。我们记录所服务的模型标识符以及每个请求和响应。

置信区间使用10,000个百分位自助法重复，种子为20260923。我们重采样64个基础家族，并将其四种变换、两种顺序和配对输入条件保持在一起。与直接选择的比较使用相同的重采样家族。重复条件和变换后的问题不被视为独立证据。这些区间描述此表达式生成器和模型版本，而不是所有数值任务的总体。

存档的探索性评估。早期的算术研究包含12个手工挑选的问题，六个整数和六个二进分数表达式，两种顺序和两次重复。它在16值网格上比较七种表示，并额外探测阈值分布。历史研究询问标准普尔500价格指数在2019年、2020年和2023年最后一个交易日的官方收盘水平。经验证的参考值分别为3230.78、3756.07和4769.83，来自记录来源审计（Federal Reserve Bank of St. Louis, 2026）。十路解码从[0, 10000)开始，分辨率为0.01点。匹配的控制将参考收盘价添加到状态。每个日期有两种顺序和两次重复，每个输入条件产生12个输出，但只有三个不同日期。这些问题测试历史回忆，而不是预测或已证明的训练数据成员资格。

5. 结果

5.1. 区间细化和数值距离

5.2. 提供数值并不能使每种编码等价

5.3. 连续头迁移和基于容差的概述

图1使用APE≤5%的输出百分比总结完整套件。这一基于容差的指标是在原始评估之后添加的，不取代其主要MAPE终点。十路NumericJev达到83.40%，而位为8.01%，索引数字为69.34%，直接选择为80.47%。提供答案后，直接选择达到97.27%，十路NumericJev达到99.80%。因此，与位输出相比的巨大优势与直接选择的差异小得多，与提供答案的对照相比仍有16.41个百分点的差距。

我们额外评估四个现有的LoRA调优连续头：4B和9B基础骨干上的样条和Beta头

表1. 固定仿射网格评估。相对误差百分比，越低越好。每个条件包含每种方法512个输出：64个家族×四种变换×两种顺序。括号给出MAPE的95%家族自助法区间。NMAE将绝对误差除以提供的范围宽度。轮数表示顺序依赖，独立问题批处理。

在12,000个结构因果分布查询上训练。它们接收所有256个表达式，以及已知变换Y=(X−L)/(U−L)，这是其[0, 1]支持所需的。我们将预测均值反转为原始单位。没有对这些示例进行算术训练、校准或检查点选择。它们的容差分数范围为2.73%到6.25%。比较衡量这些完整系统的迁移：Jev的骨干和训练不同，因此不能确定连续头本质上较差。附录F记录了检查点、归一化、提示、数值误差和匹配的提供值对照。

5.4. 尺度、符号和选项顺序

仿射设计在变换之间保留目标网格索引。因此，精确选择预言机会产生相应值，但学习读出不必是仿射等变的。表2按域报告算术条件。其带符号列包含接近零的目标，因此应与范围归一化误差一起阅读，而不是解释为同等缩放的难度度量。变换还改变书面表达式；这是一个受控的提示和值变换，而不是对内部数值表示的孤立干预。

直接选择在未移位整数域上的MAPE为0%，而树为0.50−3.19%。在大尺度域上，十路细化的MAPE为30.96%，而直接选择为0.52%。这些反转排除了统一优选的 branching factor，并说明为什么聚合不能替代域级结果。

我们将顺序敏感性测量为两个解码值之间的绝对差除以范围宽度。我们还反转每个仿射变换，并测量与共享100单元格网格上未变换预测的差异。附录D报告这两个量。反转插入顺序是外部请求控制：它不建立后端实际处理备选方案的顺序，也不测试所有排列或重新标记。

表2. 按仿射域的算术MAPE（%）。每个条目平均64个家族和两种顺序。相同的基础结果跨列变换；这些列不是独立数据集。

表3. 历史指数读出。每个日期四个输出的绝对相对误差；在此协议下提供值误差为0%0%。只有三个唯一日期。

5.5. 探索性算术和历史回忆

在原始12问题算术套件上，四路细化的MAPE为2.42%，直接16值选择为3.37%。其他存档解码器的MAPE为：显式集合成员资格8.48%，并行阈值11.29%，自适应阈值12.31%，十进制数字15.85%，独立位25.27%。这些小型套件值不能取代更广泛的固定评估：示例、候选网格和提示不同。附录E保留了完整比较和提示定义。

历史回忆实验的平均相对误差为4.58%，中位数为4.83%，最大值为6.49%。提供收盘水平的相同协议在所有三个摘要中均为0%。表3报告每个日期的距离。每个召回输出都高于参考值。这种方向性是对三个日期的观察，不是特定因果机制（如token先验或训练数据偏差）的证据。

一个单独记录的后续改变了提示

5.6. 数值分布需要单独验证

在存档的阈值实验中，48个查询组中有25个在其提出的CDF中至少有一次下降。对于一个算术输入，返回的阈值概率包括P(Y≤0.4375)=0.26和P(Y≤0.5)=0.01。等权等渗投影随后相邻差分产生非负直方图质量，总和为一，给定规定的端点质量。这是一个形状约束。它既不恢复唯一的真实预测分布，也不验证校准。由于算术参考是确定性的，它们也不提供用于预测研究的条件结果分布。因此，我们将分布构造视为未经验证的扩展，而不是点解码结果的结果。

6. 讨论和局限性

NUMERICJEV通过重复选择提供数值接口，但其分辨率和准确性是分开的属性。可表示值的数量可以随决策数量指数增长，而早期错误的区间可能无法恢复。更宽的树减少顺序深度而不保证更低的误差。提供值和仿射控制表明，接口所请求的表示本身就是有意义的变异来源。

受控选择接口评估仅限于一个托管模型版本、简单生成的算术和一个小型历史回忆示例。额外的连续头基线使用不同的骨干和先验训练任务；它们不能隔离输出头的影响。我们不比较算术训练头、通用文本生成、开放式应用题或真实预测数据集。已知界限和分辨率由评估者提供；超出范围的目标和未知尺度仍未解决。端点值算术消除了量化误差，因此更直接地评估决策误差，但不能建立对任意真实目标的性能。数值数字和位提示只是特定基线。自助法捕获采样基础表达式的变异，而不是后端变化或模型随机性的所有来源。来源包含所有完成的协议，包括不利的对照。

7. 结论

数值读出可以在结构化选择接口上实现，而无需添加训练有素的数值头。NUMERICJEV提供具体的多路区间解码器，记录每个决策，并暴露其有限分辨率。受控实验在测试的算术设置中显示出比直接选择更小的重归一化误差，但MAPE差异不确定，且对尺度、分支和表示敏感。提供值显著改变任务，但并不能使所有编码可靠。数值不确定性和更广泛的回归泛化需要超出精确外观解码数字的额外证据。