☰
从数学合著到外卖管理:AI能力边界与评测启示
2026/10/27 8:18:11 网站建设 项目流程

AI日报这种东西,每天都有一堆标题挤在一起,大部分扫一眼就过了。但10月3日这期里有两件事,值得停下来认真拆一拆:一件是Meta与数学家合写论文,看似是学术圈新鲜事,实际是AI从工具变成科研合作者的关键信号;另一件是AI去管理一家模拟外卖公司,最终平均只拿了60分,成绩不算好看,却比那些"AI颠覆一切"的营销话术真实得多。这两条新闻恰好从两个方向剖开今天的AI:它一边在最高级的智力活动里当副驾,一边在最接地气的商业运营里栽跟头。这篇博文就顺着这两条线索,讲讲背后的技术逻辑、能力边界,以及普通人可以参考的评测和落地方法。

1. 两条新闻放在一起读,才是今天的重点

1.1 先拆一下标题:Meta与数学家合写论文

这则新闻第一眼会让不少人疑惑:Meta不搞社交了吗,怎么跑去和数学家写论文了?实际上,Meta旗下的AI研究机构多年来一直在推进"AI for Science"和"AI for Math"两条线。所谓合写论文,不用理解成AI从头到尾写一篇数学论文,而是AI系统在数学家的研究流程中承担了实质性工作,包括大规模搜索候选结构、构造反例、验证某些证明步骤,以至于论文作者名单里必须署上AI系统的名字或对应的研究项目。

这件事真正震撼的点在于:数学界开始接受AI是研究过程中的"合作者"而非简单工具,这背后是数学验证方式的进步——只要AI给出的结论能被形式化验证,那它是否"理解"数学就不那么重要了。换句话说,数学这门最讲究严谨性的学科,率先承认了机器可以参与知识生产,这件事的意义已经超出了单篇论文本身。

1.2 另一边,AI管模拟外卖公司只拿60分

同一天的日报里还有一条更接地气的新闻:一个AI系统被放进模拟外卖公司的经营场景中,让它负责日常运营决策,最终平均分60分。乍一听这个分数确实不亮眼,但仔细想想,外卖公司是一个极其复杂的系统,涉及用户需求波动、骑手调度、商家供给、平台补贴、食品安全、恶劣天气等各种变量。

一个AI能稳定把公司经营到60分,说明它在动态优化上已经具备一定的基本功力;而它没能再往上走,恰恰暴露了当前AI在真实复杂系统中的能力上限。这条新闻比很多实验室夸夸其谈的"SOTA"数据更有价值,因为它用的是接近实战的评估方式。模拟环境虽然不等于真实商业世界,但跟让AI"写一篇经营方案"完全不是一个量级,后者根本验不出AI的真本事。

1.3 为什么偏偏是这两个方向

把这两条新闻放一起,你会发现一个有趣的互补:数学研究是高度确定性的世界,每个定理都建立在公理之上,对错有标准答案;而外卖公司管理则是高度不确定性的世界,没有标准答案,只有不断变化的博弈局势。同一个AI,在确定性环境里能成为合著者,在不确定性环境里却只是勉强及格,这本身就是一张再清晰不过的能力体检报告。

对从业者来说,理解这两个方向的差别,比记住任何一条新闻本身都重要。很多人看到"AI写论文"就高呼无所不能,看到"AI只考60分"又急着唱衰,两种极端情绪都是因为没有把AI放进具体的任务难度里去评估。今天这篇就围绕这两个新闻事件,把AI在科研与商业两种场景下的真实水平、中间差在哪、后续怎么改进,一层层拆开讲。

2. 数学家愿意跟AI合写论文:科研协作模式正在变

2.1 数学为什么成了AI最好的试验田

数学一直是AI研究的试金石。原因是数学语言高度符号化、逻辑必须严密,天然适合用机器来验证;只要把推理形式化,AI哪怕不懂背后的含义,也能通过一步步机械检查确认正误。这跟自然语言处理完全不一样——聊天机器人胡说八道很难被程序自动抓出来,数学却可以。

正因如此,Meta、DeepMind这些实验室才会把数学当作检验大模型推理能力的"标高"。近几年的公开成果里,AI已经能在大规模组合学问题里给出人类此前没想到的构造,也能在定理机器证明中扮演"搜索加速器",这些都是合写论文前的技术铺垫。数学家愿意在论文里署上AI的名字,不是因为情感上接受AI,而是因为AI确实提供了可以独立验证的真东西。

另外一个容易忽略的点是数学研究的"评价周期"很短。一个猜想到底对不对,证明步骤是否合法,验证器当场就能给出结论。这种即时反馈让AI可以不断试错、不断修正,就像学生做习题能立刻对答案一样。相比之下,物理实验、生物实验、社会科学实验都需要漫长闭环,AI短期内很难在这些领域达到同样的合作深度。所以Meta选择跟数学家联手,不是一时兴起,而是挑了一个最适合AI发挥的科研战场。

2.2 Meta在数学AI上是怎么做的

从技术路线上看,Meta在数学AI上基本是"大语言模型+形式化验证工具"的组合拳。大模型负责生成"可能的证明步骤"或"候选数学对象",形式化验证器负责把关每一步是否合法。与之配套的还有一整套推理反馈机制:模型提出一个方案,验证器返回错误信息,模型根据错误信息再修正。

这像不像一个学生在做习题册?很像,但区别是这个学生能在一秒内翻完几亿条路径。人类数学家花几周时间去逐一验证的猜想案例,AI可以在几分钟内跑完,然后带着一堆统计规律找数学家汇报。Meta把AI与数学家合作的论文安排进自己的工作流,等于把数学家的直觉、审美和方向判断,与AI的暴力搜索、快速试错能力接在一起。

这样的组合,才是"合写"真正的含义:各干各擅长的部分。数学家不需要信任AI的主观判断,只需要信任验证器的客观结果;AI也不需要理解数学背后的深层意义,只需要在形式化规则内找到可行路径。这种分工模式,其实也为未来AI参与更多"形式化程度高"的工作提供了样板——比如代码验证、合约审计、流程审核,都是类似的纪律严明的知识工作。

2.3 合写论文的流程拆解与边界

这类合作的实际流程,大体分四步。第一步,数学家确定一个悬而未决的问题,把约束条件写清楚,扔给AI去探索。第二步,AI在巨大的候选空间里迅速筛选,找出可能成立的结构、反例或模式。第三步,数学家检查AI输出的结果,用传统推理方法概括出定理或猜想,必要时再让AI去验证更多特例。第四步,双方把结论写成论文,AI的部分对应可复现实验细节,数学家的部分负责全局逻辑和学术表述。

边界也很清楚:AI目前不负责提出真正有深度的核心问题,也不负责判断一个问题是否值得研究,更不负责论文的叙事结构。它更像一个效率极高的助手,处理那些人类重复枯燥的穷举和验证部分,把数学家的时间解放出来去做更高层的思考。这里面有一个值得所有AI应用团队学习的点:不是所有环节都要自动化,AI该干的活是"人干起来效率极低"的部分,而不是真要把人类整个换掉。

3. 模拟外卖公司的60分:AI当管理者的真实水平

3.1 这类模拟实验是怎么设计的

为了让AI管理一家模拟外卖公司,实验通常会把现实中的核心运营要素搬进一个多智能体环境。按常见仿真框架来理解,大概是这样:城市被划分成若干商圈,每个商圈有餐厅、用户和骑手;用户会在不同时段产生订单,每个订单有价格、配送时效要求;餐厅有一定的出餐能力和食材成本;骑手有接单上限、配送范围和疲劳成本。

AI扮演的是平台管理者的角色,可以调整配送费补贴、骑手派单规则、新商家审核标准、用户端优惠券力度等。系统按天数或周数推进,每一轮结束都会结算订单取消率、骑手满意度、平台利润等指标。整个过程跑上几十轮、上百轮,最终评分才会有统计意义。这种设计思路来源于多智能体强化学习里的标准评测环境,特点是可控、可重复、可对比:同一套环境里,不同AI或不同策略的表现能直接量化比较。

说白了,模拟外卖公司就是想给AI一个"决策训练场",让它在不真实的经营风险下学会权衡。这类环境也常被用来训练游戏AI、调度算法、风控模型,技术框架是通用的。AI在其中拿60分,不是在真实世界里害人亏钱,而是在虚拟沙盘里先暴露问题,再逐步改进——这也是模拟环境最大的价值。

3.2 60分的评估逻辑:不是单项差,而是平衡难

60分如果拆开看,大概率不是每一项都刚好60分,而是多个指标加权后的综合结果。这正是有意思的地方:单一目标优化对AI来说并不难。想提高用户满意度?大额补贴就能做到,但利润会掉;想提高利润?压低骑手配送费抬高商家抽成,短期数字好看,但骑手流失和商家流失会在中期引爆履约危机。

AI管理者最终拿到60分,通常意味着它在利润、体验、运力稳定之间找到了一个局部均衡,但远远没有做到动态优化。打个比方:一个刚带团队的新手主管,做事没出大错,但也不清楚什么时候该激进一步、什么时候该稳一稳,最后能交出及格答卷,却很难拿到优秀。

这里最值得关注的不是60分这个终值,而是AI的"得分轨迹"。如果它是前几轮只有30分、后面慢慢爬升到60分,说明这套系统有学习能力;如果它一直稳定在60分上下波动,说明它的策略已经锁死在某个局部最优里,需要外部干预才能跳出来。理解这一点,对评估任何AI系统都非常关键:分数相同,成长曲线可能完全不同,后者才是判断AI潜力的真正依据。

3.3 AI管理者强在哪、弱在哪

先说强项。AI在数据扫描、历史复盘、批量调度上比人类快得多,它可以同时监控几十个商圈的订单变化,然后按规则自动调整补贴比例、预测峰值时段并预先调运力。这些操作一旦落地,就是传统运营系统里"数据驱动决策"的理想状态。它不需要休息,也不会因为昨晚没睡好就拍脑袋做决定,这些都是AI做管理者的天然优势。

再说弱项。第一,AI缺乏长期的连贯记忆,对话式大模型在长流程中经常出现"前面做过什么决定、为什么这么做"的信息丢失。第二,AI难以处理尚未数字化的外部事件,比如天气突变、骑手集体异常、舆情危机,这类信息往往无法及时进入模型视野。第三,AI的策略容易走极端,某个指标短期下降,它可能迅速调大补贴力度,反应敏捷但缺少人类管理者的稳与审慎。

这三条弱项合起来,其实正好解释了为什么它在模拟环境里只能达到60分这个水平。60分不是AI"不够聪明",而是它支撑决策的信息结构还不够完整——它缺的不是算力,而是对真实世界复杂性的感知能力。这也给所有想把AI引入管理决策的团队提了个醒:AI可以当副驾驶,但当主驾驶之前,至少得先解决长记忆和信息接入的问题。

4. 从科研到经营,读懂AI能力的边界与机会

4.1 数学验证与商业决策的根本差异

数学世界和商业世界的差异,最核心的一点是"验证闭环"是否存在。数学里,AI提出的任何一个命题,都可以用形式化验证器检查,错就是错、对就是对;商业世界里,一个补贴策略是否正确,往往要到一两个季度之后才能从数据里看到答案,而且答案还会被天气、竞对、政策等各种噪音干扰。

换句话说,AI在数学里能快速得到反馈并持续修正,在商业里则面临着慢反馈、高噪音、多变量的问题。这也是为什么AI能在数学上跟人类合写论文,在模拟外卖公司里却只能拿60分——不是它变笨了,而是它身处的反馈环境突然变得恶劣得多。这一点经常被团队忽视:大家只看到AI在某一个领域表现出色,就默认它能迁移到任何领域,却完全没考虑反馈闭环的差异。

做AI落地,第一个要评估的不是模型有多强,而是业务问题本身的反馈速度够不够快。期货交易、广告投放、在线推荐这类反馈快的业务,AI容易发挥;品牌战略、组织管理、长期研发这类反馈慢的业务,AI的生效周期就要长得多,甚至很难用纯AI闭环来驱动。

4.2 现在的AI到底处在哪一层

我自己判断AI能力,习惯粗略分成三层。第一层叫"会执行",给定明确指令和完整输入,AI可以把事情做好;第二层叫"会优化",给一个清晰目标,AI能在众多策略中反复尝试,找出更优解;第三层叫"会判断",能够识别目标本身是否合理、场景是否变化、是否需要切换策略。

目前绝大多数AI产品停留在第一层到第二层之间,数学合写论文已经踩到了第二层偏上的位置,而模拟外卖公司的60分则说明它在第二层边缘还没站稳。理解这个分层很重要,因为很多团队对AI的期待是把第三层也交给AI,现实中往往一上来就栽跟头。

给一个务实的建议:先用第二层的标准来设计AI应用,把目标定义清楚、反馈机制搭好、约束条件写全,让AI在"优化"层面发挥价值;暂时不要把"自主判断目标是否正确"这种第三层能力当作刚需。等你跑熟了第二层,再逐步把判断权交给AI,成功率会高很多。60分的AI管理者,问题恰恰出在团队想让它同时干第二层和第三层的活,期望值拉得太满。

4.3 多AI协作:60分之后的方向

热词里频繁出现"多AI协作",放在这两个新闻背景下特别有启发。单一大模型的能力有天花板,但多个AI各司其职、彼此配合,就能把短板补上。想象一个外卖管理场景:一个Agent负责用户需求预测,一个Agent负责骑手运力调度,一个Agent负责商家供给侧协调,再有一个Agent扮演"经理"角色做最终决策汇总——这比让一个Agent包揽所有决策要可靠得多。

Meta和数学家合写论文,本质上也是一种协作:模型负责试错,数学家负责判断,两者各管一段。可以说,从科研到经营,从60分到更高分的路径,不是单纯把模型做到更大,而是把"多角色分工"这件事做得更深。这也恰好是现在AI Agent架构最值得投入的方向。

但多AI协作也会带来新问题:Agent之间怎么通信、谁有优先权、冲突如何仲裁、责任如何追溯。这跟现实里的组织管理很像。如果你打算上一套多AI协作系统,建议先拿一个明确、小范围的业务场景试水,把每个Agent的边界定义清楚,再加一个总控Agent负责仲裁,而不是一上来就让一堆Agent自由竞争,否则结果大概率是一团乱麻。

5. 实操参考:自己动手做一次AI能力评测

5.1 最小可行的模拟评测框架

如果你也想验证手里的AI到底处于哪一层,完全可以用很轻量的方式搭一个模拟测试。不需要真的写大型多智能体系统,一个简单的策略对比脚本就够。我习惯用Python快速搭一个回合制模拟器,每个回合里AI扮演管理者,从几个候选动作里选择一个,系统按规则结算收益并进入下一回合。

以库存管理为例:AI每回合决定囤货量,系统根据随机需求和成本核算利润,跑几十回合后汇总平均分。关键是把环境规则写得足够明确,让AI的所有决策都能被量化评估。一个最简单的实现就三部分:环境类负责状态更新和结算,策略函数接收AI的决策,主循环负责把两者串起来。这样得出的结论,比让AI"做一份方案"然后人肉主观判断可靠得多。

# 一个最小模拟框架示例:回合制库存决策 class InventoryEnv: def __init__(self, seed=42, demand_mean=100, demand_std=20): self.stock = 0 self.profit = 0 self.rng = __import__('random').Random(seed) self.demand_mean = demand_mean self.demand_std = demand_std def step(self, order_qty): # 进货成本 cost = order_qty * 8 self.stock += order_qty # 当日需求 demand = max(0, int(self.rng.gauss(self.demand_mean, self.demand_std))) sold = min(self.stock, demand) revenue = sold * 15 # 滞销库存按折价处理 leftover_penalty = max(0, self.stock - sold) * 2 self.profit += revenue - cost - leftover_penalty self.stock -= sold return self.profit def run(self, policy, rounds=30): for _ in range(rounds): action = policy(self.stock) # AI根据当前库存决定订货量 self.step(action) return self.profit

上面这段代码看着朴素,但跑起来之后,AI是稳健增长还是忽高忽低、库存是长期积压还是频繁断货,全都一目了然。拿这个框架去测试不同模型、不同提示词、不同策略,你会发现很多意料之外的现象。

5.2 量化指标与对照组设计

评测设计里最容易忽略的是对照。我自己做这类评测时,一定会设三个必备要素:一是一致的环境,所有AI策略都在同样的随机种子和参数下运行,避免运气干扰;二是多赛道指标,利润、成本、稳定性至少各占一席,防止AI把单一指标刷到虚高;三是对照组,拿一个简单规则策略(例如固定比例补货)当底线,AI策略如果连固定规则都跑不过,那它的所谓"智能"就值得怀疑。

跑完所有轮次再取均值,同时记录每一轮的关键动作和结果,复盘时会发现AI的决策模式非常有信息量。比如你可能会惊讶地发现,某些模型在面对库存积压时只会机械地减少订货量,却不会主动打折促销消耗库存;另一些模型则会在需求高峰期激进囤货,完全无视资金占用成本。这些模式就是接下来调优的方向。

评估维度说明常见AI表现
利润表现累计利润或ROI,反映盈利效率容易短期冲高,但波动大
稳定性每轮结果的方差,反映策略稳健度前期方差大,后期收敛
约束遵守是否超预算、超库存、违反规则提示词写清楚时表现好
异常应对突发需求冲击下能否调整策略多数AI反应滞后,依赖上下文

5.3 容易踩的坑和判断建议

几个常见的坑先说一下。第一,不要只看一次结果,AI带随机的决策流程往往这次80分下次50分,至少跑10轮再下结论。第二,不要忽略输入构造,同一个问题,措辞和上下文结构一变,AI表现可能完全两样,评测时必须固定提示词模板。第三,不要拿不同领域的分数直接对比,数学推理的分高不代表商业判断分高,两类问题的复杂度完全不在一个数量级。

第四,别只顾着看分数,AI"为什么扣分"往往比扣多少分更值得研究。如果AI总在同样的错误决策上反复栽跟头,说明它的知识结构里缺了关键约束,这时候补提示词、补外部工具,比换一个更大的模型更见效。我见过太多团队一上线就跑分,跑完发现分数低,立刻换更大的模型,结果钱花了问题还在。

一个更务实的做法是:每次评测都让AI输出决策理由,然后把这些理由按错误类型归类。你会发现错误通常集中在两三类——信息遗漏、规则误解、目标偏移。针对这三类分别修,比盲目调模型参数高效得多。从60分往上爬,靠的不是重来一次,而是每一次失误都被记录、被理解、被修正。

这两件事让我最受触动的,反而不是AI能拿多少分,而是它"愿意"被放进真实系统里接受检验。Meta那边,数学家放下身段和AI共事,说明科研圈已经在认真思考如何与机器协作;外卖模拟这边,AI稳定交出60分,虽然不好看,但比任何宣传数字都诚实。我自己做AI应用测试这几年,越来越习惯用"它在哪里丢分"来评估一个系统,而不是用"它在排行榜第几"。60分里的40分,才是真正值得研究的地方——那里藏着不确定性、长记忆和跨域判断这些难题,也藏着下一步迭代的空间。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询