1. 从一份持续更新的模型清单说起:为什么我要做这件事
过去两年多,我一直在维护一份自己的“大模型观察表”。起因很简单:2024年那会儿,我还能靠记忆把主流模型的名字、参数规模、大致能力边界说个八九不离十;到了2025年下半年,几乎每周都有新模型发布、老模型迭代,光靠脑子已经完全跟不上了。有一次团队内部做技术选型,有人提到某个模型,我下意识说“那个不行,上下文太短”,结果当场被打脸——人家早就升级到超长上下文了。那次之后我就下定决心,把“凭印象判断”改成“靠清单管理”。
这份清单我按“模型维度”和“应用维度”两条线来组织。模型维度关注的是底层能力:谁家的基座模型、参数规模、上下文窗口、多模态支持情况、推理能力、开源还是闭源、API价格区间。应用维度关注的是上层落地:哪些产品把模型能力包装成了普通人能用的工具,比如对话助手、编程辅助、文档处理、图像生成、视频生成、智能体平台等等。两条线交叉看,才能既知道“底层有什么能力”,又知道“这些能力被做成了什么产品”。
标题里写的是“2026/10/08”,这个日期对我来说是个锚点。它不代表某一次具体的发布,而是我给自己定的一个“快照日”——每隔一段时间,我会把当天的认知固化下来,形成一份可回溯的记录。这样做的好处是,过几个月回头看,能清楚看到哪些判断对了、哪些判断错了、哪些当时觉得不起眼的东西后来成了主流。这份博文就是基于这个快照日的整理思路,把模型和应用两个维度的观察方法、分类逻辑、实操经验完整分享出来。无论你是刚接触大模型的新手,还是已经在做技术选型的老手,这套整理方法都能直接拿去用。
2. 模型维度怎么分:别只盯着参数规模
2.1 基座模型、推理模型、多模态模型的三层划分
很多人一上来就问“哪个模型最强”,这个问题其实没法回答,因为“强”的定义太模糊。我在清单里把模型分成三层来看,每层的评价标准完全不同。
第一层是基座模型,也就是最底层的通用语言模型。这一层的核心指标是语言理解与生成的广度、知识覆盖面、上下文窗口大小、训练数据的新鲜度。基座模型就像一块地基,它的好坏决定了上层能盖多高的楼。评价基座模型时,我重点关注三个数字:上下文窗口(能一次处理多少内容)、知识截止日期(训练数据到什么时候)、以及单位token的成本。这三个数字直接决定了它能不能用在你的场景里。
第二层是推理模型,这类模型在基座之上做了专门的推理能力强化,擅长数学、逻辑、代码、多步规划这类需要“想清楚再回答”的任务。推理模型的评价标准和基座模型不一样,不能只看它回答得快不快,而要看它在复杂问题上的准确率、推理链的稳定性、以及“想太久”带来的成本问题。我实测下来,推理模型在简单问答上反而不如基座模型流畅,因为它在“过度思考”,所以选型时一定要按任务类型分开评估。
第三层是多模态模型,能同时处理文本、图像、音频、视频中的两种或以上。这一层的关键指标是跨模态对齐质量——比如给它一张图表,它能不能准确读出数据并做分析;给它一段视频,它能不能理解动作和场景。多模态模型的坑在于“看起来能用”和“真正好用”之间差距很大,很多模型能识别图片内容,但一到需要精确空间关系或细粒度计数时就翻车。
提示:不要用同一套标准评价三层模型。基座看广度和成本,推理看深度和准确率,多模态看对齐质量和场景适配度。
2.2 开源与闭源的取舍:不是非此即彼
清单里我专门用一列标注“开源/闭源”,但这一列的信息量远不止两个字。开源模型里还要分:是完整权重开源,还是只开源推理代码;是允许商用,还是仅限研究;是社区持续维护,还是发完就没人管了。闭源模型里也要分:是只提供API,还是也提供私有化部署方案;是按token计费,还是按订阅制;有没有用量上限和速率限制。
我自己的取舍逻辑是这样的:如果任务是通用对话和内容生成,优先考虑闭源API,因为省事、效果好、不用维护基础设施。如果任务是数据敏感或需要深度定制,优先考虑开源模型,因为可以把数据留在自己手里,也能做微调。如果是成本敏感的大批量处理,我会算一笔账:开源模型虽然省了API费用,但GPU租用、运维人力、调优时间都是成本,算下来不一定比闭源便宜。
这里有个容易被忽略的点:开源模型的“可用性”很大程度上取决于社区生态。一个模型如果有一堆现成的微调脚本、量化方案、部署工具,那它的实际落地成本会低很多。反过来,一个参数很漂亮但没人用的开源模型,你可能要花几周时间踩坑才能跑通。所以我在清单里会额外标注“社区活跃度”这一项,作为选型的重要参考。
2.3 上下文窗口的真相:数字大不等于好用
上下文窗口是这两年进步最快的指标之一,从最早的几千token,到现在动辄几十万甚至上百万token。但我在实际使用中发现,标称上下文长度和有效上下文长度是两回事。很多模型虽然宣称支持超长上下文,但在处理长文档时,中间部分的信息容易被“遗忘”,也就是所谓的“lost in the middle”现象。
我的做法是在清单里记录两个值:标称窗口和实测有效窗口。实测方法很简单:找一篇长文档,把关键信息放在不同位置(开头、中间、结尾),然后提问看模型能不能准确回答。通常有效窗口只有标称的百分之六十到八十,具体取决于模型架构和训练方式。这个实测值对实际选型更有参考意义,因为你的文档往往就是关键信息藏在中间的那种。
另外,长上下文带来的成本是指数级上升的。处理十万token的输入,费用可能是处理一万token的好几倍,而且延迟也会明显增加。所以我的建议是:不要因为窗口大就无脑塞长文档,先做信息压缩和检索增强,把真正相关的内容喂给模型,这样既省钱又准确。
3. 应用维度怎么理:从“能聊天”到“能干活”
3.1 对话助手类:同质化最严重,差异在细节
对话助手是大模型最直观的应用形态,也是同质化最严重的赛道。几乎每个模型厂商都有自己的对话产品,功能看起来都差不多:能聊天、能写文章、能翻译、能总结。但我在长期使用中发现,真正的差异藏在细节里。
第一个差异是指令遵循的精确度。你让它“写一段三百字左右的介绍”,有的模型写出来二百八十字,有的写四百字,有的干脆忽略字数要求。这种精确度在简单场景下无所谓,但在需要严格控制格式的场景(比如生成结构化数据、填写模板)里就是致命问题。我在清单里会记录每个模型在“精确指令遵循”上的表现,用几个标准测试题来打分。
第二个差异是多轮对话的连贯性。有些模型聊到第五轮就忘了第一轮说过什么,有些模型能记住整个对话历史并保持一致。这个能力对客服、教学、咨询类场景特别重要。测试方法也很简单:在对话中埋几个关键信息,过几轮再问,看它记不记得。
第三个差异是拒答和边界处理。好的对话助手知道什么时候该说“我不知道”,什么时候该拒绝,什么时候该追问澄清。差的助手要么什么都敢答(容易出错),要么过度保守(什么都不肯说)。这个边界感很难量化,但用起来差别巨大。
3.2 编程辅助类:从补全到智能体
编程辅助是大模型落地最成功的领域之一,也是变化最快的领域。早期主要是代码补全,你写一半它猜后半句。现在已经进化到能理解整个项目、能跨文件修改、能根据自然语言描述生成完整功能模块。
我在清单里把编程辅助工具分成三个层次。第一层是行内补全,集成在编辑器里,根据上下文猜你下一行要写什么。这一层的关键指标是响应速度和接受率——如果补全太慢或者猜得太离谱,反而会打断思路。第二层是对话式编程,你可以用自然语言描述需求,它生成代码片段或解释代码逻辑。这一层的关键指标是代码正确率和可运行率,很多工具生成的代码看起来对,一跑就报错。第三层是智能体编程,它能自己规划任务、读写文件、运行测试、根据报错自动修复。这一层目前还在早期,关键指标是任务完成率和人工干预频率。
我实测下来的经验是:行内补全适合日常写业务代码,能省不少打字时间;对话式编程适合学习新框架或写一次性脚本;智能体编程适合处理重复性的重构和迁移任务,但一定要有人盯着,因为它有时候会“自信地做错事”。
3.3 文档与知识处理类:RAG 仍然是主力
文档处理是企业场景里需求最明确的一类应用。核心需求就一个:把一堆文档喂进去,然后能问答、能总结、能提取关键信息。目前主流方案还是检索增强生成,也就是先把文档切块、向量化、存进向量数据库,用户提问时先检索相关片段,再让模型基于片段回答。
这个方案听起来简单,但实操中的坑非常多。第一个坑是切块策略:切得太碎,上下文不完整;切得太大,检索精度下降。我的经验是按语义切块,而不是按固定字数切,同时保留一定的重叠区域。第二个坑是检索质量:纯向量检索对关键词匹配不敏感,纯关键词检索对语义理解不够,所以我现在基本都用混合检索,两种方式各取所长。第三个坑是引用溯源:企业用户最关心“这个答案是从哪份文档来的”,所以生成答案时必须附带来源片段和位置信息,否则没人敢用。
我在清单里会记录每个文档处理方案在“检索准确率”“答案忠实度”“引用可追溯性”三个维度的表现。这三个指标比“模型有多强”更重要,因为文档处理场景下,用户要的是准确和可信,不是花哨。
3.4 图像与视频生成类:从玩具到生产力
图像生成已经相对成熟,视频生成还在快速演进中。我在清单里把这类应用单独列出来,因为它们的评价体系和文本模型完全不同。图像生成看的是构图质量、风格一致性、文字渲染能力、可控性。视频生成看的是时长、分辨率、运动连贯性、物理合理性。
实际使用中,我发现图像生成最大的痛点是“可控性”。你脑子里有一个画面,但用文字描述出来,模型理解的和你想的往往有偏差。所以现在很多工具都在做“结构化控制”,比如用参考图、姿态图、深度图来约束生成结果。视频生成的痛点则是“一致性”——同一个角色在不同镜头里长得不一样,同一个场景在不同时间点光影对不上。这些问题目前还没有完全解决,但进步速度很快。
注意:图像和视频生成类工具在商用时要特别注意版权和合规问题。生成内容的版权归属、训练数据的来源合法性、以及生成结果的审核机制,都是选型时必须确认的。
4. 我的清单长什么样:字段设计与维护节奏
4.1 模型清单的核心字段
说了这么多分类逻辑,具体到清单本身,我用的是一张表。模型维度的字段包括:模型名称、厂商、发布时间、开源/闭源、参数规模、上下文窗口(标称/实测)、多模态支持、知识截止日期、API价格(输入/输出)、推理能力评分、指令遵循评分、社区活跃度、备注。
这些字段里,推理能力评分和指令遵循评分是我自己定的标准,不是官方数据。评分方法是用一组固定的测试题跑一遍,按通过率打分。测试题覆盖数学、逻辑、代码、长文理解、格式遵循等维度。这样做的好处是横向可比,坏处是主观性较强,所以我会在备注里写清楚测试条件和局限性。
API价格这一项要特别说明:不能只看单价,还要看计费方式。有的按输入输出分开计费,有的按请求次数,有的有免费额度,有的有批量折扣。我在清单里统一换算成“处理一百万token的估算成本”,这样比较起来更直观。
4.2 应用清单的核心字段
应用维度的字段包括:应用名称、底层模型、应用类型、目标用户、核心功能、免费/付费、平台支持(网页/桌面/移动)、数据隐私政策、集成能力(API/插件)、实测体验评分、备注。
底层模型这一项很重要,因为很多应用看起来不一样,底层用的是同一个模型。知道底层模型,就能大致判断它的能力边界和成本结构。数据隐私政策这一项经常被忽略,但对企业用户来说至关重要——你的数据会不会被用来训练模型?会不会被人工审核?这些都要在选型前确认清楚。
实测体验评分同样是我自己跑的。我会用几个标准任务测试每个应用:写一篇短文、总结一份文档、回答几个领域问题、处理一个多步任务。然后按完成质量、速度、稳定性打分。这个评分只代表我个人的使用场景,不代表通用评价,所以我会在备注里写清楚测试环境。
4.3 更新节奏与信息源管理
这份清单的维护节奏是每周小更新、每月大整理。小更新就是看到新模型或新应用时随手加一行,大整理则是重新跑一遍测试题、更新评分、清理过时信息。
信息源方面,我主要关注几类渠道:厂商官方发布、技术社区讨论、行业分析报告、以及实际使用反馈。官方发布的信息最准确但往往有宣传成分;社区讨论最真实但噪音多;分析报告有宏观视角但更新慢;实际使用反馈最贴近落地但样本有限。我的做法是交叉验证:官方说某个能力提升了,我会去社区看有没有人实测;社区说某个模型不行,我会自己跑一遍再下结论。
这里有个经验:不要迷信任何单一信息源。我见过官方benchmark很漂亮但实际用起来很一般的模型,也见过社区口碑很好但特定场景下表现糟糕的工具。最终判断一定要基于自己的实际测试。
5. 选型实操:从需求到落地的完整链路
5.1 先明确任务类型,再匹配模型能力
选型的第一步不是看模型排行榜,而是把自己的任务说清楚。我通常会把任务拆成几个维度:输入是什么(文本/图像/音频/混合)、输出是什么(文本/结构化数据/图像/代码)、对准确率的要求有多高、对延迟的容忍度是多少、数据敏感度如何、预算是多少。
举个例子,如果你要做的是“把客服对话记录自动分类”,那输入是文本、输出是类别标签、准确率要求高、延迟要求低、数据可能敏感、预算有限。这种情况下,一个中等规模的微调开源模型可能比顶级闭源API更合适,因为分类任务不需要太强的生成能力,但需要稳定和低成本。
反过来,如果你要做的是“根据产品需求文档生成营销文案”,那输入是长文档、输出是创意文本、准确率要求中等、延迟要求低、数据不太敏感、预算充足。这种情况下,顶级闭源模型更合适,因为创意生成需要更强的语言能力和世界知识。
5.2 小规模对比测试的设计方法
确定候选模型后,不要直接上生产,先做小规模对比测试。我的测试集通常包含二十到五十个真实任务样本,覆盖典型场景和边界情况。每个样本都有人工标注的“理想输出”,然后让候选模型分别跑一遍,按匹配度打分。
测试时要注意几点:第一,控制变量,同一个任务用相同的提示词模板,不要一个用详细提示一个用简单提示。第二,盲评,打分时不知道哪个输出是哪个模型生成的,避免先入为主的偏见。第三,记录失败案例,不仅要看平均分,还要看失败模式——有的模型是偶尔出错,有的模型是特定类型任务系统性出错,后者更危险。
我自己的经验是,二十个样本就能看出明显差距了。如果两个模型得分接近,那就看成本和延迟;如果得分差距大,那就选得分高的,除非成本差距无法接受。
5.3 成本估算的完整算法
成本估算不能只看API单价,要把所有相关成本都算进去。我用的公式是这样的:
总成本 = 模型调用成本 + 基础设施成本 + 人力成本 + 风险成本
模型调用成本就是API费用或GPU租用费用。基础设施成本包括向量数据库、缓存、监控、日志等配套服务。人力成本包括开发、调优、运维的时间折算。风险成本比较难量化,但一定要考虑——如果模型出错导致业务损失,这个代价可能远高于省下来的API费用。
具体算的时候,我会先估算日均请求量和平均token消耗,然后乘以单价得到月度调用成本。再估算基础设施的月度费用。人力成本按项目周期折算。风险成本给一个保守的预留比例。四项加起来,才是真实的月度成本。
这个算法看起来麻烦,但做过一次之后就有感觉了。我见过太多团队只算API费用,结果上线后发现配套成本是API费用的好几倍。
5.4 上线后的监控与迭代
模型上线不是终点,而是起点。我通常会监控几个核心指标:响应延迟、错误率、用户反馈、成本偏差。响应延迟突然升高可能是模型服务端出了问题;错误率上升可能是输入分布发生了变化;用户反馈变差可能是模型能力跟不上业务发展;成本偏差过大可能是调用量估算不准。
迭代方面,我的原则是小步快跑。不要一次性换模型,而是先在小流量上测试新模型,对比核心指标,确认没问题再逐步放量。同时保留回滚能力,万一新模型出问题能快速切回旧模型。
还有一个容易被忽略的点:提示词也需要迭代。同一个模型,提示词优化前后效果可能差很多。所以我会把提示词也纳入版本管理,每次修改都记录变更内容和效果对比。
6. 那些年我踩过的坑和总结出的经验
6.1 榜单排名不等于实际表现
刚开始做清单时,我很依赖各种公开榜单。后来发现,榜单排名和实际使用体验之间的相关性比想象中低很多。原因有几个:榜单的测试集和你的实际任务分布不一样;榜单往往只测单一能力,而实际任务需要综合能力;榜单可能被针对性优化,也就是所谓的“刷榜”。
我现在看榜单只做参考,不作为决策依据。真正重要的是在自己的任务上跑一遍。哪怕只跑十个样本,也比看一百个榜单有用。
6.2 版本更新带来的“静默退化”
这是一个很隐蔽的坑:模型厂商更新版本后,某些能力可能反而下降了。我遇到过好几次,某个模型在数学推理上进步了,但在格式遵循上退步了;或者在通用对话上更流畅了,但在特定领域知识上变差了。这种“静默退化”不会在更新日志里写,只能靠持续测试发现。
所以我的清单里会记录版本号和测试日期,每次厂商更新后重新跑一遍核心测试题。如果发现退化,就在备注里标注,提醒自己注意。
6.3 多模型组合往往比单模型更强
早期我总想找一个“全能模型”,后来发现不存在。现在的做法是按任务路由:简单任务用便宜快的模型,复杂任务用贵但强的模型,特定任务用专门微调的模型。这样组合下来,整体成本和效果都比单模型好。
路由逻辑可以很简单:按输入长度、按任务类型、按用户等级来分流。也可以很复杂:先用小模型判断任务难度,再决定用哪个模型。我目前用的是简单规则路由,够用且好维护。
6.4 数据隐私是选型的硬约束
这一点怎么强调都不为过。很多团队在选型时只看效果和成本,忽略了数据隐私,结果上线后被合规部门叫停,前功尽弃。我的做法是:在选型第一阶段就把数据隐私作为一票否决项。如果某个方案不能满足数据隐私要求,效果再好也不考虑。
具体要确认的问题包括:数据存储在哪里、是否用于训练、是否有人工审核、是否支持私有化部署、是否符合行业监管要求。这些问题要在签合同前白纸黑字确认,不能只听销售口头承诺。
6.5 提示词工程仍然是最划算的投入
模型选型很重要,但提示词优化的投入产出比往往更高。同一个模型,好的提示词和差的提示词,效果可能差一倍。而且提示词优化不需要额外成本,只需要时间和经验。
我的提示词优化经验是:结构化、给例子、定角色、限格式。结构化是指把任务拆成清晰的步骤;给例子是指提供输入输出示例;定角色是指告诉模型它应该以什么身份回答;限格式是指明确输出的格式要求。这四招用下来,大部分任务的准确率都能明显提升。
7. 这份清单后续可以怎么用
这份清单对我来说已经不只是选型工具了,它更像是一个认知框架。每次看到新模型或新应用,我会下意识地把它放进这个框架里:它属于哪一层?解决了什么问题?和现有方案比有什么差异?这种思考方式让我在面对新技术时不会慌乱,因为我知道该看哪些维度、该问哪些问题。
如果你也想建自己的清单,我的建议是从简到繁。先列十个你最常用的模型和应用,记录最基本的字段。用一段时间后,你会发现哪些字段有用、哪些没用,然后再调整。不要一开始就追求大而全,那样很难坚持。
另外,清单要定期回顾。我每个月会花半小时翻一遍,看看有没有过时的信息、有没有新的发现、有没有判断错误的地方。这个回顾过程本身就是学习,能帮你校准自己的判断力。
最后说一个我自己的体会:大模型领域变化太快,没有人能掌握全部信息。重要的不是记住所有模型的名字,而是建立一套自己的评估方法。有了方法,新东西出来你也能快速判断;没有方法,就只能被各种宣传牵着走。这份清单的价值不在于它记录了什么,而在于它背后的思考方式。