做企业信息化这些年,我参与过不下十次企业即时通讯软件的选型评审。以前的流程很固定:拉一张评分表,左边是产品功能,右边是分数,消息必达率、群管理、组织架构同步、音视频会议、审批流程,一项项打过去,谁分高选谁。上个月,我陪一家制造业客户开选型评审会,IT负责人把旧评分表投上屏幕后,会议室里突然安静了几秒——所有人都意识到,真正让三家候选产品拉开差距的,根本不是表里那些老栏目,而是表里还没有的一栏:AI Agent。
这篇文章不从厂商角度讲,也不堆术语,只说我观察到的变化和手头验证过的方法:AI Agent进入企业IM之后,选型该看什么、怎么测、有哪些坑。适合正要启动选型的信息化负责人、IT经理,以及做企业内部AI应用落地的同学参考。
1. AI Agent进IM之后,选型的底层逻辑松动了
1.1 过去的IM选型,本质上是在选"管道"
早几年做企业即时通讯软件选型,核心是比管道质量。消息能不能秒到,群能不能建大,组织架构能不能跟HR系统自动同步,离职人员的一键交接顺不顺,这些是硬指标。再往上一层,看音视频会议稳不稳,审批流能不能跟OA打通,移动端和PC端体验是都完整。当时大家默认一件事:IM就是个通讯管道,数据在里面跑得又快又安全,就算选对了。
这套逻辑在管道时代没有错,因为IM的价值边界很清晰——消息从A传到B,任务从这个人手里流到那个人手里,工具本身不产生决策。一个销售在群里问"华东区上季度回款多少",没有人指望聊天软件回答他,他得自己去CRM里翻报表。
所以那时候的选型,本质上是选一个"通信与状态容器"。谁能把消息、通讯录、审批单、音视频会议这些原子能力做得足够稳、足够兼容,谁就赢。AI Agent出来之前,几乎所有主流产品的差异化竞争都停留在这一层,顶多是谁多接一个考勤机,谁多送一个网盘。
1.2 AI Agent把"消息管道"改成了"任务入口"
AI Agent进入IM之后,产品的身份开始转变。一个最典型的变化是:员工不再只是在聊天窗口里跟同事说话,而是在聊天窗口里直接跟系统说话——"帮我把周三的项目会改到周五,顺便通知参会人,重新订会议室""把上季度华东区回款率低于80%的客户拉一张表发到群"。
这句话背后,IM需要完成一次从消息管道到任务入口的跃迁。它不再只是搬运消息,而是理解意图、拆解步骤、调用多个系统、执行动作、返回结果。原来一个需要员工打开三个系统才能完成的活,现在在对话框里一句话就闭环了。
这个变化对选型的影响是根本性的:以前我们问"消息能不能准时送达",现在要问"任务能不能完整闭环";以前问"跟OA的审批流能不能打通",现在要问"Agent能不能自己发起一条审批并追踪结果"。管道的质量标准还在,但已经成了入场券,不再是决胜项。
1.3 一个必须纠正的认知:Agent不是智能客服的套娃
很多人在选型时会把AI Agent理解成"更聪明的聊天机器人",这是个危险的误解。传统智能客服的核心是FAQ检索和意图分流,答完问题就结束了,它不产生业务动作。AI Agent的运行逻辑完全不同:它要有模型来理解意图,要有工具调用的能力去操作日程、会议、审批、CRM、ERP,要有记忆来处理多轮上下文,还要有编排能力把一串动作串起来。
换句话说,智能客服是"动嘴",AI Agent是"动手"。选型的时候如果只测试"问它答得对不对",等于只验证了最表层的模型能力,完全没验证它能不能安全、准确地操作你的业务系统。我见过不少项目,产品Demo时聊天很流畅,一接到真实业务系统就露馅,原因就在于供应商只做了对话层,没做过关的工具调用和权限控制。
所以从评估逻辑上讲,看AI Agent能力,要看它的"手"够不够长、够不够稳,而不是看"嘴"会不会说。这部分我在后面会具体展开。
2. 把Agent拆开看:它到底在IM里干了什么活
2.1 入口层:对话式交互替代了菜单点击
AI Agent在企业IM里的第一层角色,是新的交互入口。以前用户要完成一个"发周报"的动作,路径是:打开IM→找到周报应用→点新建→填表单→选模板→提交。现在变成:在对话框里说一句"帮我生成这周的周报,重点突出项目进度和风险"。
入口层的核心价值在于降低了使用门槛。尤其对一线门店、生产线、外勤人员来说,让他们去记一个系统里层层叠叠的菜单不现实,但让他们在聊天框里说一句自然语言,几乎零学习成本。选型时看入口层,不是看它有多少个AI按钮,而是看这个入口离用户的默认使用习惯有多近。IM本身就是员工每天打开次数最多的应用,Agent长在IM里,比单独开一个AI平台更容易被用起来。
但入口层只是表皮,真实差距在入口背后能调动什么。很多产品的AI入口只接了内部知识库问答,能回答"报销标准是多少",但回答不了"帮我把这笔报销单提交了",这种Agent本质上还停留在上一个时代。
2.2 调度层:从"一句话"到"一串任务"
AI Agent真正值钱的层,是调度层。一个看起来简单的指令,落到系统里往往是一串动作。拿"把周三的项目会改到周五并提醒所有人"举例,Agent至少要执行五步:查日历找到原会议、确认参会人名单、在日历里修改时间、给参会人群发消息通知、检查周五是否有会议室冲突。每一步都要调用不同的接口,还要在出错时判断是继续还是停下来问人。
这就是所谓任务闭环率。评估Agent能力时,我会用一个朴素的方法:拿十个真实的、需要三步以上操作的工作场景去测,看它独立完成的比率有多高。比如"查一下上季度华东区的回款数据,按客户列个表,把回款率低于80%的挑出来,下午两点前发到项目群",这一步涉及数据查询、计算、格式化、定时发送、群定向投递,任何一个环节断了,任务就不算闭环。
调度层的实现质量,直接体现在系统架构上。值得追问的问题是:Agent调用第三方系统API的能力是预置的还是可配置的?支不支行业界通用的工具调用协议?能不能自定义编排多个动作之间的逻辑顺序?如果所有动作都是厂商预先写死的那几个模板,那它没法适应你公司里真正复杂的业务流程。
2.3 权限与边界层:Agent成了新的安全焦点
AI Agent在企业IM里的第三层角色,也是最容易被低估的,是权限与边界。过去权限模型服务的是人——一个员工能看哪些部门的数据,能审批哪些单据,系统按角色分好就行。现在Agent成了"会动手的账号",它代表用户去执行操作,那么它的权限怎么算?
这里有个真实场景。员工对Agent说"帮我把张经理的工资条从HR系统导出来发我",如果Agent完全继承员工本人的权限,它就不该有权限做这件事,因为普通员工没有查工资数据的角色;但如果Agent被授予了过大的"系统管理员"权限,它可能真的会执行这个危险请求。所以Agent的权限模型必须支持最小权限原则,并且对高风险操作设置人工确认环节。
我在跟厂商交流时,一定会问三个问题:Agent执行操作时,权限是基于发起人身份还是基于Agent自身身份?高风险操作能不能设置二次确认甚至三级审批?Agent的每一次动作有没有可追溯的审计日志?这三个问题答不清楚的产品,无论AI功能多花哨,我都不会在选型表上给它高分——因为企业IM一旦接上Agent,它就不再仅仅是通讯工具,而是业务操作入口,权限边界失守的后果是安全事故级别的。
3. 新旧标准对照:哪些保留,哪些替换,哪些新增
3.1 旧标准仍然有效的部分:稳定、安全、组织根基
别误会,AI Agent不是来全盘否定旧标准的。消息必达率、系统稳定性、高并发下的延迟表现,这些依然是硬门槛。一个Agent调度做得再漂亮,如果基础消息都丢包,或者一开会就卡顿,那整个产品照样不合格。安全合规也一样,数据加密传输、私有化部署选项、等保合规要求,一个都不能少。
组织架构同步这类基础能力,在新选型标准里反而变得更重要了。为什么?因为Agent的权限体系要依托组织架构来建立——角色、汇报关系、数据权限范围都是从组织树里派生出来的。组织架构同步做不到实时准确,Agent的权限判断就会出现系统性偏差。所以我在选型时会先给这些基础能力设置一道"一票否决线",过不了线的产品,AI能力再强也不谈。
不过这些旧标准的位置变了,从"比较优劣项"变成了"准入资格项"。过去靠消息并发能力能拉开差距,现在大家水平差不多,基本都能达标。真正拉开差距的,已经是下面这几件事。
3.2 被AI Agent改写的标准:集成能力、可配置性、运维门槛
集成能力在旧标准里是一项加分项,通常指的是预置了多少个系统连接器。在AI Agent时代,这项的权重急剧上升,而且内涵变了:不只是能连,还要能被Agent"调用"。一个和ERP、CRM、HR系统都有稳定API连接,并且Agent能直接调度的产品,和一个只能靠人工导出再导入数据的产品,选型评分可以差出一个量级。
可配置性也一样被改写。过去看可配置性,是看审批流能不能拖拽、字段能不能自定义。现在要看Agent的行为能不能配置:不同的部门能不能用不同的Agent技能包?Agent在执行任务前需不需要向用户确认?一个指令里同时包含查询和修改操作时,默认策略是什么?这些都需要在管理后台里灵活控制,而不是靠厂商发版更新。
运维门槛则是个容易忽略的新维度。传统IM的运维是保证服务在线,Agent介入之后的运维变成了:监控模型调用的成功率、追踪Token消耗、分析Agent误操作的日志、定期更新知识库和工具配置。如果产品没有给企业IT团队提供一套顺手的AI运维后台,后续的压力会全部转移到自己人身上,这一点我会在后面成本相关的部分单独说。
3.3 新增的核心维度:模型自由度、任务闭环率、开发者生态
新增维度里,模型自由度排在最前面。不同厂商的IM现在都接了大模型,但接的是谁的模型、能不能换模型,差别很大。有的产品强制绑定自家模型,有的允许你接入自己的私有化模型或第三方商用模型。对企业来说,模型自由度意味着议价权和数据控制权。尤其对数据敏感型行业,模型是否支持私有化部署,几乎决定了这个产品能不能进入采购名单。
任务闭环率前面说过了,是衡量Agent能不能真正"办成事"的核心指标。这里提醒一句:一定要用自己的业务场景去测,别用厂商准备好的Demo脚本。厂商脚本里的任务通常是精心挑选过的,而你的业务场景往往更脏、更琐碎、更依赖具体上下文。
开发者生态是长期竞争力的来源。一个IM的Agent能力再强,如果只靠厂商自己的团队开发技能包,那它的边界是有限的;如果它开放了低代码搭建平台,甚至支持企业开发者自助接入内部系统,那你能基于它长出无数个贴合自身业务的Agent应用。选型时可以问一句:我们自己开发一个Agent技能包,从写代码到上线,大概要走多少流程?这个问题的答案,基本能判断出生态开放程度。
为了把这些变化看得更直观,我梳理了一张新旧选型要素对照表:
| 选型维度 | 传统时代重点 | AI Agent时代重点 |
|---|---|---|
| 稳定性 | 消息必达率、高并发、弱网体验 | 除基础消息外,模型调用与工具链的可用性 |
| 集成能力 | 能连多少个预置应用 | Agent能否直接调度这些应用完成闭环任务 |
| 安全性 | 传输加密、私有化部署 | 权限边界、Agent操作审计、敏感操作控制 |
| 可配置性 | 审批流、表单、字段自定义 | Agent行为策略、技能包、确认环节可配置 |
| 运维管理 | 服务监控、版本升级 | AI运维后台、Token监控、指令日志分析 |
| 生态 | 应用商店里有多少应用 | 低代码搭建Agent的开放程度与开发者支持 |
| 成本 | 按账号数付费 | 账号费加Token消耗、模型调用成本的综合测算 |
4. 直接抄作业:一份带权重的选型打分表
4.1 选型之前,先锁定五个高频业务场景
任何脱离场景的选型都是耍流氓。AI Agent能力怎么测,前提是你得先知道自己的企业里哪些工作最值得被Agent接管。我的建议是,在正式接触厂商之前,内部先做一轮业务访谈,找出五个最高频、最重复、最耗费人力的场景,并且每个场景都要包含至少一个"查数"动作和一个"改动"动作。
拿一家中等规模的制造业客户举例,他们当时锁定的五个场景是:销售周报自动生成、项目会议安排与变更通知、报销单填写与状态跟踪、跨系统订单信息查询、新员工入职流程指引。每个场景都写成一个具体的用户指令,比如"把下周的项目例会改成线上会议,并通知所有参会人"。
为什么必须提前锁定场景?因为只有场景具体了,你才能要求厂商做现场演示,看它在你定义的业务上下文里表现如何。空对空聊"你们支持哪些AI能力"没有意义,直接说"来来来,用我们的真实数据,现场完成这个任务"才有筛选力。
4.2 供应商演示环节,这样问才能问出真东西
实测场景准备好之后,演示环节的提问策略就很重要了。我常用的方法是把测试分成三组:常规任务、边界任务、恢复任务。常规任务就是前面锁定的那五个场景,考察Agent完成标准流程的流畅度。边界任务是故意让Agent做一些超出权限或者指令含糊的请求,比如"把合同发给王总"——这里有多个合同和多个王总问题,看它会不会主动澄清。恢复任务是让Agent执行一个参数缺失的请求,比如"帮我安排周五的会议"但不说时间,看它是追问还是瞎猜。
这三组测完,Agent的真实水平基本现形。还有一个被很多人忽略的场景:让Agent执行一个会产生实际影响的操作,比如真的修改一个会议的日程,然后看它修改前有没有让用户确认、修改后有没有明确的反馈、操作记录能不能在审计日志里查到。这个测试直接决定Agent能不能从"玩具"变成"生产工具"。
演示时别被界面和话术带走,让厂商把执行过程的关键日志打开,亲眼看每一步调用了什么接口、执行结果是什么。要求看日志,一来能验证Agent是真的在调系统执行任务,而不是预先录了一段演示视频;二来能感受运维后台对Agent行为的可视化管理能力。
4.3 打分表模板:把主观感受变成可比较的分数
评测完几家产品之后,最怕的就是"这家也不错,那家也还行",全凭感觉投票。所以我习惯用一张带权重的打分表来收敛结论。这张表不是功能列表的堆砌,而是围绕AI Agent时代的核心关切设计的,权重可以根据企业自身情况调整。
| 评估维度 | 权重 | 考察问题 | 打分要点 |
|---|---|---|---|
| 基础通信能力 | 15% | 消息送达、并发、会议质量是否达标 | 是否一票否决,达标给满分 |
| 任务闭环率 | 25% | 五个真实场景中,独立完成的比例 | 每完成一个加权重,多数独立完成加分高 |
| 权限与安全 | 20% | 最小权限、二次确认、审计日志是否完整 | 缺任何一项直接减半 |
| 模型自由度 | 15% | 是否支持私有化模型、第三方模型接入 | 支持越多越灵活,分越高 |
| 开发者生态 | 10% | 低代码搭建、开放API、技能包市场 | 能现场演示自建Agent优先 |
| 运维与成本透明度 | 15% | AI运维后台、Token监控、费用估算模型 | 有量化监控工具加分 |
权重怎么定?我的经验是,任务闭环率和权限安全两项合计要占到40%以上。因为这两项直接决定Agent能不能安全地产生实际业务价值,其他项都只是锦上添花。打分的时候,要让每家供应商的分数来源都是同一套演示场景和同一批问题,这样横向比较才有意义。
5. 五个只有真实项目里才踩得到的坑
5.1 坑一:Demo很惊艳,生产环境里"见光死"
几乎每家厂商的AI Agent演示都很惊艳,因为演示环境是厂商精心搭建的:数据干净、接口稳定、网络通畅、知识库更新及时。而你生产环境里的现实是:垃圾数据多、老系统接口不稳定、知识库长期没人维护。我见过一个项目,Demo时Agent一秒查出客户信息,上了生产环境后频频报错,排查半天发现是第三方CRM系统的老旧接口在高峰期频繁超时,Agent一调用就挂。
所以选型测试一定要坚持"用你的数据、在你的网络环境里跑"。哪怕不接全部真实数据,也要用脱敏后的生产数据子集,在测试环境里验证Agent调用的稳定性。别相信"上线后再优化"这句话,把数据环境问题留在选型阶段解决,比上线后再补要省力一百倍。
5.2 坑二:权限模型没重新设计,Agent会"越权"
这是我在这个领域最警惕的一个坑。很多企业把Agent接入IM时,沿用原有的岗位权限体系,以为角色权限对了就没问题。但Agent的权限问题和人有本质区别:一个员工误点了一个按钮,影响可能只有一条数据;一个Agent被某个用户误导后批量执行操作,影响可能是全量数据。更麻烦的是,自然语言本身有歧义,同一句话在不同语境下可能被Agent理解成完全不同的动作。
我在建议客户上线Agent时,都会要求权限策略做三件事:第一,Agent执行查询以外的写操作时,必须经过用户二次确认;第二,所有高敏权限操作,比如修改财务数据、导出员工信息,必须预设审批人;第三,Agent的权限默认比发起人更小,不能直接继承发起人的全部权限。这三点在选型时就要逐条确认,否则上线后再补权限模型,改动成本极高。
5.3 坑三:Token成本和用量增长失控
很多企业选型时算了账号费,没算AI用量费。一个五百人的企业,如果每个员工每天跟Agent对话二十次,每次对话消耗几千到上万Token,一个月下来的模型调用开销是相当可观的。而且这个成本会随着员工用得越来越顺手而持续上涨——使用习惯一旦养成,用量就很难降下来。
我处理这个问题的思路是"分级用模型":简单任务走轻量模型,复杂任务才调用大模型;同时在管理后台设置个人和部门维度的用量上限,超过后自动降级为人工引导。选型时一定要问清楚产品的计费模型:是按Token算、按调用次数算、还是无限流量按月打包?有没有用量监控和预警工具?这些直接决定了项目下一年的预算盘子。
5.4 坑四:Agent犯的错,和人不一回事
传统IM系统是确定性的,按钮点下去结果可预期,出了问题好排查。AI Agent是概率性的,同一个指令在上下文的细微差别下可能给出不同结果,这种不确定性在关键业务场景里会被放大。有一句我在内部培训时常说的话:系统出错是bug,是能修好的;Agent出错是概率,只能降不能灭。
应对的办法不是不用Agent,而是把Agent放在"低压场景"先跑,同时建立清晰的人机协作边界。比如合同审批代理只做信息汇总和提醒,不做最终审批决定;报销代理只负责填写和提交,不负责打款。凡是动作不可逆、影响面广的操作,一律保留人工确认环节。这个原则需要在选型阶段就跟厂商敲定,看产品是否支持在Agent技能层面的细粒度操作授权。
5.5 坑五:用户不信、不敢用、不愿用
最后一个坑,往往在采购完成后才出现:员工不买账。做过落地项目的人都有体会,新系统的最大阻力往往不是技术,而是使用习惯。很多员工习惯了在群里直接@同事问一句,你让他去跟Agent对话,他第一反应是"这个机器人靠谱吗,出了错谁负责"。这种心理一旦形成,再好的Agent功能也只能吃灰。
我的经验是,不要一上来就全面铺开,先选一个业务压力最大、用户最有痛感的部门做试点,让Agent帮他们解决一个"不用不行"的问题,比如把销售部每周最痛苦的周报时间从半小时压缩到三分钟。当第一批用户产生口碑后,再逐步推广。同时,在Agent的回复里设计明确的反馈渠道,让员工觉得这个工具是可控的、能被监督的,信任感才能慢慢建立起来。
最后再分享一个我自己的小习惯:无论选型结论多清晰,我都要求厂商在合同里写清楚AI能力相关的服务标准——包括模型调用的SLA、审计日志的保留时长、以及未来模型升级时的兼容性承诺。这个习惯帮我避开过不少后续扯皮的麻烦,也建议你这次就写进选型要求里。