官网友情链接 wechatapi.net
AI 微信机器人上线以后,很多团队会记录:
客户问了什么;
AI 回了什么。
但还有一类数据,经常被忽略:
人工把 AI 的回复改成了什么。
例如 AI 建议回复:
“该问题可以重新登录尝试。”
客服修改成:
“您这个情况先不要重新登录,我先帮您确认当前账号状态。”
这个修改非常有价值。
它说明 AI 原回答在这个业务场景里并不够好。
如果系统只是发送人工修改后的内容,却没有记录“AI 原答”和“人工改答”,就浪费了大量真实业务反馈。
WechatApi 可以作为微信API 接入层,把客户消息接入 AI 系统。回复候选生成以后,人工编辑行为也应该被结构化记录。
一、为什么人工修改比点赞更有价值
点赞或者“好/不好”只能告诉系统:
这个回答不好。
人工修改则告诉系统:
应该怎么改。
这属于非常高质量的监督信号。
二、应该保存哪些版本
至少保存:
客户原消息;
上下文;
AI 原始回复;
人工最终回复;
修改人;
修改时间;
修改原因。
这样才能分析变化。
三、一个具体例子
客户:
“这个功能是不是要另外收费?”
AI 原答:
“具体价格请参考相关说明。”
客服修改:
“该功能是否单独收费需要根据当前套餐确认,我先帮您查一下。”
可以看出人工增加了:
不确定性控制;
人工承接;
避免直接引导客户自己查。
这就是业务风格差异。
四、修改原因可以分类
例如:
事实错误;
语气不合适;
信息不完整;
风险过高;
需要人工确认;
知识库缺失;
上下文理解错误。
客服修改后可以快速选择原因。
五、数据可以反向优化知识库
如果大量修改原因都是:
知识库缺失。
说明不是模型问题。
应该补知识库。
如果大量是:
语气不合适。
可能需要调整 Prompt。
如果大量是:
上下文错误。
应该优化会话层。
这能帮助团队真正找到问题根源。
六、WechatApi 在这里负责什么
WechatApi 负责:
微信消息;
客户;
群聊;
文件。
AI 业务系统负责:
回复候选;
人工编辑;
修改反馈;
分析。
接入和优化反馈属于不同层。
七、人工修改不能覆盖 AI 原始记录
一定要保留两个版本。
否则后续只看到最终发送内容,就不知道 AI 当时哪里错了。
八、版本还可以包括知识库和 Prompt
一条修改记录最好关联:
知识库版本;
Prompt版本;
模型版本。
这样可以分析:
某个模型版本上线以后修改率是否升高。
九、群聊场景也很有价值
微信群里的人工修改通常更加谨慎。
因为一条消息会被多人看到。
这些修改可以帮助优化群聊专用语气。
十、数据要脱敏后才能用于训练分析
人工修改数据可能包含客户隐私。
如果用于内部训练或评估,需要做:
脱敏;
权限;
范围控制。
不能直接把所有原始客户数据拿去训练。
十一、修改率可以作为 AI 质量指标
比如:
1000 条 AI 候选。
700 条直接发送。
200 条人工修改。
100 条被拒绝。
这比单纯看“AI 回复次数”更有意义。
十二、可以按问题类型看修改率
售后问题修改率 40%。
普通 FAQ 5%。
说明 AI 在售后场景还不够稳定。
这样可以分场景优化。
十三、人工最终回复也不一定绝对正确
所以不要直接把所有人工修改都当作黄金标准。
可以结合:
主管审核;
客户后续反馈;
问题是否解决。
提高数据质量。
十四、反馈闭环
高质量流程可以是:
AI生成;
人工修改;
记录差异;
分类问题;
更新知识库或 Prompt;
新版本上线;
继续观察修改率。
这才是真正 AI 迭代。
十五、权限
普通客服可以修改。
主管可以查看团队修改数据。
AI 管理员可以查看聚合分析。
客户敏感内容仍然需要权限控制。
十六、日志
需要记录:
谁修改;
改了哪些部分;
最终是否发送;
客户是否继续追问。
这些信息非常有价值。
十七、总结
AI 微信机器人最宝贵的数据,不只是客户问了什么。
还有:
AI哪里答得不好,以及人工最终是怎么处理的。
WechatApi 可以作为个人微信API 接入层,把真实微信沟通带进 AI 系统。
而人工修改反馈,则可以帮助团队持续优化:
知识库;
Prompt;
上下文;
规则;
模型。
微信二次开发进入 AI 阶段以后,真正的长期优势不是模型一次就完美。
而是系统能够从每天真实发生的人工修正中不断变好。