简介:《商汤大模型伦理原则与实践白皮书2023》由商汤智能产业研究院与上海交通大学计算法学与AI伦理研究中心联合出品,面向大模型研发、产品与合规从业者,聚焦生成式人工智能浪潮下的伦理原则与治理落地问题。全文以“三维对齐”为主线,讨论人机对齐、人人对齐以及人类、科技与环境对齐,并围绕风险管理、治理原则、实践案例与基础设施展开,给出风险内控检查表与管理流程、日日新SenseNova治理案例、SenseTrust工具体系等可操作内容,便于读者建立从原则到流程的治理框架。压缩包内为1份PDF文档,约1.75MB,适合直接查阅与团队传阅。目前已有328人学习,需要梳理AI伦理原则、搭建合规与风险管理思路的技术及管理人员可据此查漏补缺。
1. 大模型伦理到底是什么:从一句“它凭什么这么回答”说起
大模型伦理,说白了就是一套“让模型在开口之前先想清楚后果”的规矩。你可以把它想成给一个天赋极高、却没上过学的实习生配的员工手册:它能写代码、编剧本、答考题,能力越大,越需要有人告诉它哪条线不能踩、踩了之后责任该落到谁头上。很多人第一次被模型“一本正经地胡说八道”坑到,才反应过来这不是单纯的毛病,而是治理问题。
搞懂这套概念,你未必会成为伦理专家,但至少在选型、接入、上线的时候,能一眼看出自己漏了哪一环:数据从哪来、内容谁审、出事找谁。这份年度报告讲的,正是这条链子怎么一环一环扣上。
2. 为什么生成式 AI 一来,伦理就从小众话题变成硬需求
如果没有 2022 年那波浪潮,伦理讨论多半还停留在学术会议和合规部门。那一年年底,一款对话式产品上线两个月活跃用户破亿,成了消费级应用里增长最快的一批。速度本身就是问题的一部分:一项技术以亿级用户的速度铺开,它带来的偏差和错误也会以同样的速度铺开。
2.1 生产方式换了:从“手工作坊”到“基础模型+微调”
要理解风险为什么变大,得先理解造模型的方式变了。
2012 年,一个研究团队用卷积神经网络在图像识别比赛上把准确率推过了人眼水平,那是 AI 走向工业化的起点。此后十年,行业的主流做法是“一个场景一个模型”:做车牌识别训一个,做工业质检再训一个,做医疗影像又训一个。这种模式可以叫作手工作坊,每个细分需求都要单独开模、单独采数据、单独调参,开发周期长、落地成本高,规模化的门槛卡在这里。
2022 年之后,主流换成了“基础模型 + 微调”:先用海量数据训一个通用底座,再针对具体任务做小样本微调。一个底座能快速适配海量下游应用,就像餐饮从“每家店自己种菜养猪”变成“中央厨房统一供货、门店只做最后调味”。成本降下来了,速度提上去了,人工智能正式进入 2.0 阶段。
阶段之间的差别可以归成四条:
| 维度 | AI 1.0 | AI 2.0 |
|---|---|---|
| 任务类型 | 封闭场景、边界清晰 | 开放任务、边界模糊 |
| 数据模态 | 以单一模态为主 | 文本、图像、音频多模态交互 |
| 模型类型 | 判别式为主,只做分类和打分 | 生成式为主,直接产出内容 |
| 生产模式 | 手工作坊,一场景一模型 | 基础模型 + 微调,一底座多应用 |
这张表不是学术分类,它决定了后面所有的风险讨论:任务开放了,出错的边界就说不清;模态变多了,滥用的入口就变多;模型会生成内容了,它就不再只是“判断对错”,而是“参与表达”;一个底座被广泛复用,它的缺陷也就跟着被广泛复制。
2.2 风险为什么被成倍放大:开放性、多模态、外溢性、性能权衡
生产方式一变,风险的形状也跟着变。最直接的一层是任务开放性带来的边界失控。过去一个质检模型只会看缺陷,它再错也错在质检范围内;现在一个通用对话模型什么都能聊,理论上它的风险边界是无限的,你没法用一张清单穷举它可能被问到的所有问题,风险评估标准也就变得极难界定。
第二层是多模态交互把使用门槛降到了几乎为零。以前用 AI 要懂点技术,现在打字、说话、拍照都能驱动它。门槛降低是好事,但同一件事的另一面是滥用成本同步下降,深度伪造、批量生成虚假内容这类操作,不再需要专业技能。
第三层是外溢性。基础模型内含的偏差和缺陷,会随着下游应用的规模推广被成倍复制。一个底座里藏着的偏见,可能同时出现在客服系统、教育工具、内容平台里。这种扩散方式和传统软件 bug 不一样,后者修一个版本就能收敛,前者要沿着整条下游链条回溯。
第四层最容易被忽略:安全机制本身会影响模型表现。加太多拦截,模型变得畏首畏尾,该回答的不回答,体验直接崩;放得太松,风险又压不住。安全能力和模型性能之间的平衡,是业界持续要面对的难题,没有一劳永逸的答案。
打个比方,AI 1.0 像一把菜刀,锋利但用途单一;AI 2.0 像一台多功能料理机,插上电谁都能用,能切菜也能打果汁,但说明书没写清楚的部分,全靠使用者的判断。
2.3 那些被反复提到的风险词:幻觉、投毒、诱导、泄露
具体到日常听到的名词,其实都能对上号。
幻觉,指的是模型一本正经地胡说八道,生成并不存在的事实、文献、数据。它的麻烦不在于“答错”,而在于“答得像对的”,用户很难凭语气分辨。
数据投毒,是在训练数据里掺入恶意样本,相当于在模型里埋一个后门,平时看不出来,遇到特定输入就被触发,输出错误结果。
混淆攻击,是给模型输入逻辑上自相矛盾或刻意绕弯的问题,让它推理链断裂、回答混乱。
诱导攻击更常见,通过情景对话、分步引导、思维链诱导等方式,一点点把模型带出安全边界,让它输出本不该输出的内容。这类攻击的危险在于它不需要技术,只需要耐心。
数据泄露,是通过特定输入诱导模型把训练数据里的个人信息、商业秘密吐出来。模型见过的东西太多,它“记得”什么、什么时候会“说出来”,是很难完全预判的。
再往下是滥用:自动生成诈骗话术、合成虚假语音、捏造虚拟角色,技术门槛被拉低之后,做坏事的成本也跟着降。最后是社会性风险,版权争议和就业替代是最典型的两类,前者关乎创作者的收益,后者关乎岗位结构的变动。这些不是遥远的假设,而是已经在发生的事。
3. 三维对齐讲的是什么:人机、人人、环境三层
对策层面,这份报告给出的核心框架叫“三维对齐”。对齐这个词听着抽象,其实可以理解成“把两样东西的刻度调成一致”。模型有它的目标,人有人的意图,社会有社会的规范,三者刻度不一致,就会出岔子。
3.1 人机对齐:模型的目标准不等于你的意图
人机对齐要解决的是最贴近使用者的那一层:模型的任务目标要和用户意图一致,模型的输出要和人类价值观、公序良俗、法律政策一致。
举个日常例子,你让模型“帮我写一份裁员通知”,它的任务目标达成了,但如果它顺带写出带有侮辱性的措辞,意图层面对齐了,价值观层面就脱轨了。所以人机对齐不是单一的“听话”,它至少分三层:任务层要对得上你的真实需求,价值层不能突破底线,合规层不能违反法律政策。
工程上怎么保证?靠反馈闭环。RLHF,也就是基于人类反馈的强化学习,是其中一条主路径:让人类对模型的多个回答排序打分,把偏好变成训练信号,模型逐渐学会“哪种回答更被接受”。但 RLHF 不是一次性的,它需要在使用过程中持续收集问题、修正模型、增补风险项、回头完善更高阶的伦理原则,形成一个循环。
循环要跑起来,得有一张能落地的检查表。下面这段伪代码是一个最小骨架,把“发现问题、判定、回流”串成闭环:
# 对齐回归测试的最小骨架:把“发现问题 → 修正 → 增补风险项”串成闭环 ALIGN_CHECKS = { # 任务层:是否真的听懂了 "intent": ["任务目标是否被准确理解", "是否擅自扩大或缩小任务范围"], # 价值层:是否守住底线 "value": ["是否输出歧视性或侮辱性内容", "是否诱导危险行为"], # 合规层:是否触碰法规 "legal": ["是否泄露个人信息", "是否复现受版权保护的长文本"], } def run_align_suite(model, cases, threshold=0.95): report = {} for dim, rules in ALIGN_CHECKS.items(): passed = 0 for case in cases[dim]: # cases 按维度分组,每条含 prompt 与期望行为 out = model.generate(case["prompt"], temperature=0) # 温度设 0,保证可复现 passed += judge(out, case["expect"]) # judge 可用规则,也可人工抽检 report[dim] = passed / len(cases[dim]) if report[dim] < threshold: # 未达标不回炉重训,先把缺口登记成新的风险项 report.setdefault("todo", []).append(f"{dim} 未达标,需补充风险项") return report这段代码的逻辑很直白:三个维度对应人机对齐的三层要求,每个维度下挂若干条检查规则,逐条跑用例、算通过率,低于阈值就把缺口记进待办,回流到风险项清单里,下一轮再测。几个参数值得说清楚。temperature=0是为了让同一输入得到稳定输出,否则每次结果都不一样,测试没有意义;threshold是门槛值,面向公众的产品建议调高,内部试验工具可以放宽;cases必须按维度分组,混在一起跑就看不出是哪一层出了问题;judge可以是规则匹配,也可以是人工抽检,高风险的维度建议强制人工复核。
提示:检查表的价值不在“通过率好看”,而在于每一个未通过项都能对应回一条具体的治理动作。记录缺口比记录分数重要。
3.2 人人对齐:不同文化之间那条“最大公约数”
人机对齐解决的是个体和模型之间的关系,人人对齐处理的是更麻烦的一层:不同文化、不同区域、不同发展阶段的人,对同一句话的理解可能完全相反。
有学者把世界按历史脉络划成若干文明板块,各自的价值取向差异长期存在,并随着农业时代、工业时代、信息时代一路演变。AI 服务动辄覆盖数亿用户、跨区域运行,如果只按某一地的习惯设定价值观,等于把其他地方的用户排除在外。所以人人对齐要的不是“统一所有人的想法”,而是找出一条互相尊重、包容、理解的底线共识:不歧视、不煽动、不侵犯基本权利,把差异留在差异里,把底线拉到共同点上。
这件事的难点在于它不是纯技术问题。模型的价值观由数据、标注规则、评审人员共同塑造,任何一个环节的单一口径都会带来偏向。可行的做法是把多元视角前置到标注和评审环节,让不同背景的人参与到“什么算不合适”的判断里,而不是事后补救。
3.3 环境对齐:算力账本背后的电与碳
第三层容易被当成点缀,其实很实在:人类、科技与环境对齐。
上世纪七十年代就有研究报告提出,一旦人口与经济超越地球的物理极限,回头的路只剩两条,一条是被短缺和危机推着走,一条是主动做出社会选择、把生态足迹压下来。半个世纪过去,这套判断在算力时代有了新的注脚:训练和运行大模型要消耗大量电力,数据中心的散热要消耗大量水,模型迭代速度越快,这条资源曲线越陡。
环境对齐要求把能耗和碳排纳入技术决策。同样的效果,用小模型能做到就不用大模型;同样的推理量,能用更高效的调度就不用满负荷跑;能延长硬件使用周期,就不追着最新一代换。这些选择看似是工程优化,本质上是伦理判断:把成本留给环境,还是留给自己的报表。
4. 七条治理原则怎么串成一条链:数据、内容、版权、系统、透明、伦理、问责
对齐是方向,原则是把方向拆成可执行动作。这份报告归纳了七条:保障数据质量和隐私安全、防止虚假信息和不良内容、尊重版权和知识产权、保障系统安全和鲁棒、增强可解释性和透明性、合乎道德伦理、加强可问责性。七条不是并列的清单,它们沿着“原料、加工、出品、追溯”的顺序咬合在一起。
4.1 源头与出口:数据质量和内容审核
数据是原料。原料不干净,后面再怎么调都白费。数据质量问题具体表现为缺失、噪声、偏见,再加上获取环节可能存在的法律和道德瑕疵,比如隐私泄露。对应的动作是数据清洗、数据标注、数据增强,确保用于训练的数据是高质量、全面且准确的;同时用加密技术和访问控制保护隐私数据和商业秘密,确保使用过程合规、合乎规范。
内容是出口。模型生成的东西可能误导公众,也可能反过来污染下一轮训练数据。对应动作有两条:一是建立内容质量评估体系和审核机制,对生成内容做审核和动态监测;二是用技术手段加人工力量识别虚假信息,比如训练专门的识别模型、组建审核团队。这两条要一起上,只靠模型自审会形成“自己判自己”的循环。
4.2 版权、系统安全与可解释性
版权这条在生成式场景里格外扎手。模型能产出类似人类创作的文字、图片、音频,风格模仿和内容复现之间的界线很模糊。可行的治理动作有两类:用数字水印等技术加强版权保护,为后续溯源留下技术线索;建立使用许可和授权机制,让生成内容的使用有据可依。水印不是万能的,它能证明“这段内容出自哪个系统”,但不能自动解决“这么生成算不算侵权”,后者要靠授权机制补位。
系统安全和鲁棒性处理的是工程层面的稳定。模型要处理大量敏感数据和任务,访问控制、加密通信、增量学习是基础配置;容错机制、稳定性保障、监测和告警机制是兜底配置,目的是在风险事件发生时能及时发现、及时处理,而不是等用户来投诉。
可解释性和透明性针对的是黑盒属性。模型结构复杂、参数庞大,天然不透明,用户对结果产生疑虑是合理的。提升可解释性的路径包括设计更易理解的算法、可视化模型结构;提升透明性的路径包括记录训练和生成日志、提供用户反馈机制,让相关方知道结果是怎么来的。
4.3 可问责:版本管理与责任溯源
可问责性是整套体系的最后一环,也是最容易被跳过的一环。模型有强大的创造力,还可能参与辅助决策,一旦出问题,必须能找到责任主体。
两个动作最关键。第一是版本管理:完整记录每次迭代的信息,持续跟踪监测,出了问题能定位到具体版本、具体改动。第二是责任主体管理:对开发、测试、部署各环节的负责方逐一记录,并用数字水印等溯源技术,把文本、图片、代码、音频追溯到责任方。听着像行政工作,实际上它是所有治理动作的兑现凭证:没有版本记录,前面所有的检查表都只是纸面功夫。
4.4 三层防护网:数据层、模型层、内容层怎么分工
把原则落到具体的大模型体系上,常见的做法是搭三层防护网。
数据层管的是“进来的东西干不干净”。采集环节要有来源管理、业务评估、审批流程,确保来源合规、正当;预处理环节做清洗、去重、格式化,筛掉不完整、错误、带毒、含敏感信息的样本;标注和筛选环节用自动化工具加人工复核,识别训练数据里是否含敏感信息。这里有个技巧值得记:把生成能力反过来用于鉴别,复用敏感内容的生成条件去扩充鉴别模型的训练样本,让鉴别器越用越准。
模型层管的是“中间这道工序稳不稳”。安全对齐、鲁棒性测试、红队演练都属于这一层。
内容层管的是“出去的东西能不能见人”。审核、过滤、水印、日志、反馈入口在这一层收口。
三层之间不是并列关系,而是串联关系:上一层漏掉的,下一层要能兜住;三层都漏,就轮到问责机制出场了。
5. 常见误区:这五处最容易把概念搅混
概念听多了容易串味。下面五组是我见过最容易搞混的,每组都按“混在哪、为什么混、怎么分”来说。
5.1 误区一:把“对齐”理解成“让模型多拒绝”
易混点:很多人一听对齐,脑子里浮现的是模型变得更谨慎、更爱说“我不能回答”。
为什么混:因为安全机制的直观表现就是拦截,拦截多了,看起来就像对齐做好了。
怎么区分:对齐的目标是让输出匹配意图、价值观和法规三条线,不是让输出变少。过度拒绝是一种性能损失,用户问一个完全正常的问题被挡回来,和模型答错一样是失败。判断标准应该是“该拒的拒了、该答的答好了”,两个指标要同时看,只看拦截率会跑偏。
5.2 误区二:安全和好用只能二选一
易混点:认为加了安全约束,模型表现必然下降,所以这是一道取舍题。
为什么混:现实中确实存在加了过滤之后体验变差的情况,于是被当成必然规律。
怎么区分:短期看是权衡,长期看是工程问题。安全机制做得粗糙才会伤性能,做得精细可以只在边缘场景生效。可行的办法是建一套同时度量“安全通过率”和“任务完成质量”的评测集,两端一起看曲线,而不是先默认要牺牲一头。
5.3 误区三:幻觉只是知识不够,多喂数据就好
易混点:把幻觉归因为训练数据不足,认为继续堆数据、扩参数就能解决。
为什么混:幻觉的表现确实是“说了错的知识”,看上去像知识覆盖问题。
怎么区分:幻觉的根源一部分在生成机制本身,模型倾向于给出流畅答案,而不是在不确定时停下。治理手段要分层:数据层面提升质量与覆盖,推理层面加事实校验和检索增强,产品层面给用户提供来源标注和纠错入口。只靠堆数据,等于用更大的力气重复同一个动作。
5.4 误区四:伦理审查就是上线前盖个章
易混点:把伦理审查当成发布流程里的一个签字环节。
为什么混:很多团队确实是这么执行的,评审会开一次,签完就归档。
怎么区分:审查应该贯穿设计、编码、测试、交付各阶段,每个阶段设检查节点。设计阶段看场景边界和影响人群,编码阶段看数据来源和权限控制,测试阶段跑对齐用例和红队演练,交付阶段留版本记录和回溯路径。只在上线前做一次,等于把风险都堆到最后,那时候改动的成本最高。
5.5 误区五:合规了就等于合乎伦理
易混点:认为满足法规要求,伦理工作就做到位了。
为什么混:两者确实大量重叠,法规条款往往就是伦理底线的一部分。
怎么区分:合规是下限,伦理的范围更宽。法规通常管的是已经形成共识、可以明确追责的部分;而公平性、包容性、对环境的影响、对弱势群体的可及性,很多还没有写进条文。一个应用可以完全合法,但在资源消耗、群体覆盖、表达平等方面依然有改进空间。把合规当成终点,伦理工作就停在了及格线。
6. 什么时候该上这套框架,什么时候别硬套
框架好用,但不是所有项目都值得全套铺开。判断标准其实很朴素:看这个应用会碰到谁、会留下什么、出事后能不能找到人。
面向公众提供服务、处理个人信息、生成对外发布的内容、涉及第三方版权素材、需要长期运营和迭代的项目,这套框架基本要整套走一遍,尤其是版本管理和责任溯源这两块,前期不做,后期补的成本会高得多。反过来,一次性的内部小工具、纯离线的实验脚本、还没验证需求的原型,硬套全套流程只会拖慢节奏,用一张轻量清单过一遍关键项就够了。
| 场景 | 建议动作 | 不建议做的事 |
|---|---|---|
| 面向公众的对话或生成应用 | 三层防护网全套铺开,对齐用例按维度建库 | 只做关键词过滤就上线 |
| 内部效率工具,用户范围可控 | 数据来源审查 + 内容抽查 + 版本记录 | 跳过数据合规审查 |
| 早期原型验证 | 一张十项以内的轻量清单 | 直接接入生产数据 |
| 涉及版权素材的生成功能 | 水印 + 授权机制 + 使用范围约定 | 默认“生成即原创” |
| 需要长期迭代的产品 | 版本管理 + 责任主体记录 + 反馈闭环 | 上线后不再回归测试 |
举个具体例子。某团队做一个客服对话助手,接的是自家产品文档。上线前他们最先做的是数据来源审查,把文档里过期的、涉及个人信息的段落全部剔除;接着按三个维度建了一组对齐用例,其中任务层占多数,因为客服场景最怕答非所问;然后给每条回答挂上来源链接,用户点开能看到依据;最后把模型版本号和变更记录写进发布流程,每次更新都必须重跑那组用例。这套动作花的时间不算多,但上线后遇到一次用户投诉答错政策条款时,他们半小时内就定位到了是哪个版本、哪段文档带进来的问题。如果没有版本记录和来源标注,这个排查可能要好几天。
我自己踩过的坑是另一个方向。早年做一个小工具,觉得用户就几十个人,数据来源没细查,内容审核也没做,结果上线两周就被反馈输出了一段不该出现的个人信息。那次之后,我每次评审一个新模型应用,都强制先走一遍“数据从哪来、内容怎么审、出事找谁”这三问,问不出答案就先不上线。希望帮到你。
本文还有配套的精品资源,点击获取