盯着屏幕上第37张“现代东方茶馆”的出图,我沉默了。提示词里明明写了“现代、街边、落地玻璃”,四个主流文生图系统仍然不约而同地生成了一座带飞檐的木构亭子,配上红灯笼、青花瓷壶和凭空出现的远山薄雾。这种体验在过去一年里反复出现:只要提示词里带上“东方”两个字,出图就会自动切换到一种“景区明信片式”的审美,时间轴好像被拉回一百多年前。这就是我们团队围绕“文生视觉模型的‘东方主义’”做的一整套扫描实验,也是一项即将在多媒体领域顶级会议 ACM MM 2025 上汇报的研究工作。这篇文章会把我踩过的坑、设计过的评估维度、试过的缓解方案全部拆开讲清楚,适合图像生成方向的研究者、做模型评测的朋友,以及所有被“一张东方图怎么画都像游客照”困扰的内容创作者。
1. 为什么“东方主义”会成为文生视觉模型的新议题
1.1 从一个文艺理论概念到一行行出图结果
“东方主义”最早是后殖民批评传统里的经典概念,说的是西方文化艺术体系在想象和描绘东方时,习惯性地把对方塑造成神秘、静态、装饰性的他者。过去这主要出现在油画、小说和旅行摄影里,但大模型把这条路重新铺了一遍:训练数据里的东方图像大多来自博物馆藏品、旅游景区宣传图和复古明信片,模型的概率分布因而天然偏向“传统、华丽、符号化”。
区别在于,此前的东方主义是某个画家或者某个摄影师的作品,今天却是模型对提示词的平均回答。你输入“a modern street in an eastern city”,模型内部对“东方”这个概念的激活模式,会把它拉到一座石狮子、一盏宫灯、一块牌匾组成的固定拼贴里。研究这件事,不是因为文艺理论突然时髦了,而是因为文生视觉模型已经被大规模用于品牌海报、游戏原画、文旅宣传和影视分镜,一张图的风格偏误会被重复生产成千上万次。
1.2 我们具体在做的:一次可复现的偏见扫描
我在某算法团队内部拉了一个两三个人的小项目,用一个月时间设计了一套“东方主义偏见扫描”流程。目标非常朴素:不空谈文化批评,而是回答三个可量化的问题。
第一,同一套场景提示词,把文化修饰词从“西方”换成“东方”,出图结果在符号密度、时间一致性和审美打分上到底差多少。第二,这些差异是偶然波动还是稳定存在。第三,如果我们主动做去偏干预,比如改写提示词、注入结构参考图、做小规模数据微调,效果能恢复到什么程度。
这项工作被我们包装成学术投稿时,主要卖点不是“发现模型有偏见”——这早就不新鲜了,而是提供了一组可复现的评测协议。我用的是固定模板提示词加上多轮重复采样,再把所有图像交给同一个打分器和人工小组双重标注。这样别人换别的模型跑一遍,也能得到可比的结果。ACM MM 2025 上我们汇报的也正是这套协议和基于若干主流系统跑出的基线数据。
1.3 谁该关心这件事
如果你只是偶尔用文生图工具做头像,这件事对你来说是“为啥我明明写的是现代东方,出来的全是古装片布景”。如果你是设计师,你会关心文化符号堆砌对品牌调性的伤害。如果你是做内容审核或模型评测的人,你会想把这些维度加进常规评测集里。
这个议题没有人能置身事外:数据的偏置不会只影响“东方”一类场景,它同样会影响职业女性、少数族裔、老年人等群体。把东方主义研究透了,方法论可以平移去做任何“刻板印象扫描”。这是我认为它值得被写成一篇文章、而不只是一页论文摘要的原因。
2. 复现这套研究:提示词配对与评估指标设计
2.1 提示词配对的四条原则
做这类研究最大的坑,是提示词本身写得不公平。如果东方场景的提示词画面信息量少、西方场景的提示词细节丰富,那测出来的差异到底来自文化偏见还是来自描述质量?说不清楚。所以第一原则是“句法镜像”:所有提示词共用同一个句型模板,只替换文化主体和场景名词。
- 基础模板示例:
一张[光线词]的[场景]照片,[主体],[风格词],电影感构图 - 东方条件:
一张清晨的茶馆照片,穿传统服饰的店主在泡茶,东方风格,电影感构图 - 西方条件:
一张清晨的咖啡馆照片,穿围裙的店主在拉花,西方风格,电影感构图
第二原则是覆盖多模态场景,不要让结果只反映建筑或人像。我们把提示词池分成建筑、服饰、饮食、庆典、街道、室内陈设六个子类,每个子类至少十条场景。第三原则是控制模糊度:每条提示词里都要有一个明确的“功能词”(比如“在开店”“在通勤”“在谈生意”),避免模型只能靠文化符号来猜测场景。第四原则是随机种子分批:开源模型我们固定八个种子,商用 API 无法固定种子的就加大采样量到十六张,保证最后每一条提示词至少能拿到一组稳定的统计分布。
2.2 五个评估维度及计算方式
评估阶段我们最后收敛出五个维度,每个维度都配了至少一种自动计算方法和一种人工校验方法。
| 维度 | 计算方式 | 人工校验内容 |
|---|---|---|
| 文化符号密度 | 目标检测模型识别预定义的二十个高频符号(灯笼、飞檐、扇子、瓷器等),统计单张平均出现个数 | 是否出现预定义之外的刻板符号,如假山、雾霭 |
| 时间一致性 | 让图像分类器按“前工业时代/工业时代/当代”三档打标,统计当代提示词下前工业元素占比 | 判断画面是否符合“现代”场景的功能逻辑 |
| 东西方审美分差 | 使用与训练阶段同源的审美偏好打分器打分,对比成对提示词的分数差 | 排除打分器因为画幅、光线等因素误判 |
| 主体与背景关系 | 人像类提示词中,判断主体是否被置于装饰性背景(屏风、雕花窗、山水画)而非功能性环境 | 主体职业与背景功能是否匹配 |
| 装饰性歧义度 | 人工评估“如果去掉文字,这张图能被理解为当代场景吗” | 降低自动评估对符号的过度依赖 |
2.3 对照组与反事实测试
光有实验组还不算严谨。我们还加了两类对照组。
第一类是“中性现代组”,提示词完全不写任何文化修饰词,比如“一家开在街角的茶馆,玻璃门,水泥墙面”。这一组用来测量默认出图的水平,也是所有模型的“最低限度”地板。第二类是“反事实组”,把场景完全互换:比如“一座东方风格的教堂”“一个西方风格的祠堂”。这类反事实测试最能暴露模型对文化概念的绑定程度——一旦模型把“教堂”和尖拱窗锁定在一起,“祠堂”和牌坊锁定在一起,就说明它理解的不是功能而是符号。
我在跑这批数据时发现一个有意思的细节:同一个商用系统,把“教堂”加上东方修饰后,出图倾向于保留西式哥特结构只加一点东方纹样,而“祠堂”加上西方修饰后,模型几乎直接画成了中式祠堂。这说明东西方在模型里的优先级并不对等,东方风格更像是一种“贴花”,而西方风格才是默认基底。这个发现后来成了我们论文里最有讨论价值的一个截图案例。
3. 实测数据里最扎心的三个现象
3.1 “高频复读”的文化符号
我们统计了所有东方条件图像里的文化符号出现频率,结果非常惊人:排名前五的符号——红灯笼、飞檐、青花瓷、木质格窗、祥云纹——占到了所有东方图像符号出现总量的七成以上。单独看数字可能不痛不痒,但放到具体场景里就荒诞了。
例如“一家开在公寓楼下的现代超市”这条提示词,只要加上东方风格修饰,出图里就经常出现格窗和灯笼,哪怕逻辑上超市招牌和防火通道都已经被画出来了。反观西方条件,“公寓楼下的超市”出来的是再正常不过的卷帘门和霓虹灯。我让人工标注员不看提示词猜“这张图属于哪个文化”,东方条件下的准确率高达九成,原因就是符号线索太明显、太统一了。这种高频复读带来的是严重的视觉贫乏:画二十张东方茶室,可能二十张都长得像一个模子刻的。
3.2 同步生成的“质量剪刀差”
第二个发现我一开始甚至不敢相信。我们拿成对提示词生成图像后,用同一个审美打分器打分,发现东方条件下的平均分比西方条件稳定低了约百分之八到十。一开始我怀疑是提示词翻译损失,后来把提示词人工翻译成完全等价的中英文再跑,差距还在。接着我们怀疑是风格本身的问题——“传统水墨”确实会让现代审美打分器不适。所以我把实验收窄到“现代东方都市街景 vs 现代西方都市街景”,两者的风格描述完全一致,结果东方组的分数仍然偏低。
问题出在哪里?出在打分器训练数据本身就是偏见的一部分。审美偏好打分器被训练成偏好明亮、简洁、接近现代商业摄影的图像,而训练语料里的东方现代都市照片本来就少,标注者又倾向于给带传统元素的图片打高分“因为它很有东方味”,于是打分器学会的是一种双重标准:西方现代是默认好,东方现代是不够东方。这个“质量剪刀差”是最难发现、也最值得在评测里单独跑的一项。
3.3 被偷走的现代性:时间错位
第三个现象最有冲击力,我把它叫“时间轴坍缩”。我们把提示词模板全部设定为当代场景,比如“早晨通勤时段的城市公交站”“写字楼里的共享办公区”“傍晚的便利店门口”,然后分别加上东西方文化修饰。结果东方条件下,百分之六十二的图像里出现了至少一个前工业时代元素——石板路、木推车、繁体竖排匾额、马头墙——而西方条件下这个比例只有百分之十一。
更扎心的是,就算我们在提示词里显式加上“现代”“当代”“玻璃幕墙”这些时间锚点,东方组的前工业元素占比只从百分之六十二降到百分之三十七,依然远高于西方组不加任何锚点的水平。这说明模型对“东方”的默认时间定位就是“过去”。一个图像生成系统如果持续性把当代东方想象成历史场景,它产出的内容将不仅仅是审美问题,而是认知问题:它会影响用户对真实东方都市生活的感知,也会让生成内容无法真正服务于现代商业场景。
4. 偏见的三层来源:语料、打分器与提示词锚定
4.1 训练语料分布的形状,就是偏见的形状
顺着结果往上游找原因,第一层毫无疑问是训练语料。文生视觉模型的训练集里,“东方”相关图像主要来自几个渠道:博物馆数字化藏品、旅游摄影图库、影视剧剧照和明信片扫描件。这些图像天然带有“被展示”“被观看”的属性,构图精美、光线考究、传统元素密集,但缺少日常感和时间感。
相比之下,“西方”相关的图像数据来自海报数据库、新闻图片、街景记录和社交网络,覆盖面广得多,日常场景也多得多。模型只是统计学习机器,它不会故意给东方做“传统化”处理,它只是把训练数据里出现频率最高的关联关系学了个透彻。语料分布的形状决定了偏见的形状,这是所有后续偏误的总根源。
4.2 审美偏好打分器把“东方现代”提前淘汰了
很多人不知道,现在训练扩散模型时有一个关键环节:用多模态对比打分器对图文质量做预过滤。这个打分器本身从互联网图文对训练而来,它的“审美偏好”并不是中立的。
我做过一个小实验:手工挑了一百张“现代东方生活”的真实照片——街边小馆、共享单车、地铁站、菜市场——和一百张“博物馆式东方符号”的图像,让打分器打分。结果现代生活照片的平均分明显低一截,有些甚至低到会被过滤阈值直接丢弃。这意味着什么?意味着“东方现代日常”在训练集构建阶段就被系统性地筛掉了。模型不是没学过,而是压根没机会学。这个发现也解释了为什么单纯加“现代”提示词没用,因为出图时的概率分布里根本缺少“东方+现代+日常”这种组合的原型。
4.3 文本编码器的“符号抱团”
第三层原因比较技术化,但同样致命。多模态对比预训练的文本编码器在把提示词映射到稠密向量时,会把语义相近的词拉近。因为训练数据里“东方”经常和“传统”“古老”“寺庙”“花纹”一起出现,编码器里的“东方”向量附近就聚集了一大堆文化符号原型。
出图时,扩散模型在去噪过程中必须持续参考文本条件,一旦条件向量里“东方”这个词贡献的激活和灯笼、飞檐、绸缎这些原型高度重叠,模型就会不加思索地把它们全部画出来。这也是为什么符号密度那么高而画面多样性那么差:模型不是在一个开放的空间里搜索“东方”,而是在一个已经锁死的小球里随机跳。明白这三层来源之后,我们的缓解策略就有了靶子:要么改数据、要么改打分、要么改提示词的激活路径,每一条路我们都试了。
5. 我们试过的四类缓解手段与真实上限
5.1 提示词去偏改写:见效快、天花板低
第一类手段最轻量,直接在提示词层面做干预。我们的做法是给每个东方条件提示词追加三类附加信息:具体空间功能(“不锈钢操作台”“带菜单灯箱的吧台”)、时间定位(“2024年秋”)、材质细节(“玻璃幕墙”“环氧地坪”)。效果确实立竿见影,时间错位从百分之六十几降到百分之四十左右,符号密度也下降了一点。
但它的天花板很低。第一,它要求用户具备提示词工程能力,不可能指望所有普通用户都这么写。第二,细节堆砌到一定程度后会侵占模型的表现空间,出图会变得“说明书味”十足。第三,它只是绕开了模型里的原型,并没有修正原型。同一套模型换个更隐晦的东方文化词,比如“水乡”“古镇”,偏见又会原封不动地回来。
5.2 结构参考图注入:方向对、成本高
第二类方案是做参考图条件生成,也就是把用户提供的真实东方现代街景照片作为结构引导,让模型在这张底图上重绘光影和风格。我们搜集了大约四百张公开许可的现代东方城市照片,覆盖市集、地铁、便利店、住宅楼四种场景,作为结构条件输入。
效果在四个方案里排名第二:符号密度从平均三点二降到一点四,时间错位降到百分之十八。问题在于成本和使用门槛。用户不是人人手里都有合适的参考图,而且参考图本身的构图偏差会被模型学走,比如四百张参考图里有一半拍摄于阴天,生成结果就普遍偏灰。方向是对的,但它更像是一种“手动纠偏”,不适合作为大规模产品化方案。
5.3 小规模定向微调:效果最好、风险也最大
第三类方案我们下了血本:手动清理和标注了两千张“现代东方日常”图像,给每张图重新写了一段中性的、无装饰性形容词的文本描述,然后在开源基础模型上用轻量微调的方式做了一轮小规模训练。微调量非常克制,只更新部分注意力层的低秩组件,训练轮数也不多,就是为了避免灾难性遗忘。
结果是四个方案里最好的:符号密度降到一点一,时间错位降到百分之九,跟西方组基本持平,审美分差缩小了约六成。但风险也最明显——模型开始全面偏好“中性现代风”,一些用户喜欢的东方传统美学风格也被一起压制了。这就是过度纠正:我们在消灭偏见的路上,差点把文化多样性也一起消灭了。这一刻我才真正理解“去偏不是把模型变成没有文化的白纸,而是给它配上切换文化语境的能力”。
5.4 评测闭环才是长期解
最后我想说,以上所有缓解方案有一个共同前提——你得先有一把能量出偏见的尺子。很多团队做模型迭代,只看 FID 分数和用户好评率,这些指标对风格偏见完全失明。我们把这套五个维度的扫描协议固化成了每周自动跑的评测任务,凡是模型迭代后东方组的时间错位或符号密度上升,就不允许上线。有了这个闭环,去偏才能从“一次性论文实验”变成“持续性质量工程”。这也是我最想对同行说的话:别急着改模型,先建尺子。
6. 给使用者和研究者的七条实操清单
6.1 使用者自查:三分钟判断一张图是否“东方主义化”
如果你不是研究者,只是想拿到不刻板的东方风格图像,可以用三条快速规则自查。
一看时间:画面里的建筑、服饰、交通工具,是否和提示词里的时代设定一致。如果提示词是现代都市,画面却出现石板路和木推车,直接重出。二看功能:画面里的器物是否服务于主体正在做的事。一个人在现代办公室开会,旁边摆着青花瓷花瓶可以接受,但如果背景是一整面手绘山水屏风,就该警惕。三看密度:数一下画面里出现了多少种传统符号,超过三个基本就是符号堆砌。判断核心就一句话——文化应该成为氛围,而不是成为道具。
6.2 研究者避坑:别被单一指标带偏
做这方向的研究,我踩过的最大的坑是“用偏见的工具测偏见”。审美打分器本身就是偏的,你又拿它当金标准去验证去偏效果,等于一边让病人给自己开诊断书。所以我们的所有结论都坚持三路交叉:自动打分器先跑一遍,人工标注员独立标一遍,最后由一个熟悉文化语境的成员做仲裁。如果人工和自动结果冲突,默认相信人工。
另一个常见坑是“只测符号不测时间”。很多团队做文化偏见评测只会统计某个民族服饰头饰的检出率,但时间错位和高频复读其实是更隐蔽、更影响使用的现象。我建议评测集里至少包含时间一致性这个维度,它往往能抓到符号密度抓不到的问题。最后,反事实测试一定要做,不要只跑“正例”,“教堂变东方、祠堂变西方”这种互换实验能一次性暴露模型的默认基底。
6.3 生成“有文化感但不刻板”的东方画面:一个小模板
根据上面所有经验,我总结了一套胜率较高的提示词模板,贡献出来直接抄作业。核心思路是“三层定位法”:先定时代,再定功能,最后才定文化质感。
- 时代锚(必写):
2024年、当代、星期一下午这类具体时间词 - 功能锚(必写):说明场景里的人在做什么事,越具体越好
- 文化质感的落点(克制使用):只保留一个到两个文化符号作为氛围,例如
街角有位老人用毛笔写扇面,旁边是连锁奶茶店 - 负面控制:在支持负面提示词的系统里加
传统建筑、古代服饰、石板路、云雾、灯笼(如果多余)
我拿这套方法实测了一套“现代城市里的手工艺人”系列提示词,出图明显不再有明信片感。当然它不是万能的,碰上商业化闭源系统,输出仍会有随机偏差,但至少成功率从原来的三成提到了七成以上,非常够用了。
7. 写在最后:生成模型正在替我们回答“东方是什么”
这项研究做到后期,我对模型的态度已经从不理解变成了一种警觉。模型没有立场,它只是把我们喂给它的全部素材按概率摊开。真正让我不安的是,每个人都在用这些生成图像构建自己对远方的想象。如果所有系统都告诉你“东方等于红灯笼加飞檐”,那么久而久之,这种被商业化和符号化改造过的想象就会覆盖掉真实而复杂的东方日常。我们没有能力在一次工作中彻底解决它,能做的只是把尺子递给大家,把方法摆上台面,让偏见至少可以被看见、被测量、被讨论。这也是 ACM MM 2025 上这份工作对我的最大意义——它证明了视觉生成技术评测不应该只关心“像不像”,还应该关心“它把世界简化成了什么样”。希望读到这里的你,下次看到一张完美无瑕的东方风格图像时,能多问一句:这是模型看见的东方,还是模型被允许看见的东方?