1. 为什么 Wan2.2 在四月份成了视频生成圈子里的高频词
做 AI 视频生成的朋友应该都有这种感觉,从去年到今年,几乎每个月都有新模型冒出来,但真正能让人停下来认真测一测的并不多。Wan2.2 这个版本出来的时候,我一开始也没太当回事,觉得无非是常规迭代。结果四月份前后,不管是搞短视频量产的工作室,还是做个人创作工具的独立开发者,都在反复讨论它,核心焦点基本都集中在两个字上:可控。
什么是可控?用过视频生成模型的人应该深有体会,早期版本最大的问题就是“开盲盒”。你给它一句“一只猫在窗台上看雨”,它可能给你生成一只猫,但也可能生成一只长着猫耳朵的怪物,更关键的是,镜头怎么动、画面里有哪些元素、氛围是什么,完全不受你控制。这在短视频生产里是致命的,因为创作者需要的是可复用的工作流,而不是碰运气。
Wan2.2 这一代在提示词理解上做了不少改动,尤其是对“相机运动”和“镜头变化”的描述敏感度明显高了。我在实际测试里最直观的感受是,它能比较准确地理解“推近”“拉远”“环绕”“仰拍”这类运镜指令,而且能在同一个镜头内保持主体相对稳定。这意味着什么?意味着你不再需要把一段视频拆成十几个关键帧去后期补,可以用提示词直接表达镜头语言。
这篇内容更适合三类人来看。一类是正在做短视频、视频号、B 站内容,想把 AI 视频生成纳入生产流程的创作者;一类是搞 AI 工具集成的开发者,想把 Wan2.2 接进自己的项目;还有一类就是单纯对视频生成模型感兴趣,想搞清楚“提示词到底该怎么写才能生成我想要的视频”的玩家。
我下面写的所有内容,都不是从官方文档里抄出来的参数说明,而是我在这段时间里实际跑项目、调提示词、处理各种报错时攒下来的经验。有一些结论可能和其他人的测试感受不太一样,那就以你自己的实际结果为准,毕竟模型这东西,不同输入、不同参数跑出来的东西差异很大。
2. 提示词工程实战:把一句话扩展成完整的镜头脚本
2.1 为什么提示词写不好,视频就一定会翻车
在说具体写法之前,我得先讲清楚一个底层逻辑。视频生成模型的提示词理解,和文本生成模型的逻辑并不一样。文本模型是逐个 token 预测下一个词,视频生成模型要做的则是“从噪声中渐进地构造出符合文字描述的画面序列”。这意味着,你给它的提示词里,每一个名词、动词、形容词,都对应着画面里的某个视觉元素或动作关系。字多了它不一定能全部兼顾,但字少了、写模糊了,它就一定会自己“脑补”。
一个很典型的例子。你写“a man walking”,Wan2.2 可能会生成一个男人在纯色背景里走路,看起来像未完成的动画草稿。你写“a man walking on a rainy street at night, neon signs reflecting on wet asphalt, cinematic lighting, medium shot”,它就能在画面里把这些元素都编排出来,镜头感也完全不同。这不是玄学,是提示词里包含的视觉信息量直接决定了模型采样时的约束条件。
所以我建议所有想认真用 Wan2.2 的人,先把自己的提示词从“句子”升级成“镜头脚本”。所谓镜头脚本,就是按照视觉元素来组织语言:
- 主体:谁/什么在画面里,尽量具体(“一只戴红色围巾的企鹅”好过“一个动物”)。
- 场景:在哪里,环境氛围是什么(“堆满积雪的北极小镇清晨”好过“雪地”)。
- 动作:主体在做什么,运动幅度大不大。
- 镜头语言:景别(全景/中景/近景/特写)、运镜方向(推、拉、摇、移、跟、环绕)。
- 光线与色调:自然光/霓虹光/暖黄光/冷蓝调、电影感/纪录片感。
- 画质关键词:4K、8K、cinematic、detailed、sharp focus 这类词可以提升初看质感。
上面这个结构,是我把大量成功案例和失败案例对比之后总结出来的。不一定要六项全写,但至少前三项必须明确,否则生成结果会非常飘。
2.2 中文提示词和英文提示词,到底用哪个?
关于这个问题,网上说法很多,我的实测结论是:Wan2.2 对中文语义的理解能力已经相当在线,但如果你追求稳定,英文提示词仍然更省心。原因不复杂,此类模型在预训练阶段爬取的数据里,英文占比天然更高,中文语料虽然在补,但数量级还有差距。同样的意思,用英文写出来的文本特征空间里更“稠密”,模型更容易对齐到具体的视觉概念。
举个例子,我用中文写“一位穿汉服的女子站在桃花树下,风吹过,花瓣飘落,镜头慢慢环绕她”,生成出来的画面整体氛围对,但花瓣数量、环绕轨迹会有一定随机性。改成英文“a woman in Hanfu standing under a peach blossom tree, wind blowing, petals falling slowly, camera slowly orbiting around her”,画面元素就稳定很多,花瓣飘落的方向和镜头环绕的路径都比较符合预期。
这里有个小技巧:如果你用中文写提示词,最好把语义具体化,避免过于抽象的形容词。比如“美”“壮观”这类词模型很难量化,你说“阳光透过云层形成光束照在雪山顶峰”,它就明确多了。另外不要混写,中文和英文夹在一起容易让模型困惑,优先选择一种语言整句表达。
2.3 负面提示词的正确用法
Wan2.2 是支持负面提示词的,这是它在可控性上一个很大的加分项。很多人不知道的是,负面提示词的权重比你想象中高。你如果不写,模型会把常见的畸形结果概率压到较低水平,但并不能完全排除;你写了,它就能更主动地避开那些你最不想要的特征。
我整理了一份实际运行中比较有效的负面提示词模板:
- 画质类:blurry, low quality, worst quality, distorted, warped
- 人物类:extra fingers, deformed hands, bad anatomy, crossed eyes
- 动态类:jittery, flickering, morphing, ghosting, unnatural motion
- 杂质类:watermark, signature, text, logo, frames
注意一个细节:负面提示词不是越多越好,写太多反而可能和正面描述冲突,导致画面僵硬或元素丢失。我建议把重点放在 2-3 个高频问题上,其余靠采样参数去解决。
还要提醒一句,如果生成人物视频,手部、面部这些细节在快速运动下仍然可能出现瑕疵,负面提示词只能降低概率,不能根除。真要用于商业项目,还是要有后期修帧的心理准备。
3. 多镜头视频生成与运动控制:这才是 Wan2.2 的核心卖点
3.1 从单镜头到多镜头,一次生成一段完整叙事
以前用视频生成工具做一条 15 秒的片子,往往要分 5-6 次生成,然后剪辑、调色、对齐,而且不同片段里的人物外观、场景光线很难保持一致,经常穿帮。Wan2.2 这一代让我比较惊喜的地方,是它开始支持“多镜头视频”的生成逻辑。
所谓多镜头,简单说就是你在提示词里描述多个连续的镜头内容,模型会尝试生成一段在时间和空间上连续的视频,而不是单独抽帧拼凑。我在测试项目里设计过这样一组描述:
镜头 A:全景,清晨的老街,薄雾尚未散去,三轮车缓缓驶过,停在包子铺前。 镜头 B:中景,店主掀开蒸笼,热气涌出,他抬头看向镜头方向。 镜头 C:近景,一位顾客接过用油纸包好的包子,手指触碰纸面时微微停顿。
这段描述放到提示词里,生成出来的视频确实能看出镜头切换的痕迹,而且角色的连续性保持了相当高的水平。当然,这里的“镜头切换”不是切片式硬切,更像是一种流场迁移式的过渡,但作为创作者,我已经能在这个基础上做二次剪辑。
如果你想让多镜头的叙事更紧密,建议在镜头 A/B/C 之间加入一些共同元素,比如同一个人物、同一个标志性物体、相似的光线色调。这相当于给模型提供了视觉线索,让它在生成后续镜头时会参考前面的上下文。
3.2 运镜控制的幅度与风格
运镜是 Wan2.2 提示词里我花最多时间实验的部分。先说结论:它对“运动类型”的识别比较准,但对“运动幅度”的控制相对粗一些。
我试过几组常见运镜指令:
- 推近/拉远:dolly in / dolly out
- 环绕:orbit / rotate around
- 平移:pan left / pan right
- 升降:tilt up / tilt down
- 跟拍:following shot
其中环绕和推近的识别成功率最高,可能是因为训练数据里有大量电影镜头的标注。而你如果写“slowly push in”,模型通常可以理解为缓慢推近;但写“fast push in”时,画面不是变快,而是容易出现运动模糊和主体变形。运动幅度的控制,更有效的办法是在抽帧数或运动强度参数上做调整,而不是单纯靠自然语言强求。
我在测试中发现一个对实践很有用的规律:静态场景加缓推,动态场景加固定镜头,生成质量最稳。也就是说,如果画面里人物已经在剧烈运动,你就别再给镜头加复杂运镜了,否则模型会在“主体运动”和“镜头运动”之间打架,结果常常是残影遍地。反过来,画面很静止的情况下加一个缓慢推近,反而能制造明显的电影气氛。
3.3 用首尾帧和参考图来约束画面
虽然 Wan2.2 的提示词可控性提高了,但纯文字仍然有一些说不清的地方,比如“这个人的服装是红白条纹加圆点”,文字描述容易歧义。这时候我建议用首尾帧或参考图来补充约束。
实操流程大概是这样的:先用其他工具生成一张满意的参考图,或者在视频平台上传一张起始帧,再配合提示词描述“从这个画面开始,镜头逐渐拉开,人物走进画面”。这样做的好处是人物外貌、场景构图都被图像锚定了,提示词只需要负责描述运动和变化即可。
首尾帧的用法需要注意:起始帧和结束帧的画面差异不要太大,否则中间过程会出现难以控制的形变。你可以先在首尾帧之间用图像编辑工具生成 5-10 个中间帧,再做渐进式生成,效果会稳定得多。
4. 本地接入和调用过程中的那些坑,能避一个是一个
4.1 环境准备的第一道坎:显存和依赖库
如果你打算本地跑 Wan2.2,第一步就要面对现实问题:显存。Wan2.2 完整权重对显存的需求非常高,我测试时用的是一张 4090(24GB),在 fp16 精度、标准分辨率下还会出现接近 OOM 的情况。如果你是 8GB、12GB 显存的机器,不要硬刚完整精度,老老实实用量化版本或者云服务。
依赖库方面,我的建议是先看清项目要求,别盲目装最新版。PyTorch 版本、CUDA 版本、transformers 的版本,有时候差一个小版本号就会报奇怪的错误。我踩过一个比较典型的坑:transformers 更新到某个新版本之后,官方提供的推理脚本直接报 attribute error,后来回滚版本才恢复正常。所以在正式跑之前,建议把环境固定成一个经过验证的组合,不要频繁升级。
4.2 模型下载与权重格式的坑
Wan2.2 这种规模的模型,权重文件动辄几十 GB,没有稳定的带宽,下载本身就是折磨。而且很多时候你下载到一半中断了,再继续下载需要用 sha256 校验一下,否则文件损坏后加载时会出现神秘报错,比如 KeyError 或者 missing keys。
如果你用 Hugging Face 的方式下载,权重通常会自动按目录结构放好;如果你用部分国内镜像源,要注意文件路径可能被重命名,脚本里的路径也要跟着调整。我建议下载完后先跑一遍验证脚本,确认权重能正常加载再进入下一步,不要在加载阶段反复浪费时间。
另一个经验是优先使用已经量化好的版本做测试。量化版本在画质上会有轻微损失,但换来的是显存占用大幅下降,生成速度反而更快。验证完效果之后,再决定是否需要上高精度版本做最终输出,这个性价比思路对个人创作者来说非常关键。
4.3 分辨率、帧数和采样参数的常规选择
Wan2.2 对输入输出尺寸有比较严格的要求,不是随便传一个分辨率就能跑。常见的问题包括宽高比不是 16 的倍数、帧数超出了模型支持范围、提示词长度超过上限等,这些都会在启动时报错。
从我的测试看,在默认配置下,768 或 832 分辨率配合 5 秒左右的时长是比较稳的选择。如果你想要 9:16 竖屏,注意宽高比的设定不是在提示词里写一句“vertical video”就行的,而是要在参数里把帧尺寸设置成对应的 768x1344 之类的规格。这里有个容易被忽略的地方:改了分辨率之后,采样步数最好也调整一下,分辨率越大,推荐的步数越多,色块和噪点才会更少。
运动强度参数这种东西,如果模型或前端界面提供了,那就按照你画面里主体运动的剧烈程度来设。画面比较安静就设小一点,画面是奔跑、打斗、风吹树叶这类就适当调大。注意,运动强度太大会导致形变,太小会让画面像静止图片,需要反复调几次找到合适的区间。
4.4 最常见的报错:OOM 和 torch 相关问题
本地调用 Wan2.2 最常见的报错肯定绕不开 CUDA out of memory。遇到这个问题,先别急着换显卡,检查三样东西:一是其他程序是否占用了显存;二是 batch size 或并行配置是否设得太大;三是模型是否真的被加载到了 GPU 上而不是 CPU。有时候模型参数文件默认加载到 CPU,再搬运到 GPU,瞬间显存翻倍,就爆了。
还有一个高频问题是不支持半精度(half precision)。有些老一点的 GPU 或者部分虚拟化环境下,fp16 是没法用的,需要显式切换到 fp32,代价是显存占用更高。如果你发现加载 fp16 权重后张量类型报错,就检查一下设备是否支持半精度计算。
5. 和其他工作流对比:Wan2.2 到底适合放进哪条生产线
5.1 对比传统逐帧生成 + 后期拼接
过去我做一个带连续动作的视频片段,通常的做法是生成多个静态关键帧,然后在编辑软件里加缩放、位移、过渡效果,模拟出运动感。这个方式的优点是可控性极高,每一个画面都是确定的;缺点是耗时巨大,而且对于液体、布料、头发这类自然元素的动态模拟几乎无能为力。
Wan2.2 这种端到端视频生成模型,直接把这个过程压缩成了提示词和参数。它在水的流动、烟雾扩散、人群移动这类“自然动态”上做得非常逼真,而这些恰恰是纯关键帧方案完全搞不定的。但它的代价是单次生成结果难以精确调控,你只能通过抽卡、反复调提示词来接近目标效果。我的判断是,两者不是替代关系,而是互补关系:需要精确构图和品牌元素固定时,用传统关键帧;需要真实物理感和镜头语言时,用 Wan2.2 打底,再后期叠加。
5.2 横向对比几个同类模型的个人体验
现在能做视频生成的大模型不少,我简单说下和 Wan2.2 对比后的一些主观感受,尽量不指名道姓,只讲维度。
- 可控性:Wan2.2 在相机运动和中文语义理解上的表现,在我用过的几个模型里算第一梯队。它对运镜的把握尤其突出,其他模型可能在画面质感上更讨喜,但镜头语言就没那么听话了。
- 生成质量:Wan2.2 的画面质感属于真实且偏电影感的风格,在人物面部细节上比较稳。但如果你追求极度超写实或者特定动画风格,可能需要额外加风格化提示词。
- 生成速度:这取决于硬件和量化方案,我的测试环境里生成 5 秒 768p 的视频,耗时基本可以接受,但和轻量级的开源模型比肯定更重。
- 成本:显存需求高,意味着你必须有一块像样的显卡或者准备用云服务,入门成本明显高于普通图像生成模型。
5.3 我的工作流参考:一次完整的短视频生产链路
最后把我目前比较常用的一条生产链路分享出来,你可以直接照着搭。
第一步,先写镜头脚本,确定整条视频要表达的情绪和叙事情节。第二步,用图像生成工具配合提示词做出关键帧参考图,尤其是人物、场景、构图。第三步,把参考图和 Wan2.2 提示词结合,生成分镜头视频片段。第四步,在编辑工具里把多段视频拼接起来,调整节奏和转场。第五步,如果个别片段出现手部、形变类瑕疵,使用局部修复或者剪掉重拍的方式处理。第六步,配乐、调色、字幕输出成片。
这套流程相比纯手工逐帧做的效率提升非常明显,一条 20 秒的短视频大概两天能出成品,放在以前可能要一周半。
6. 最后想说的几条实在话
从我这段时间的应用体验来看,Wan2.2 最大的价值不是“生成一个看起来像视频的动图”,而是把视频生成从玩具级别往前推了一步,让它真正有可能进入内容生产的流水线。但你也别抱有不切实际的期待,它仍然是一个概率模型,一次生成只是对提示词的一种可能诠释,而不是精确执行。项目排期紧张的时候,千万别把宝压在“多试几次一定成功”上,要为抽卡预留时间,或者准备一个 B 计划。
最后说一个我个人的操作习惯,不知道对别人有没有用,但对我来说挺管用:每次都把调试好的正向提示词和负面提示词,连同生成参数一起存成一个小配置文件,盖上日期和注释。这样即使过了一个月你要回炉重做某个片子,也不需要重新猜参数。生成视频这个事,经验是越积累越能出效果,记录就是最基础的经验管理。
另外还是提醒一句,用 Wan2.2 开工前,先想清楚使用场景的边界。不要拿别人的肖像、有版权的角色去做不合规的内容,也不要把模型生成的结果直接包装成自己原创拿去恶意用途。技术是工具,怎么用取决于人,控制好自己的边界,往回做点正经的东西,这条路才能走远。