AI漫剧制作全流程:从角色LoRA训练到视频合成实战指南
2026/7/6 11:14:00 网站建设 项目流程

🚀 30+款热门AI模型一站整合,DeepSeek/GLM/Qwen 随心用,限时 5 折。 👉 点击领海量免费额度

还在为复杂的AI绘画工具和繁琐的流程头疼吗?想利用业余时间尝试制作自己的AI漫画或动态漫剧,却不知从何下手?网上教程要么门槛太高,要么步骤零散,很难形成一套完整的、可复现的工作流。

本文将为你拆解一套从零开始的AI漫剧制作全流程。不同于专业影视级制作,我们聚焦于个人创作者和爱好者,使用当前主流且易上手的AI工具,实现从“创意构思”到“成品输出”的闭环。无论你是想为小说配图、制作个人IP小故事,还是探索AIGC的新玩法,这套保姆级教程都能让你快速跑通流程,看到成果。

你将学到如何用AI生成风格统一的角色、构建连贯的场景、编写分镜脚本,并最终合成带有对话和简单动态效果的漫剧视频。我们避开复杂的代码和昂贵的硬件,专注于利用现有在线工具和开源软件,打造一套高性价比的“个人数字制片厂”方案。

1. 核心概念与工具链全景

在开始动手之前,我们需要明确几个核心概念,并搭建起整个制作流程的工具链。理解这些,能让你在后续步骤中知其然,更知其所以然。

AI漫剧:指利用人工智能技术(主要是图像生成与视频生成)辅助或主导创作的漫画或动态视频剧集。其核心优势在于能快速生成视觉素材,降低美术门槛,让创作者更专注于故事和分镜。

一个完整的AI漫剧制作流程,可以拆解为以下五个核心环节,每个环节都有对应的工具选择:

  1. 故事与脚本:确定故事大纲、人物设定和分镜脚本。这是所有创作的基石。
  2. 角色与风格定调:使用文生图AI,生成统一风格、多姿态的主角形象。
  3. 场景与分镜生成:根据脚本,批量生成符合情节的各个场景画面。
  4. 对话与排版:为画面添加对话框、文字和特效,形成静态漫画页。
  5. 动态化与合成:将静态漫画转化为带有镜头移动、简单动画和配音的动态视频。

工具链选择(平民友好版)

  • 脚本与分镜:Notion、飞书文档、Word(任何你熟悉的文本工具)。
  • AI图像生成Stable Diffusion WebUI(开源本地部署)Midjourney(在线服务)。本文将以Stable Diffusion(SD)为主进行讲解,因为它免费、可定制性强,适合深度控制。
  • 统一角色面容:SD的LoRA(Low-Rank Adaptation)模型。这是保证角色一致性的关键技术。
  • 图像后期处理PhotoshopGIMP(开源)、或Krita,用于抠图、排版、加文字。
  • 视频合成与动效剪映专业版CapCut,它们对中文友好,内置大量动画、转场和语音合成功能。
  • 辅助工具Upscayl(图片超分辨率放大),Whisper(语音识别,用于对口型可选)。

2. 环境准备与工具部署

工欲善其事,必先利其器。本节将详细介绍核心工具——Stable Diffusion WebUI的本地部署,这是整个流程中最具技术性的一步,但一旦完成,后面将一马平川。

2.1 硬件与基础软件要求

  • 操作系统:Windows 10/11, macOS 或 Linux。Windows用户最多,教程资源最丰富。
  • 显卡(GPU)这是最关键的部分。推荐NVIDIA显卡,显存至少6GB(如RTX 2060, 3060),8GB或以上(RTX 3070, 4060, 4070等)体验更佳。显存越大,生成图片的速度越快、分辨率越高。AMD显卡和苹果M芯片支持较复杂,新手建议从N卡开始。
  • 存储空间:至少预留20GB可用空间,用于安装程序、基础模型和生成图片。
  • Python:SD WebUI安装包通常会自带或自动安装所需版本。

2.2 安装Stable Diffusion WebUI(Windows)

我们使用最流行的一键安装包,极大降低部署难度。

  1. 安装Git:访问 Git官网 ,下载并安装Git。安装时一路默认选项即可。
  2. 下载SD WebUI一键安装包
    • 推荐使用stable-diffusion-webui项目。你可以通过Git克隆,但对于新手,更推荐下载整合包。可以在国内一些AI社区(如秋叶aaaki的B站空间或相关论坛)找到打包好的整合包,通常已包含常用插件和基础模型。
    • 重要:确保下载来源可靠。一个常见的整合包发布地址是网盘,搜索“秋叶启动器”或“Stable Diffusion整合包”可以找到。
  3. 解压与运行
    • 将下载的整合包解压到一个英文路径的文件夹,例如D:\sd-webui
    • 进入该文件夹,找到启动器A启动器.exe文件,双击运行。
    • 首次运行,启动器会进行环境检测和依赖安装,这可能需要一段时间,请保持网络通畅。
  4. 启动WebUI
    • 在启动器界面,点击“一键启动”。等待命令行窗口运行完毕,当出现类似Running on local URL: http://127.0.0.1:7860的信息时,表示启动成功。
    • 打开浏览器,访问http://127.0.0.1:7860,你将看到Stable Diffusion的Web操作界面。

2.3 获取基础模型与LoRA

WebUI只是一个空壳,需要“大脑”才能生成图片,这就是模型。

  1. 下载基础大模型
    • 在启动器内置的“模型管理”标签页,或访问CivitAI、HuggingFace等模型网站,下载一个适合动漫风格的Checkpoint模型。对于漫剧,推荐:
      • Counterfeit-V3.0:非常优秀的动漫风格模型,细节好。
      • Anything-V5:经典的动漫模型,泛化能力强。
    • 下载的模型文件(.safetensors.ckpt)放入sd-webui/models/Stable-diffusion目录下。
  2. 下载LoRA模型
    • LoRA是小模型,用于微调风格或固定角色。在CivitAI等站搜索“character LoRA”、“style LoRA”。
    • 下载的LoRA文件(.safetensors)放入sd-webui/models/Lora目录下。
  3. 刷新模型列表:回到WebUI界面,点击左上角“Stable Diffusion 模型”旁边的刷新按钮,就能看到你刚放入的模型了。

3. 核心工作流拆解:从角色到分镜

环境就绪后,我们进入核心创作环节。本节将分步详解如何生成统一角色和连贯场景。

3.1 第一步:角色设计——训练你的专属LoRA

要让AI在无数画面中画出同一个“人”,我们需要训练一个代表该角色的LoRA。

准备工作

  • 准备约20-30张目标角色的图片。可以是:
    • 你手绘的设计稿(扫描或拍照)。
    • 用SD初步生成的、你满意的同一角色多角度图。
    • 同一动漫角色的官方截图(注意版权,仅用于个人学习)。
  • 图片要求:面部清晰,表情、角度、发型、服饰尽量多样,背景简单为佳。分辨率建议512x512或768x768。

训练步骤(使用WebUI内置的Dreambooth扩展)

  1. 安装扩展:在WebUI的“扩展”标签页,点击“可用”,加载列表,找到“Dreambooth”扩展并安装。重启WebUI。
  2. 准备数据集
    • sd-webui目录下新建train/角色名文件夹。
    • 在里面再新建一个文件夹,例如100_角色名(100代表训练步数相关,可自定义),将你的20-30张图片放入。
    • 对每张图片,用简单的文本描述其内容,保存为同名的.txt文件(例如image1.jpg对应image1.txt),描述词如a photo of zhaoliyuan, black hair, red eyes, school uniform。这里zhaoliyuan是你给角色定义的触发词。
  3. 配置训练
    • 进入“Dreambooth”标签页,创建新模型。
    • “模型名称”填你的角色名。“源模型”选择你下载的动漫基础模型(如Counterfeit)。
    • “训练数据目录”指向你刚创建的100_角色名文件夹。
    • “概念名称”和“触发词”都填zhaoliyuan
    • 其他参数(学习率、步数)新手可先用默认值。设置一个较小的步数(如1000)先试跑。
  4. 开始训练:点击“训练”。这个过程耗时较长(几十分钟到几小时),取决于你的图片数量和显卡性能。训练完成后,会在sd-webui/models/Lora目录下生成你的角色LoRA文件。

3.2 第二步:生成角色定妆照

训练好LoRA后,就可以用它来生成角色在各种场景下的图片了。

  1. 加载模型与LoRA:在文生图(txt2img)页面,选择你的基础模型(如Counterfeit)。在提示词中,加入你的LoRA触发词,格式为<lora:你的角色LoRA文件名:权重>,例如<lora:zhaoliyuan_v1:0.8>。权重通常从0.7开始尝试。
  2. 编写提示词(Prompt)
    • 正向提示词(masterpiece, best quality), 1girl, zhaoliyuan, standing in a classroom, looking out of the window, sunlight, school uniform, detailed eyes。注意触发词zhaoliyuan必须包含。
    • 负向提示词(worst quality, low quality:1.4), monochrome, zombie, (bad hands, bad fingers:1.2)。用于排除低质量和常见缺陷。
  3. 调整参数并生成
    • 采样方法(Sampler):DPM++ 2M Karras 或 Euler a。
    • 采样步数(Steps):20-30。
    • 分辨率(Width/Height):根据你的需求设置,如 512x768(竖版)。
    • 点击“生成”,多试几次,调整提示词和权重,直到得到满意的角色定妆照。

3.3 第三步:批量生成场景分镜

有了稳定的角色,就可以根据脚本批量生成不同场景了。关键在于通过提示词精确控制场景和角色动作。

技巧:使用动态提示词和脚本

  1. 制作分镜表:在Excel或文本中列出每个镜头的描述。
    镜头号场景描述角色动作提示词关键词
    1教室,傍晚主角坐在桌前看书zhaoliyuan, sitting at desk, reading a book, classroom, evening, sunset glow
    2学校天台,白天主角仰望天空zhaoliyuan, on rooftop, looking up at the sky, cloudy day, school building
  2. 使用“文生图”页面的“脚本”功能
    • 选择“提示词矩阵”或“从文件或文本框读取提示词”。
    • 将你的分镜提示词列表粘贴进去,每行一个。
    • 设置好批次(Batch count),SD就会自动按顺序生成所有场景图。
  3. 保持一致性
    • 在所有场景提示词中,固定种子(Seed)对角色一致性帮助不大,因为场景变了。此时,固定LoRA模型和权重,以及使用相同的基础模型和VAE,是保持画风一致的关键。
    • 可以生成一批后,挑选最符合的,将其“种子”固定,用于生成该场景下的微调变体。

4. 完整实战案例:制作一个30秒的漫剧开场

让我们通过一个具体例子,将上述流程串联起来,制作一个名为《放学后的约定》的漫剧开场片段。

4.1 故事脚本与分镜设计

故事梗概:放学后,女主角小圆在空教室等待,回忆起与男主角昨天的约定。

分镜设计

  1. 镜1(全景):夕阳下的教学楼,暖色调。
  2. 镜2(中景):空教室,阳光透过窗户洒在课桌上。
  3. 镜3(特写):小圆(我们的角色)侧脸,看着窗外,眼神期待。
  4. 镜4(闪回/记忆画面):昨天,男主角在楼梯口叫住小圆(画面稍作虚化处理)。
  5. 镜5(回到现实):小圆低头微笑,握紧手中的纸条。

4.2 生成分镜图片

假设我们已经训练好了名为xiaoyuan的角色LoRA。

  1. 镜1生成
    • 提示词:(masterpiece, best quality), beautiful sky, sunset, school building exterior, anime background, warm lighting, no people
    • 模型:Counterfeit-V3.0, 无需加载角色LoRA。
    • 生成一张风景图。
  2. 镜2-镜5生成
    • 切换到文生图,加载xiaoyuanLoRA。
    • 镜2提示词(masterpiece, best quality), <lora:xiaoyuan:0.8>, empty classroom, sunlight through window, dust in the air, desks and chairs, quiet
    • 镜3提示词(masterpiece, best quality), <lora:xiaoyuan:0.8>, close-up, looking out of window, expecting look, sunlight on face, hair fluttering
    • 镜4提示词(masterpiece, best quality), <lora:xiaoyuan:0.8>, flashback, blurry effect, at staircase, talking to a boy (blurry), school uniform
    • 镜5提示词(masterpiece, best quality), <lora:xiaoyuan:0.8>, smiling, looking down, holding a note in hand, in classroom
    • 使用相同的采样方法和步数,批量生成这4张图。如果对某张不满意,单独调整重生成。

4.3 后期排版与对话添加

将生成的5张图片导入Photoshop或GIMP。

  1. 构图裁剪:根据视频比例(如9:16竖屏)裁剪每张图片。
  2. 添加对话框:使用形状工具绘制经典漫画气泡对话框。
  3. 添加文字:使用文字工具,在对话框内写上台词。字体选择清晰易读的圆体或黑体。
    • 镜3:“他…会来吗?”
    • 镜4(记忆):“明天放学后,教室见。”
    • 镜5:“嗯!”
  4. 导出:将每张处理好的图片导出为PNG格式,命名为scene_01.png,scene_02.png……

4.4 视频动态化合成

打开剪映专业版。

  1. 导入素材:将5张PNG图片和背景音乐导入素材库。
  2. 组建时间线:按顺序将图片拖入视频轨道,每张图片持续时间设置为3-6秒。
  3. 添加动画
    • 镜1:添加一个缓慢的缩放推进(Zoom in)效果,模拟镜头拉近教学楼。
    • 镜2:可以添加轻微的“摇摆”缩放,营造回忆感。
    • 镜3:在角色特写时,可以添加一个轻微的“渐显”效果。
    • 镜4:使用“模糊”滤镜开场,然后清晰,再模糊消失,模拟闪回。可以整体调色为偏黄或降低饱和度以区分现实。
    • 镜5:添加一个简单的“渐亮”光效在纸条上。
  4. 添加字幕与配音
    • 使用剪映的“文本”功能,在对应画面添加台词字幕。可以调整入场动画(如打字机效果)。
    • 使用剪映的“音频”-“智能配音”功能,选择合适的AI音色,为台词配音。将配音音频对齐字幕。
  5. 添加背景音乐与音效:找一首舒缓的钢琴曲作为BGM,在关键点(如闪回)添加简单的音效(如风声、心跳声)。
  6. 导出视频:设置分辨率为1080x1920(竖屏),帧率30,码率推荐更高一些以保证清晰度,导出最终视频。

至此,一个包含完整流程的30秒AI漫剧开场片段就制作完成了。

5. 常见问题与排查思路

在实践过程中,你一定会遇到各种问题。下表汇总了高频问题及其解决方案:

问题现象可能原因解决思路
WebUI启动失败,报错CUDA out of memory显卡显存不足。1. 在启动器设置中降低--medvram--lowvram参数。
2. 生成图片时降低分辨率(如从768降到512)。
3. 关闭其他占用显存的程序。
生成的图片模糊、扭曲、多手多脚提示词不精确,或模型/VAE不匹配。1. 强化负向提示词:(bad hands, bad fingers, mutated hands, poorly drawn hands)
2. 尝试不同的采样方法(如Euler a)和步数(增加到30)。
3. 检查是否使用了正确的VAE文件(在Settings > Stable Diffusion > VAE 中选择)。
角色面容不一致,每次生成都像不同的人LoRA训练数据不足或质量差;提示词中未正确触发。1. 检查训练集图片是否足够(20+张),且特征清晰统一。
2. 在生成时,确保提示词中包含<lora:文件名:权重>格式,且权重适中(0.7-1.0)。
3. 尝试使用“ADetailer”等面部修复插件。
生成的场景构图总是很奇怪提示词描述过于笼统,AI自由发挥空间太大。1. 使用更具体的构图词汇:cowboy shot(牛仔镜头),from above(俯视),from behind(从背后)。
2. 使用ControlNet插件(需额外安装),通过草图或深度图严格控制构图。
视频合成后画面闪烁、不连贯静态图片之间切换生硬,缺乏动态衔接。1. 在剪映中为图片之间添加“叠化”、“模糊”等转场效果。
2. 对单张图片使用“关键帧”动画,制造缓慢的推拉摇移效果。
3. 考虑使用AI视频生成工具(如Pika、Runway)为单张图生成细微动态,再合成。

6. 进阶技巧与最佳实践

当你跑通基础流程后,以下技巧能显著提升作品质量和制作效率。

6.1 利用ControlNet实现精准构图

ControlNet是SD的“神级”插件,能让你用草图、姿势图、深度图等精确控制生成结果。

  • 安装:在WebUI的“扩展”中搜索“ControlNet”并安装。
  • 用法:以姿势控制为例,先找一张或生成一张你想要的姿势图。在文生图页面下方打开ControlNet,上传姿势图,预处理器选“openpose”,模型选“control_v11p_sd15_openpose”,然后生成。AI就会严格按照这个姿势来生成你的角色。

6.2 建立可复用的风格与模板

  • 风格LoRA:除了角色LoRA,你还可以训练或下载“画风LoRA”,如“水墨风”、“吉卜力风格”、“胶片质感”等。在生成时同时加载角色LoRA和风格LoRA,能快速统一全片视觉基调。
  • 提示词模板:将你常用的高质量正向/负向提示词保存为文本模板。例如,一个通用的高质量动漫提示词模板:
    (masterpiece, best quality, ultra-detailed), [你的场景描述], [你的角色描述], beautiful detailed eyes, (detailed background), cinematic lighting
  • 剪映工程模板:将你常用的字幕样式、转场效果、BGM段落保存为剪映的“预设”或“草稿”,在新项目中直接复用。

6.3 工作流优化与资产管理

  • 文件管理:建立清晰的文件夹结构。例如:
    /我的AI漫剧项目 /01_脚本与分镜 /02_原始素材 /角色训练集 /场景参考图 /03_AI生成图 /镜1_校门 /镜2_教室 ... /04_后期素材 /已排版图 /配音音频 /05_视频工程 /06_成品输出
  • 版本控制:在生成图片时,SD WebUI可以自动将提示词等信息写入图片的PNG Info中。务必保留这些原始生成图,方便后期回溯和调整。
  • 迭代思维:不要追求一次生成完美图片。先生成一批,挑选最好的,然后用“图生图”(img2img)功能,以选中的图为基底,微调提示词或使用重绘(Inpainting)局部修改,逐步优化。

跑通AI漫剧的流程,只是创作之旅的开始。这套方法的核心价值在于,它将你从繁重的重复性绘画劳动中解放出来,让你能更专注于故事本身、分镜设计和情感表达。AI是强大的辅助画笔,而你才是那个执笔的导演。

接下来,你可以尝试更复杂的故事线,设计多角色互动(为每个角色训练LoRA),探索不同的视觉风格,甚至结合3D背景或实拍素材进行混合创作。技术的门槛正在迅速降低,创意的天花板才是真正的极限。

🚀 30+款热门AI模型一站整合,DeepSeek/GLM/Qwen 随心用,限时 5 折。 👉 点击领海量免费额度

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询