企业官网建设流程全解析

• 人工智能
• 媒体生成
• 模型量化
• 深度学习
• 模型推理服务

MOSS-Image-SFT-FP8 是一款支持用 JSON 精确控制文字位置与物体排布的文本转图像模型，本教程带你完整走通 MOSS-Image-SFT-FP8 的 Layout-to-Image（布局控制生图）流程：从环境安装、编写 JSON 布局，到一条命令生成 1024×1024 图像。

什么是 Layout-to-Image：为什么用 JSON 描述画面

普通文生图像"扔一句话碰运气"——物体出现在哪、文字写在哪，你都无法指定。MOSS-Image 系列除了自然语言提示词和 tag 序列，还支持第三种提示形式：JSON 布局（layout），可以明确写出：

• summary.caption：画面整体描述（场景摘要）
• items：元素列表，每项包含内容描述与边界框（bbox）
• 边界框统一使用bbox_format: "yxyx"与bbox_coord_space: "abs_centralized"，即[y_min, x_min, y_max, x_max]顺序、以画面中心为原点的绝对像素坐标

这种结构化描述让"文字放在左上角便签上、果盘放右下角"变得可复现、可调整、可批量。功能定义详见 README.md#L164-L177。

认识 MOSS-Image-SFT-FP8：3 个关键信息

本仓库是 OpenMOSS 团队 MOSS-Image-SFT 的FP8 / INT8 量化版（由 unsloth 制作），架构为 5.1B 扩散 Transformer：

• 架构与管线定义：transformer/config.json、model_index.json
• 权重文件：transformer/（bf16）、MOSS-Image-SFT-INT8-ConvRot.safetensors（推荐量化）、MOSS-Image-SFT-FP8.safetensors
• 其他组件：text_encoder/、tokenizer/、vae/
• 采样器参数（Shift=5 等）：scheduler/scheduler_config.json

其中 INT8-ConvRot 权重对 bf16 的平均 LPIPS 仅 0.058（FP8 为 0.163），图像差异几乎不可见，是显存紧张时的首选。

环境准备：一行安装命令与模型下载

硬件：需要支持 CUDA 的 NVIDIA GPU；软件：Python 3.10+、PyTorch 2.9+。

安装依赖：

pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

下载模型仓库：

git clone https://gitcode.com/hf_mirrors/unsloth/MOSS-Image-SFT-FP8

💡 两个硬性限制：MOSS-Image不支持 float16（仅 bf16 / fp32）；transformers必须为 5.3 或更高版本。

JSON 布局格式详解：字段与坐标系

JSON 布局就是作为 prompt 传入的，核心结构如下：

{ "summary": { "caption": "A whiteboard with three sticky notes on an office wall" }, "bbox_format": "yxyx", "bbox_coord_space": "abs_centralized", "items": [ { "caption": "a yellow sticky note with handwritten Chinese text '记得买牛奶和鸡蛋'", "bbox": [-380, -420, -180, -220] }, { "caption": "a silver refrigerator handle, bottom-right of the frame", "bbox": [150, 260, 420, 480] } ] }

坐标系两个要点：

1. 先 y 后 x：顺序为[y_min, x_min, y_max, x_max]；
2. abs_centralized以画面中心为原点——负值表示偏左/偏上，正值表示偏右/偏下；1024×1024 画幅下坐标大致落在 -512 ~ 512 之间。

完整示例：8 行代码生成布局图像

核心思路：用json.dumps(layout, ensure_ascii=False)把布局序列化成字符串，作为 prompt 传给管线：

import json import torch from diffusers import DiffusionPipeline pipe = DiffusionPipeline.from_pretrained( "./MOSS-Image-SFT-FP8", # 本地模型目录 custom_pipeline="pipeline_moss_image", trust_remote_code=True, torch_dtype={"default": torch.bfloat16, "vae": torch.float32}, ) pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config) pipe.to("cuda") image = pipe( json.dumps(layout, ensure_ascii=False), # JSON 布局即 prompt height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=[22], generator=torch.Generator("cpu").manual_seed(42), ).images[0] image.save("layout_result.png")

参数接口定义见 pipeline_moss_image.py#L339-L345，该管线代码也可复制到任意项目中独立使用。

不想写代码：在 Gradio 界面中，直接把 JSON 粘贴到 Prompt 输入框，并把图像尺寸设为与布局匹配的数值即可。

采样参数推荐：50 步、CFG 3

官方默认参数就是参考工作流的调优结果，建议首次生成先原样使用：

固定随机种子（manual_seed）可以让同一布局反复生成同一张图，方便调试坐标。

从生成到编辑：改布局，画面跟着变

Layout-to-Image 的价值不止于"生成"，更在于结构化编辑：

• 📝 修改某项的caption→ 替换画面中的文字内容
• 📦 平移某项的bbox→ 只移动元素位置，其他内容保持不变
• ➕ 增删items→ 增加或移除画面元素

这让海报、便签、UI 稿的迭代变成"改 JSON → 重新生成"的闭环，比反复改写自然语言提示词稳定得多。官方法线也计划在此之上构建更友好的布局编辑工具。

常见问题 FAQ

Q：布局提示词需要写很长的描述吗？不需要。summary.caption简明扼要，把关键内容与位置写进items，模型会自行补全细节。

Q：为什么改成 1000、1008 就报错？图像尺寸必须是 16 的正整数倍，1024、896、1152 这类数值都安全。

Q：FP8 和 INT8 选哪个？FP8 仅省 0.01 GB，但图像差异更大（LPIPS 0.163 对 0.058）；推荐 INT8-ConvRot。完整对比见 README.md 的权重表格。

Q：Mac / 纯 CPU 能跑吗？本仓库面向 CUDA GPU；低显存或 CPU 场景可参考 README 中提到的 GGUF 量化权重入口。

总结

MOSS-Image-SFT-FP8 把"JSON 可控布局"带进了量化省显存的形态：几分钟装好环境、几行 JSON 布局，就能稳定复现版式。建议从本文的 1024×1024 / 50 步 / CFG 3 默认配置起步，再逐步微调bbox坐标，很快就能掌握 Layout-to-Image 的节奏。

• 人工智能
• 媒体生成
• 模型量化
• 深度学习
• 模型推理服务