企业官网建设流程全解析

• 大模型
• 推理模型
• 多模态
• 模型量化
• 本地部署
• 计算机视觉

在 Mac 上本地跑大模型，"4bit 量化"是最常见的选择，但同样标着 4bit 的模型，体积、质量、生态差异其实不小。本文以 Qwythos-9B-v2-OptiQ-4bit 为例，把它与 llama.cpp 的 Q4_K_M、均匀 4bit 三种方案做全面对比，帮你快速判断 4bit 量化该选哪一种。

一、为什么"4bit"不等于"4bit"？

同样是 4bit 量化，主流其实有三种策略：

表中体积为参考量级：均匀 4bit 和 Q4_K_M 的具体数值随 tokenizer 与 embedding 处理略有出入，这里只用于对比量级。

关键结论先记住："4-bit" 标签指的是"主要精度"，而不是平均值。这套命名与 llama.cpp 对 Q4_K_M 的标注习惯一致，OptiQ 只是沿用了它。

二、OptiQ 4bit 是怎么决定哪些层用 8bit 的？

这是它和另外两种方案最本质的区别：逐层敏感度驱动的混合精度。

1. 准备覆盖六个领域的校准数据：散文、推理、代码、agent、工具调用（tool-call）、带约束的指令；
2. 对每一层做 KL 散度敏感度扫描，以"均匀 4bit"作为参照基线；
3. 敏感层升到 8bit 保质量，稳健层留在 4bit 省空间。

最终 248 个量化层中，134 层为 8bit、114 层为 4bit，实测每权重位数 5.211。配方细节都记录在仓库里，可以直接查证：

• optiq_metadata.json：记录量化方法、参照基线、target_bpw=5.0 以及每一层的具体 bit 分配；
• config.json：quantization字段逐层写明了bits与group_size（组大小 64，affine 模式），例如layers.31的 MLP 三个投影全是 8bit，而中间层不少 MLP 是 4bit；
• kv_config.json：8 个自注意力层中，仅第 7 层 KV cache 用 8bit，其余 4bit——KV 内存也做了分级。

另外注意：只有语言塔被量化。视觉塔只有 333 个张量、占比很小，量化它"省空间少、伤质量多"，所以 OptiQ 的 VLM 一律把视觉塔以 bf16 放在旁路文件 optiq/optiq_vision.safetensors 中。

三、仓库文件结构速览

这个模型包是标准的 MLX 权重仓库，主要文件如下：

旁路文件统一放在optiq/子目录，所以标准的*.safetensors通配加载会自动忽略它们，mlx-lm看到的是一个干净的语言模型。

四、怎么选？一张清单帮你决策 🧭

• 追求极致小体积、任务以闲聊问答为主→ 均匀 4bit 就够了，体积最小；
• 在 PC / llama.cpp 生态跑，跨平台优先→ Q4_K_M 是久经考验的"甜点档"，不需要校准，下载即用；
• Apple Silicon 上用 MLX 本地部署，且对推理、代码、agent 类任务质量敏感→ 选 Qwythos-9B-v2-OptiQ-4bit。它比 Q4_K_M 多花约 0.4bpw（约 1GB 空间），换来的是"该保质的层真正保质"，还额外带视觉输入和 MTP 投机解码。

一句话：Q4_K_M 是通用方案，OptiQ 4bit 是针对 Apple Silicon 的"质量优先"方案。

五、在 Mac 上运行的最短路径

纯文本：装好mlx-lm后按模型 ID 加载即可（侧车文件在optiq/子目录，互不干扰）：

pip install mlx-lm

from mlx_lm import load, generate model, tokenizer = load("mlx-community/Qwythos-9B-v2-OptiQ-4bit")

图片输入 / OpenAI 兼容服务 / 投机解码：需要mlx-optiq，视觉旁路由它负责加载并喂给量化语言塔：

pip install mlx-optiq optiq serve --model mlx-community/Qwythos-9B-v2-OptiQ-4bit --mtp

⚠️ 两个新手易踩的坑：

1. 它是推理模型：回答前会先输出think标签里的思考过程，max_tokens要给足，否则会在"思考"中途被截断；
2. 量化不改变模型的许可与行为边界：按 README 说明，应与基座模型empero-ai/Qwythos-9B-v2的使用条款一致地使用它。

六、总结

• 4bit 量化有三条路线：均匀 4bit 最省空间、Q4_K_M 最通用、OptiQ 4bit 最懂硬件；
• Qwythos-9B-v2-OptiQ-4bit 用 KL 敏感度扫描把 134 个关键层保在 8bit、其余压到 4bit，7.6GB 落地（基座 18GB bf16 的约 42%），同时保留 bf16 视觉塔与 MTP 加速能力；
• 如果你的机器是 Apple Silicon、任务偏推理/代码/agent，这个量化值得作为 4bit 档位的第一选择；其余场景，Q4_K_M 依然是稳妥答案。

• 大模型
• 推理模型
• 多模态
• 模型量化
• 本地部署
• 计算机视觉