企业官网建设流程全解析

• 人工智能
• 基础模型
• 工具调用
• 模型量化
• 本地部署
• Embedding

Needle 3 是一款面向手机、可穿戴设备和微控制器的超小型端侧模型，专为工具调用、结构化抽取和文本嵌入设计。本文介绍Needle 3 微调的完整流程：如何用LoRA在冻结底座上做轻量微调、如何用needle build命令导出不同深度的 4-bit 模型，以及如何根据你的场景确定数据集规模，让新手也能在半天内跑通第一个专属模型。

为什么值得微调 Needle 3？

Needle 3 最大的特点是「梯级架构」（ladder）：整个 20 层模型里，从第 2 层到第 20 层的每一层都是一个可独立部署的子网络。这意味着你不需要一个 200MB+ 的大模型——为一个产品微调一个 2 层的 8MB 小模型，就能跑在算力极低的设备上。

官方数据显示：在 DroidCall 数据集上微调后，所有深度的子网络准确率都提升了18~36 分，从 4 层（约 29M 参数）起，微调后的子网络表现就能超过 DeepSeek V4 Flash。换句话说：微调是小模型发挥价值的关键一步。

一、微调前的准备工作

本仓库已包含微调所需的全部核心文件，无需额外下载：

架构关键参数可在 config.json 中查看，如num_hidden_layers: 20（最大深度）和hidden_size: 768。

安装 Python 包：

pip install cactus-needle

二、准备微调数据集

Needle 的微调数据围绕工具调用场景组织，每条样本核心包含三要素：

1. 系统设定：system prompt 与可用工具（JSON Schema）；
2. 用户输入：模拟真实用户的一句话指令；
3. 期望输出：模型应生成的function_callsJSON（含函数名与全部参数）。

💡 小技巧：工具描述写得越接近用户口语，LoRA 学得越快；参数格式约束写进 description，能显著减少格式错误。

数据集规模参考：

经验法则是：先小后大。先用 200 条验证流程是否跑通、loss 是否稳定下降，再决定是否扩量。宁可样本质量高、格式干净，也不要堆大量噪音数据。

三、启动 LoRA 微调

cactus-needle 包内置 LoRA 微调能力：它在冻结的 20 层底座上训练低秩适配器，训练成本远低于全参微调，且不会破坏底座的通用能力。

工作流概览：

1. 将数据集按上文格式整理好，喂给 cactus-needle 的微调接口；
2. LoRA 在完整 20 层上训练——即使你最终只部署 4 层子网络，也要在 20 层上训练，因为梯级共享权重；
3. 观察训练 loss：快速下降后趋于平稳即成功；持续震荡通常是数据格式不统一的信号。

四、用 needle build 导出部署模型

微调完成后，needle build是承上启下的关键命令：它会合并 LoRA 适配器，按指定深度切出子网络，并导出 4-bit 的.cact文件，放到对应平台的引擎旁边。

# 导出 12 层子网络，目标平台为 linux-x86_64 needle build --platform linux-x86_64 --layers 12 # 导出 2 层最小子网络，部署到 Android needle build --platform android-arm64 --layers 2

命令会自动获取对应平台的引擎与头文件，并将权重放在它们旁边——例如 linux-x86_64/ 目录下的needle可执行文件与 needle.h C API 头文件。仓库中 wasm/ 目录则提供浏览器/WASI 运行时的needle.js与needle.wasm。

导出后即可直接运行：

./needle --model needle3.cact --tools tools.json --prompt "把客厅灯调暗到30" ./needle --model needle3.cact --tools tools.json --serve

五、验证微调效果

• 看输出：请求两个工具时，模型应按顺序返回两个调用；请求超出工具范围时，应返回空列表而非瞎猜——这是微调数据质量的最直接体检项；
• 看置信度：每个响应都带有校准过的confidence分数，可据此路由到「直接执行 / 请求确认 / 拒绝」三档；
• 看深度：用--layers切出 2/4/8/12/20 层分别测试，找到你的设备与效果的最佳平衡点。

常见问题

Q：只部署 4 层，需要训练 4 层的数据吗？需要。LoRA 始终在 20 层底座上训练，needle build负责切出子网络。

Q：微调后的模型会更大吗？不会。导出仍是 4-bit 量化（甚至更小），8~29MB 量级，引擎均小于 1MB，可参考 README.md 中的 Customisation 章节。

Q：2-bit 极致量化怎么办？仓库内置的 needle3.cact 即 CQ2-bit 压缩产物；2-bit 后训练使用专有数据，在 Cactus Platform 上完成，本地 LoRA 微调导出的是 4-bit 模型，对绝大多数端侧场景已足够。

小结

Needle 3 微调的三步曲：整理工具调用数据集 → cactus-needle LoRA 微调 20 层底座 →needle build --layers N --platform 平台导出部署。配合梯级架构，你可以为不同档次的设备各生成一个专属小模型，这正是它区别于常规端侧模型微调的最大价值。

• 人工智能
• 基础模型
• 工具调用
• 模型量化
• 本地部署
• Embedding