企业官网建设流程全解析

• 大模型
• 基础模型
• 推理模型
• 本地部署
• 模型量化

LFM2.5-24B-A2B 是 Liquid AI 出品的 24B 参数 MoE 推理模型（仅 2.45B 激活参数），专为在本地设备上运行快速、私密的 Agent 而生。本仓库提供它的 GGUF 量化版本，专为 llama.cpp 等本地推理工具优化。本文将带你用 4 步完成 Function Calling 工具调用，让你快速给这个模型"接上工具"，变身能干活的智能体。

为什么 LFM2.5-24B-A2B 适合做工具调用？

在动手之前，先了解它的几个关键特性（详见 README.md）：

• MoE 架构，速度快：24B 总参数中每个 token 只激活 2.45B 参数，思考成本极低，实测在 Apple M5 Max 上可达 184 tokens/s；
• 天生会推理：这是纯推理模型，回答前总会先"想"（自动附加think标签），在 Agent 任务上更可靠；
• 工具调用是强项：在 LiveClaw 工具使用基准上得分 48.09，远超同规模 MoE 模型；
• 131K 上下文：可承载多轮工具调用轨迹，且支持中英等 15+ 种语言。

官方建议：把它用在"需要推理、调用工具、在本地可靠运行"的 Agent 场景上；纯知识类任务建议配合检索或联网搜索使用。

本地部署：如何选对 GGUF 量化文件？

本仓库由 Unsloth Dynamic 3.0 完成量化，同一模型按精度分为多个档位，按显存/内存需求选择即可：

💡 新手建议：显存 ≥ 16GB 选UD-Q4_K_XL，追求质量选Q8_0或 BF16。量化文件可直接喂给 llama.cpp 或其兼容工具运行。

Function Calling 4步工具调用全解析

LFM2.5 的 Function Calling 流程固定为 4 步，理解这 4 步就能在任何推理框架里接上你的工具：

第 1 步：Function definition（函数定义）

把你的工具列表以 JSON 对象的形式告诉模型，两种方式任选其一：

• 直接把工具列表写进 system prompt（如List of tools: [{...}]）；
• 使用tokenizer.apply_chat_template()并传入tools=...参数，由框架自动格式化。

每个工具包含name（函数名）、description（功能说明）和parameters（参数定义），写法与常见工具调用规范一致。

第 2 步：Function call（函数调用）

模型收到用户请求后，默认以 Pythonic 函数调用的形式输出工具调用，包裹在两个特殊 token 之间：

<|tool_call_start|>[get_candidate_status(candidate_id="12345")]<|tool_call_end|>

• 需要同时调用多个工具时，列表中会并列多个调用；
• 不喜欢 Python 风格？可以在 system prompt 中明确要求模型输出 JSON 格式的函数调用，模型会遵循。

第 3 步：Function execution（函数执行）

这一步由你的程序（而非模型）完成：解析出函数名与参数 → 实际执行工具 → 将执行结果以tool角色写回对话，例如：

[{"candidate_id": "12345", "status": "Interview Scheduled", "position": "Clinical Research Associate", "date": "2023-11-20"}]

第 4 步：Final answer（最终回答）

模型读取tool返回的结果，解读后给出针对原始问题的自然语言回答，例如："候选人 12345 当前处于'Interview Scheduled'阶段，职位为 Clinical Research Associate，面试时间为 2023-11-20。"

至此完成一次完整的工具调用闭环，整个过程可循环多次（连续调用多个工具），131K 的上下文足以容纳很长的多轮轨迹。

新手避坑：生成参数与常见注意点

• 推荐生成参数：temperature: 0.1、top_k: 50、repetition_penalty: 1.05（来自 README 官方建议），工具调用场景下低温度更稳；
• 总会先思考：LFM2.5-24B-A2B 是纯推理模型，助手回答开头会自动带think推理段，解析输出时不要把思考内容当成正式回答；
• 解析调用边界：程序侧认准<|tool_call_start|>和<|tool_call_end|>两个特殊 token 来截取工具调用内容，比正则更可靠；
• 对话模板：LFM2.5 使用 ChatML 风格模板（system/user/assistant/tool角色），若自行拼接 prompt 请注意角色标签格式。

总结：4步接入你的工具

1. 定义工具：以 JSON 传入 system prompt；
2. 接收调用：解析<|tool_call_start|>与<|tool_call_end|>之间的函数调用；
3. 执行并回传：运行工具，用tool角色返回结果；
4. 拿到答案：模型综合结果给出最终自然语言回答。

配合本仓库的 GGUF 量化文件，这套流程完全可以离线跑在个人电脑上。更多模型细节与基准数据，参阅 README.md。

• 大模型
• 基础模型
• 推理模型
• 本地部署
• 模型量化