企业官网建设流程全解析

“模型跑在端侧”的意思就是：把人工智能（AI）模型直接放在你的本地设备（如手机、电脑、智能音箱、车载芯片等）上运行，而不是放在云端服务器上。

要理解这句话，可以拆解为两个部分：

1. 什么是“端侧”？
“端”指的是终端设备，即你手上能直接接触到的硬件，比如：

• 智能手机
• 笔记本电脑/台式机
• 智能手表
• 物联网设备（如智能摄像头、空调）
• 汽车的车机系统

2. 什么是“跑在端侧”？
“跑”指的是模型的推理（计算）过程。当模型“跑在端侧”时，所有的计算都在设备本地完成，不需要联网把数据发送到远处的云端数据中心去处理。

为了更直观，对比一下“云端”和“端侧”：

• 云端跑模型（传统方式）：你在手机上和AI对话，手机把你的问题传到云端的超级计算机，算完再把结果传回来。（依赖网络，有延迟）
• 端侧跑模型（现在趋势）：你把AI模型下载到手机里，手机自带的芯片（CPU/GPU/NPU）直接计算，给出回答。（不联网也能用，极速响应）

端侧跑模型的核心优缺点：

举个生活中的例子：

• 云端跑模型= 叫外卖，后厨（云端）给你做，做好送过来（有等待时间和配送费）。
• 端侧跑模型= 自家厨房（端侧）自己做，食材（数据）不出家门，想吃就吃（不用等外卖员），但家里灶台火力（算力）有限，做不了满汉全席（超大模型）。

目前很多手机厂商（如苹果、华为、小米）都在大力推广端侧AI，把大模型塞进手机系统里，用来做相册修图、实时翻译、语音助手等功能。你最开始问的存储大小（336MB），刚好就很适合用来装一个端侧的小模型。