导语:全球首款专为代码智能体设计的模块化 AIoT 开发硬件,打通“自然语言创意 → 可运行硬件原型 → 真机持续迭代”的完整链路。
参考:乐鑫科技 CSDN 官方博文,遵循 CC 4.0 BY‑SA 版权协议。
楔子:一个时代命题的回应
乐鑫信息科技(688018.SH)正式推出 ESP‑Mosaico——一款为 Coding Agent 设计的模块化开发板,支持多机拼接。面对不断变化的应用需求,创作者无需受限于固定的硬件形态,可以按需组合不同硬件能力,并借助 Agent 持续开发和完善,让硬件形态与应用能力随产品需求不断扩展。
ESP‑Mosaico 提供两种创作方式:Chat Coding 从自然语言需求出发,无需搭建开发环境,即可快速生成并运行硬件原型;Vibe Coding 则将 Agent 进一步接入开发、部署和真机验证,持续迭代应用,从原型走向完整产品。两种方式既可独立使用,也可根据开发阶段灵活选择。创作者从一句需求开始,就能逐步完成原型开发、功能迭代,并最终将应用运行在真实设备上。
为什么推出 ESP‑Mosaico?
AI 让软件可以根据需求快速生成和迭代,但硬件的能力和形态往往仍由固定的板卡与接口决定。每增加一种能力或改变一次产品形态,创作者都需要重新进行硬件选型、连接和驱动适配。当软件可以持续变化,硬件开发也需要更灵活的扩展方式,才能跟上应用需求的变化。
ESP‑Mosaico 为创作者提供了一种更灵活的开发方式:功能模块可以按需接入,多台设备可以自由拼合,Coding Agent 也可以根据当前硬件组合参与应用开发。创作者无需在开发初期就确定设备最终形态,而可以随着应用需求变化,持续增加硬件能力、组合模块并调整设备形态,让硬件与应用同步迭代。
这也是 ESP‑Mosaico 名字的由来:Mosaico 意为“镶嵌画”,无数小块彼此拼合,最终组成一幅完整作品。在 ESP‑Mosaico 上,不同硬件模块与设备也可以自由组合,让能力随着应用需求不断扩展。
一、传统痛点:硬件为何成为 AI 时代的慢变量?
AI 正在以前所未有的速度重塑软件开发范式。从 Copilot 到 Cursor,从 Devin 到各类 Coding Agent,软件正经历“需求即代码”的变革。但硬件开发依然困在工业时代的流程里:
固定板卡:功能在 PCB 设计阶段就被锁定,后期无法灵活调整;
引脚束缚:每更换一类传感器,就要查阅 datasheet、重新接线;
驱动适配:新增外设伴随驱动编写、调试、验证的大量重复工作;
工具链门槛:ESP‑IDF、Arduino、Keil、编译构建链带来较高学习成本。
软件可以做到分钟级迭代,硬件却往往需要周级甚至月级周期。这道鸿沟,已经成为 AI 时代硬件创新的主要瓶颈。需求变化时,开发者需要重新选型、接线、调试驱动、配置工具链,硬件迭代速度远远跟不上软件进化节奏。
ESP‑Mosaico 的使命,就是消除这道软硬件之间的迭代鸿沟。
二、主机核心硬件:不止是开发板,更是端侧 AI 算力终端
ESP‑Mosaico 主机本身是一套完整、可脱离电脑独立运行的智能终端,区别于传统必须依附 PC 的开发板。
独立运行主机,承载完整应用
主机采用轻薄机身与高屏占比设计,搭载 480×480 AMOLED 触控屏,支持触摸反馈,并内置电池,可独立运行。AMOLED 像素自发光,能够呈现清晰细腻的画面,在深色界面下有助于降低显示功耗。主机配备 USB Type‑C 双向供电接口,并提供双排 2.54 mm IO 引出接口,方便连接和扩展外部硬件。
主控:ESP32‑S31
主机以 ESP32‑S31 为主控。这颗 RISC‑V 架构芯片主频最高 320 MHz,内置 512 KB SRAM,并支持最高 32 MB 高速 DDR PSRAM,为图像处理、状态判断和实时交互等任务提供端侧计算能力。
硬件 JPEG 编解码和 DVP 摄像头接口,为取景、拍照和相册等图像应用提供专门通路;60 个可编程 GPIO,则为功能模块的持续扩展留出空间。同时,ESP32‑S31 在芯片层集成 Wi‑Fi 6、双模 Bluetooth 5.4 与 802.15.4,并支持 1 Gbps 以太网与 USB 2.0 高速 OTG 接口。经过板级设计、功能模块和系统软件,这些底层能力进一步转化为联网、设备配对、外设通信、电脑连接以及部署调试等产品能力。
补充说明:ESP32‑S31 为 S3 系列衍生型号,针对 Agent 端侧 AI 负载优化,主频与 PSRAM 能力增强;Wi‑Fi 6 大幅提升多设备组网带宽与稳定性,对多机器人集群实验至关重要。具体芯片指标以乐鑫官方 datasheet 为准。
显示与人机交互
2.16 英寸 480×480 AMOLED 触控屏,自发光特性,低功耗适配电池手持场景;
板载六轴 IMU、磁力计、麦克风、扬声器、震动马达,构建完整本地交互闭环。
供电与扩展能力
内置锂电池:脱离 USB 即可独立工作,实现现场手持造物;
Type‑C 双向供电:支持本机充电,也可向外设输出供电;
60 路可编程 GPIO,DVP 硬件摄像头接口,集成硬件 JPEG 编解码,适配视觉项目;
磁吸标准化模块接口:硬件热插拔体系的核心载体。
三、功能模块与多机拼接:硬件能力随需扩展
功能模块,拓展感知反馈能力
ESP‑Mosaico 将摄像头、传感器、按键、灯光、电机等能力封装为可组合的功能模块。接入受支持模块后,系统可自动识别并完成基础适配,开发者无需反复处理接线和底层驱动,即可根据应用需求自由组合。
从感知、输入到显示、执行,不同模块可以组合成完整交互链路。例如,摄像头与按键可以组合成可编程相机,也可以根据需求继续扩展更多硬件能力。
多机拼接,拓展应用边界
ESP‑Mosaico 的组合能力还可以从单台设备延伸到多台设备。多台主机可以识别彼此的相邻关系和姿态,并通过无线连接同步应用状态,让设备的拼合、分开和重新排列成为应用的一部分。
在跨屏游戏 Demo 中,不同设备可以分别呈现角色、地图和道具;同样的能力也可以用于信息面板等多屏交互场景。从一块屏幕到多块屏幕,设备的组合方式也成为创作的一部分。
四、两大 AI 创作模式:覆盖零基础到专业开发者全谱系
1. Chat Coding|对话即开发,零门槛生成硬件原型
Chat Coding 主要面向初次接触编程或 AI 编程的创作者。
ESP‑Claw 是 ESP‑Mosaico 内置的 Coding Agent,也是对话式创作入口:创作者可以在主机屏幕上直接对话,也可以通过微信、QQ、飞书等社交软件与它交流。
创作者无需安装本地开发软件或配置工具链,只需描述想实现的功能,ESP‑Claw 就会结合当前设备和已接模块能力生成应用,并部署到主机上运行;应用的生成与构建通过所连接的服务在云端完成;应用部署后,不依赖在线能力的界面、逻辑和外设控制都在主机本地运行。
例如,创作者可以告诉 ESP‑Claw:“帮我写一个俄罗斯方块小游戏。”ESP‑Claw 会自行在设备上编写并运行一个可以通过按键控制的俄罗斯方块游戏。第一版成功运行后,创作者可以继续提出修改,如调整方块下落速度、增加计分功能或优化界面等。通过不断迭代,创作者可以完成一个可运行、可交互的硬件原型,并在此过程中逐步学会表达需求、观察结果和调整方案。
除了直接描述需求,创作者还可以在 Skills Lab 中使用已经封装好的 Skill。Skill 是可直接运行和分享的设备应用包,封装 Lua 脚本、静态资源与外设依赖,让成熟应用能够直接安装到 ESP‑Mosaico 上。同时,创作者也可以将自己通过 ESP‑Claw 完成的应用打包为 Skill,上传到 Skills Lab 分享;对于支持二次创作的 Skill,还可以在原有应用基础上继续修改和扩展。
该模式非常适合创客教育与非技术创作者,把造物重心从语法与寄存器重新拉回创意本身。
2. Vibe Coding|真机闭环,Agent 自主持续迭代
ESP‑Mosaico 针对 Vibe Coding 开发流程中的 UI 设计、资源搜集、仿真、烧录调试等环节进行全流程优化,让创作者和 Agent 可以直接在真实设备上持续开发和验证。
完整闭环链路:修改代码 → 构建部署 → 真机运行测试 → 采集硬件反馈 → 自动调整优化
规范驱动的 UI 设计:ESP‑Mosaico 将 UI 设计规范、组件规则、资源约束等沉淀为文档、参考设计和 Skill,为 Agent 提供明确设计边界。开发者可以定义产品定位、交互和视觉规范,Agent 则在统一的屏幕尺寸、字体、布局和组件规则下生成界面,减少随机组合代码带来的不确定性。
面向 AI 的高性能 UI 框架:基于预编译 UI 框架 ESP‑GSP,Agent 可以通过结构化 JSON 描述界面,工具链在构建阶段检查控件错误和资源缺失,并提供明确反馈。UI 采用树状结构描述,便于 Agent 理解页面结构,也便于开发者进行细节调整;同一套资源可先在 PC 端仿真,再部署到 ESP32 真机验证,减少反复烧录和调试成本。
多模态调试闭环工作流:通过 Wi‑Fi / USB High‑Speed 数据链路和统一接口,向开发者和 Agent 开放烧录、输入、设备控制和状态观测能力。设备可将 UI、音频、触摸输入、性能指标和故障信息整理为结构化数据,Agent 据此执行自动化操作、分析运行结果并进入下一轮修复;配合可选 Test Dock,即使应用失去响应,也可以重新建立设备控制,继续完成真机验证。
统一开发资源入口:提供初始代码仓库、BSP、软硬件原理图、通用 SDK、Agent References 和参考工程,为 Agent 提供开发所需的硬件上下文、接口信息与最佳实践。开发者使用常见 AI 编程工具即可基于这些资源快速进入 ESP‑Mosaico 开发流程。
在这些能力支撑下,Agent 可以持续围绕“开发—部署—验证—优化”闭环迭代,开发者只需定义目标、安全边界和验收条件。
典型实例:Agent 生成平衡控制代码并烧录运行,通过 IMU 数据发现车身偏移,自动修正 PID 参数,重新部署复测,整个过程无需人工干预。
五、模块化与多机协同:硬件的乐高时刻
即插即识别磁吸模块化外设
摄像头、毫米波雷达、光源、步进电机、BLDC 无刷驱动、各类传感器被封装为标准化磁吸模块。
模块接入瞬间自动枚举识别、自动加载底层驱动。开发者面向硬件能力开发,不再纠结引脚定义与底层驱动编写。
可快速搭建完整链路:感知外设 → 输入交互 → 屏幕显示 → 电机执行机构。
多主机物理拼接协同
多台 ESP‑Mosaico 主机之间:
依靠 IMU 感知相互位置与相对姿态;
Wi‑Fi / 蓝牙自动 Mesh 组网,同步应用状态;
设备拼接、拆分、重组可以直接作为程序交互输入。
可用场景包括多屏交互演示、分布式传感阵列;在机器人方向,能够低成本开展多机编队、分布式协同作业实验。
六、典型应用场景
移动机器人快速原型
模块化体系高度适配机器人研发:
外接电机驱动模块,驱动轮式、履带底盘;
搭配 BLDC 驱动外设,搭建无刷动力机器人;
接入雷达、IMU,实现多传感器融合、避障导航;
多台主机组网,完成多机器人集群编队原型验证。
创客教育与 AI 硬件普及
Chat Coding 大幅降低嵌入式门槛。零基础学习者依靠自然语言即可完成真实硬件项目,不需要预先掌握 C 语言、GPIO 原理或示波器调试。
交互装置与边缘 AI 感知
板载麦克风、扬声器、触控、IMU,搭配摄像头接口,适合快速开发艺术交互装置、边缘感知原型,把概念快速转化为实物。
专业传统嵌入式开发
ESP‑Mosaico 完整兼容 ESP‑IDF 原生开发。专业开发者仍可手写 C/C++,开发 FreeRTOS 任务、调试无线协议栈。它既是 AI 智能体开发平台,也是标准 ESP32 系列高性能开发板。
七、核心价值解读:何为“突破硬件边界”
突破编程边界:用自然语言操控真实硬件,不必深耕嵌入式语法;
突破硬件接线边界:磁吸模块 + 自动枚举驱动,摆脱引脚、数据手册和底层驱动负担;
突破单机边界:多机物理感知 + 无线 Mesh 协同,能力从单机横向扩展为集群系统;
突破原型迭代边界:AI 读取真机反馈形成闭环迭代,软件逻辑和硬件行为同步优化;
突破环境边界:内置锂电池 + 无线链路,脱离电脑,现场完成硬件创作。
八、同类开发平台横向对比
后记:让代码真正跑在硬件上
AI 可以生成代码,但要让代码真正运行在硬件上,还需要芯片、驱动、协议栈、组件、构建工具和真实设备等完整工程基础。
乐鑫已经建立了完整的 ESP 开发生态,包括 ESP‑IDF、驱动与组件、技术文档、构建与调试工具、ESP Component Registry 以及丰富的社区项目。GitHub 上围绕 ESP32 和 ESP8266 的项目已超过 20 万个,相关书籍超过 300 本,并以 10 余种语言出版。这些内容都可以通过检索、项目上下文和工具接口,成为 Agent 的工程依据。
从开放的工程资源,到真实设备的反馈,ESP‑Mosaico 让 AI 硬件开发拥有了一套可以参考、调用和验证的基础。
第一次接触硬件编程的创作者,可以从 Chat Coding 开始;有明确产品目标的开发者,则可以通过 Vibe Coding,让 Agent 参与开发、测试与迭代。让软件里的想法连接硬件,让代码最终变成可以运行、验证和迭代的真实设备。
ESP‑Mosaico 拥有丰富的开发资源。开发者可以访问 ESP‑Mosaico 官方网站了解产品详情及相关开发资源,也可以将完成的应用通过 Skills Lab 分享给更多用户。
附录:
官网 https://mosaico.espressif.com
https://docs.espressif.com/projects/esp-dev-kits/zh_CN/latest/esp32s31/esp-mosaico/index.html
开发板文档 https://docs.espressif.com/projects/esp-dev-kits/zh_CN/latest/esp32s31/esp-dev-kits-zh_CN-master-esp32s31.pdf