端侧AI

14MB 容纳 4500 万参数：ESP32 可运行智能体大模型

作者

Cactus公司开源的Needle是一款仅14MB、含4500万参数的端侧智能体语言模型，采用Apache 2.0协议。该模型专为无GPU与NPU的IoT设备设计，核心聚焦工具调用与结构化抽取。通过全程2bit量化与定制化网络架构，其RAM占用被严格锁定在28MB以内，可流畅运行于ESP32等主流微控制器。凭借优异的函数调用基准成绩、本地微调能力与安全的边云协作机制，Needle为可穿戴设备、智能家居及机器人提供了低功耗、高隐私的离线AI解决方案，标志着端侧智能体正式迈入微型硬件时代。

从零训练到真板运行： 我们怎样把中文模型放进 ESP32

作者

本文完整记录了在资源极度受限的ESP32-S3开发板上，从零训练并部署一款783万参数中文模型的全过程。面对仅8MB PSRAM与16MB Flash的硬件瓶颈，团队首先明确垂直问答边界，精心整理近六千条高质量原子事实数据。通过引入量化感知训练策略，采用Q4权重与int8激活技术，成功将模型体积压缩至4.14MiB。随后基于C语言独立构建包含中文分词、注意力机制与逐Token生成的完整运行时环境。最终实现通过USB直连本地网页，在完全离线状态下完成稳定推理，为边缘设备端侧AI落地提供了清晰可复用的全链路工程方案。