开源大模型

Cactus公司开源的Needle是一款仅14MB、含4500万参数的端侧智能体语言模型，采用Apache 2.0协议。该模型专为无GPU与NPU的IoT设备设计，核心聚焦工具调用与结构化抽取。通过全程2bit量化与定制化网络架构，其RAM占用被严格锁定在28MB以内，可流畅运行于ESP32等主流微控制器。凭借优异的函数调用基准成绩、本地微调能力与安全的边云协作机制，Needle为可穿戴设备、智能家居及机器人提供了低功耗、高隐私的离线AI解决方案，标志着端侧智能体正式迈入微型硬件时代。