乌克兰大神开源,用几十块的ESP32跑2890万参数模型,AI硬件玩具摆脱联网有希望了

近日,一位乌克兰开发者成功将拥有2890万参数的AI模型完整部署于成本仅几十元的ESP32-S3单片机上。该项目完全开源,模型基于TinyStories数据集训练,通过创新性的层间嵌入技术将绝大部分参数存放于Flash芯片中按需读取,巧妙突破了单片机极有限SRAM的物理瓶颈。实测推理速度高达9.5 tokens/秒,可实时在板载小屏幕上流畅输出连贯的儿童短篇故事。这一硬核突破彻底颠覆了传统认知,不仅验证了低成本MCU处理复杂AI任务的潜力,更为未来无需联网、纯本地运行的AI硬件玩具及轻量级智能终端指明了极具潜力的新方向。