PrismML Bonsai — 1.15GB的8B模型，真的可行吗？
由Caltech团队打造的PrismML Bonsai是一款1-bit LLM，仅用{-1, +1}两个值表示权重。 8B模型压缩至1.15GB，据称推理速度是全精度的8倍。本文做了实际验证。
标签
edge-ai
5篇文章
Kitten TTS V0.8 — 不到25MB实现SOTA的超小型TTS模型完全解析
深入分析14M参数、不到25MB即可实现云端TTS品质的Kitten TTS V0.8。探讨边缘设备部署的可能性及本地语音AI最新趋势。
30美元收音机 + 本地AI = 无需互联网的智能家居 — 边缘AI实用案例
仅凭Mac mini和30美元的LoRa收音机，在没有互联网的情况下实现语音控制和智能家居操作的实战案例分析。深入探讨本地AI×IoT的具体实现与成本。
仅用CPU在1.2小时内训练LLM — MatMul-Free架构的可能性
分析仅用CPU在1.2小时内训练出1360万参数语言模型的FlashLM v3案例。深入解读消除矩阵乘法、采用三值权重的MatMul-Free架构原理，及其在内存与能耗效率、边缘AI和低成本训练方面的意义与应用前景。
FunctionGemma 270M — 超小型模型实现多轮tool calling精度90-97%
分析270M参数超小型模型FunctionGemma通过微调将多轮tool calling精度从10-39%提升至90-97%的案例。这是Scaling Law并非唯一答案的又一证据。