#1-bit-llm

PrismML Bonsai — 1.15GB的8B模型，真的可行吗？

由Caltech团队打造的PrismML Bonsai是一款1-bit LLM，仅用{-1, +1}两个值表示权重。 8B模型压缩至1.15GB，据称推理速度是全精度的8倍。本文做了实际验证。