#1-bit-llm

PrismML Bonsai — 1.15GBの8Bモデルってアリなの?

Caltechチームが作ったPrismML Bonsaiは、重みを{-1, +1}だけで表現する1-bit LLMだ。 8Bモデルが1.15GBに収まり、フル精度の8倍速いという。実際に確認してみた。