PrismML Bonsai — 1.15GB짜리 8B 모델이 말이 되나?
Caltech 출신 팀이 만든 PrismML Bonsai는 가중치를 {-1, +1}만으로 표현하는 1-bit LLM이다. 8B 모델이 1.15GB에 담기고, 풀정밀도 대비 8배 빠르다고 한다. 직접 확인해봤다.
태그
1-bit-llm
1개 글
태그
1개 글
Caltech 출신 팀이 만든 PrismML Bonsai는 가중치를 {-1, +1}만으로 표현하는 1-bit LLM이다. 8B 모델이 1.15GB에 담기고, 풀정밀도 대비 8배 빠르다고 한다. 직접 확인해봤다.