PrismML Bonsai — 1.15GB짜리 8B 모델이 말이 되나?
Caltech 출신 팀이 만든 PrismML Bonsai는 가중치를 {-1, +1}만으로 표현하는 1-bit LLM이다. 8B 모델이 1.15GB에 담기고, 풀정밀도 대비 8배 빠르다고 한다. 직접 확인해봤다.
태그
edge-ai
5개 글
Kitten TTS V0.8 — 25MB 미만으로 SOTA 달성한 초소형 TTS 모델 완전 해설
14M 파라미터·25MB 미만으로 클라우드 TTS 품질을 구현한 Kitten TTS V0.8을 철저히 분석합니다. 엣지 디바이스 배포 가능성과 로컬 음성 AI 최신 트렌드를 살펴봅니다.
$30 라디오 + 로컬 AI = 인터넷 불필요 스마트홈 — 에지 AI의 실용 사례
Mac mini와 $30 LoRa 라디오만으로 인터넷 없이 음성 제어와 스마트홈 조작을 구현한 실전 사례를 분석합니다. 로컬 AI × IoT의 구체적 구현과 비용을 다룹니다.
CPU에서 1.2시간 만에 LLM 훈련 — MatMul-Free 아키텍처의 가능성
GPU 없이 CPU만으로 1.2시간 만에 1,360만 파라미터 언어 모델을 훈련한 FlashLM v3 사례를 분석합니다. 곱셈을 제거한 삼진 가중치 기반 MatMul-Free 아키텍처의 원리와 메모리·에너지 효율, 엣지 AI와 저비용 학습에 주는 시사점까지 짚어봅니다.
FunctionGemma 270M — 초소형 모델로 멀티턴 tool calling 정확도 90-97% 달성
270M 파라미터의 초소형 모델 FunctionGemma를 파인튜닝하여 10-39%에서 90-97%의 tool calling 정확도를 달성한 사례를 분석합니다. 스케일링 법칙만이 답이 아닌 증거입니다.