PrismML Bonsai — 1.15GB짜리 8B 모델이 말이 되나?
Caltech 출신 팀이 만든 PrismML Bonsai는 가중치를 {-1, +1}만으로 표현하는 1-bit LLM이다. 8B 모델이 1.15GB에 담기고, 풀정밀도 대비 8배 빠르다고 한다. 직접 확인해봤다.
태그
local-llm
11개 글
Gemma 4를 로컬에서 돌려봤다 — 8B 모델이 함수 호출까지 해내는 시대
Google이 Apache 2.0으로 공개한 Gemma 4를 Ollama로 직접 설치해 한국어, 구조화 출력, 함수 호출까지 테스트했다. 9.6GB짜리 로컬 모델이 에이전트 파이프라인의 빌딩 블록이 될 수 있을까?
GGML/llama.cpp가 Hugging Face에 합류 — 로컬 AI 인프라의 구조적 전환점
ggml.ai 팀이 Hugging Face에 합류하여 llama.cpp의 장기적 지속가능성을 확보합니다. 로컬 AI 추론 생태계의 구조적 변화와 기술적 의미를 분석합니다.
llama.cpp에 IQ*_K/IQ*_KS 양자화 통합 — ik_llama.cpp 성과가 메인라인으로
ik_llama.cpp에서 개발된 IQ계 양자화 기법이 llama.cpp 본체에 머지됩니다. IQ2_K~IQ4_KS의 정밀도 향상과 로컬 LLM 추론 효율화의 기술적 배경을 해설합니다.
Qwen3 Coder Next llama.cpp 그래프 최적화 — 최대 38% 추론 속도 향상
ggerganov가 llama.cpp 컴퓨트 그래프를 재구성하여 Qwen3 Coder Next 80B 모델의 추론 속도를 최대 38% 향상시킨 최적화 기법과 벤치마크 결과를 분석합니다.
DDR5 RDIMM vs RTX 3090 — 로컬 LLM의 GB 단가 역전 시대
DDR5 RDIMM의 GB 단가가 RTX 3090 VRAM을 하회하면서 로컬 LLM 하드웨어 선택의 전환점이 도래했습니다. CPU 추론과 GPU 추론의 비용 구조를 분석합니다.
Devstral Small 2 24B와 Qwen3 Coder 30B — 소형 코딩 모델 시대의 시작
Mistral Devstral Small 2 24B와 Qwen3 Coder 30B가 동시에 등장했습니다. Raspberry Pi에서도 작동하는 소형 코딩 모델의 비교 분석과 로컬 AI 코딩의 미래를 살펴봅니다.
Kitten TTS V0.8 — 25MB 미만으로 SOTA 달성한 초소형 TTS 모델 완전 해설
14M 파라미터·25MB 미만으로 클라우드 TTS 품질을 구현한 Kitten TTS V0.8을 철저히 분석합니다. 엣지 디바이스 배포 가능성과 로컬 음성 AI 최신 트렌드를 살펴봅니다.
Heretic 1.2 — 양자화로 VRAM 70% 절감과 MPOA 기술 해부
Heretic 1.2가 출시되었습니다. 4bit 양자화로 VRAM 사용량을 최대 70% 줄이고, MPOA로 고품질 어블리테레이션을 구현합니다. 로컬 LLM 운용 비용 절감의 최신 기법을 소개합니다.
Qwen3-Coder-Next 80B를 8GB VRAM으로 실행하는 방법
80B 파라미터 코딩 AI 모델을 8GB VRAM 소비자 GPU에서 실행하는 양자화 및 레이지 로딩 기법을 분석합니다. 로컬 LLM 코딩의 실용성과 한계를 다룹니다.
NVIDIA DGX Spark의 CUDA 호환성 문제 — 개인용 AI 워크스테이션의 현실
NVIDIA DGX Spark의 sm121 아키텍처가 초래한 CUDA 소프트웨어 호환성 문제와 핸드헬드 게이밍 칩 유용 의혹을 기술적으로 분석합니다. Triton 미지원, FP4/FP6 양자화 불가 등 실제 호환성 실태와 소비자 구매 판단에 필요한 체크리스트를 정리합니다.