Google TurboQuant — KV Cache를 3비트로 압축해도 정확도가 안 떨어진다고?
Google이 발표한 TurboQuant의 PolarQuant+QJL 기법을 분석한다. KV cache 메모리 6배 절감, 어텐션 8배 가속이 실제로 의미하는 것.
태그
optimization
4개 글
AI 에이전트 워크플로우를 메타 도구로 최적화하기: AWO 프레임워크 실전 가이드
arXiv 논문 기반 Agent Workflow Optimization(AWO) 프레임워크를 분석합니다. 반복적 도구 호출 패턴을 메타 도구로 컴파일하여 LLM 호출 12% 절감, 성공률 4% 향상을 달성하는 방법을 소개합니다.
Qwen3 Coder Next llama.cpp 그래프 최적화 — 최대 38% 추론 속도 향상
ggerganov가 llama.cpp 컴퓨트 그래프를 재구성하여 Qwen3 Coder Next 80B 모델의 추론 속도를 최대 38% 향상시킨 최적화 기법과 벤치마크 결과를 분석합니다.
CPU에서 1.2시간 만에 LLM 훈련 — MatMul-Free 아키텍처의 가능성
GPU 없이 CPU만으로 1.2시간 만에 1,360만 파라미터 언어 모델을 훈련한 FlashLM v3 사례를 분석합니다. 곱셈을 제거한 삼진 가중치 기반 MatMul-Free 아키텍처의 원리와 메모리·에너지 효율, 엣지 AI와 저비용 학습에 주는 시사점까지 짚어봅니다.