TurboQuant：KV Cache 3位量化与零精度损失
Google发布TurboQuant：PolarQuant+QJL双技术组合实现KV cache内存节省6倍、attention加速8倍，但精度真的零损失吗？
标签
quantization
5篇文章
llama.cpp合并IQ*_K/IQ*_KS量化 — ik_llama.cpp的成果进入主线
ik_llama.cpp开发的IQ系量化方法正式合并至llama.cpp主线。详解IQ2_K至IQ4_KS的精度提升与本地LLM推理效率优化的技术背景。
Heretic 1.2 — 量化实现VRAM降低70%与MPOA技术全解析
Heretic 1.2正式发布。通过4bit量化将VRAM使用量最多降低70%，MPOA技术实现高质量消融。详解本地LLM运营成本削减的最新方法。
如何在8GB VRAM上运行Qwen3-Coder-Next 80B — 量化技术详解
分析在8GB VRAM消费级GPU上运行80B参数编码AI模型的量化和懒加载技术。探讨本地LLM编码的实用性与局限性。
NVIDIA NVFP4将LLM推理成本降至八分之一 — 精度不变成本巨变
NVIDIA NVFP4量化技术将LLM推理成本降低八分之一同时维持精度的原理详解。通过RTX 4090 AdaLLM实测基准测试与月度GPU运营成本模拟，全面量化FP32到FP4转型对AI推理基础设施成本的实际影响。