TurboQuant：KV Cache 3位量化与零精度损失
Google发布TurboQuant：PolarQuant+QJL双技术组合实现KV cache内存节省6倍、attention加速8倍，但精度真的零损失吗？
标签
inference
4篇文章
Deep-Thinking Ratio：将LLM推理成本降低50%的新指标
Google与UVA研究颠覆了"思考越长越好"的常识。利用Deep-Thinking Ratio(DTR)， 可在保持推理质量的同时将LLM推理成本减半。工程经理与VPoE必知的实践洞见。
ASIC推理芯片让Llama 3.1 8B达到16,000 tok/s — 无GPU的AI推理时代
ASIC专用芯片初创公司Taalas在无GPU条件下以16,000 tok/s运行Llama 3.1 8B。分析摆脱GPU依赖的趋势与推理成本结构的剧变。
Qwen3 Coder Next llama.cpp图级优化 — 最高38%推理加速
ggerganov重构llama.cpp计算图，使Qwen3 Coder Next 80B模型推理速度提升最高38%。详细解析优化技术与基准测试结果。