TurboQuant：KVキャッシュを3ビットに圧縮しても精度を維持
GoogleのTurboQuantが示すPolarQuant＋QJL手法の仕組みを解説。KVキャッシュメモリ6倍削減・ アテンション8倍高速化が推論コストに持つ本当の意味。
タグ
inference
4件の記事
Deep-Thinking Ratio: LLM推論コストを50%削減する新しい指標
「長く考えるほど良い」という常識を覆すGoogle・UVAの研究。Deep-Thinking Ratio(DTR)を活用すれば 推論品質を維持しながらLLM推論コストを半減できます。EM/VPoEが知るべき実践的インサイト。
ASIC推論チップでLlama 3.1 8Bが16,000 tok/s — GPU不要のAI推論時代
ASIC専用チップのスタートアップTaalasがGPUなしでLlama 3.1 8Bを16,000 tok/sで駆動。GPU依存からの脱却と推論コスト構造の激変を分析します。
Qwen3 Coder Next llama.cppグラフ最適化 — 最大38%の推論高速化
ggerganovがllama.cppのコンピュートグラフを再構成し、Qwen3 Coder Next 80Bモデルの推論速度を最大38%向上させた最適化手法とベンチマーク結果を解析します。