Consistency Diffusion言語モデル：ARの14倍速で品質損失ゼロ
Together AIが発表したCDLMは拡散型言語モデルの推論速度を最大14倍に向上させ、品質損失を最小化します。ブロック単位の並列生成とKVキャッシュの組み合わせが鍵です。
タグ
inference-optimization
2件の記事
NVIDIAのNVFP4でLLM推論コスト8分の1に — 精度維持でコスト構造激変
NVIDIAのNVFP4量子化技術がLLM推論コストを8分の1に削減しながら精度を維持する原理を詳しく解説します。RTX 4090でのAdaLLMベンチマーク結果と月次GPU運用コストシミュレーションを活用し、FP32からFP4移行によるコスト削減効果を検証します。