Consistency Diffusion语言模型：比AR快14倍且零质量损失
Together AI发布的CDLM将扩散语言模型的推理速度提升最高14倍，同时将质量损失降至最低。块级并行生成与KV缓存的结合是关键突破。
标签
inference-optimization
2篇文章
NVIDIA NVFP4将LLM推理成本降至八分之一 — 精度不变成本巨变
NVIDIA NVFP4量化技术将LLM推理成本降低八分之一同时维持精度的原理详解。通过RTX 4090 AdaLLM实测基准测试与月度GPU运营成本模拟，全面量化FP32到FP4转型对AI推理基础设施成本的实际影响。