Consistency Diffusion 언어 모델: AR 대비 14배 빠른 추론
Together AI가 발표한 CDLM은 확산 기반 언어 모델의 추론 속도를 최대 14배 향상시키면서 품질 손실을 최소화합니다. 블록 단위 병렬 생성과 KV 캐싱의 결합이 핵심입니다.
태그
inference-optimization
2개 글
NVIDIA NVFP4로 LLM 추론 비용 8분의 1로 절감 — 정확도 유지의 비밀
NVIDIA의 NVFP4 양자화 기술이 LLM 추론 비용을 8분의 1로 줄이면서도 정확도를 유지하는 원리를 분석합니다. FP32에서 FP4 전환이 가져올 비용 구조 변화를 RTX 4090 AdaLLM 실전 벤치마크와 월간 GPU 운영 비용 시뮬레이션과 함께 살펴봅니다.