DDR5 RDIMM vs RTX 3090 — 로컬 LLM의 GB 단가 역전 시대
DDR5 RDIMM의 GB 단가가 RTX 3090 VRAM을 하회하면서 로컬 LLM 하드웨어 선택의 전환점이 도래했습니다. CPU 추론과 GPU 추론의 비용 구조를 분석합니다.
태그
cpu-inference
1개 글
태그
1개 글
DDR5 RDIMM의 GB 단가가 RTX 3090 VRAM을 하회하면서 로컬 LLM 하드웨어 선택의 전환점이 도래했습니다. CPU 추론과 GPU 추론의 비용 구조를 분석합니다.