ASIC 추론 칩으로 Llama 3.1 8B 16,000 tok/s 달성 — GPU 없는 AI 추론 시대
ASIC 전용 칩 스타트업 Taalas가 GPU 없이 Llama 3.1 8B를 16,000 tok/s로 구동합니다. GPU 의존 탈피와 추론 비용 구조 변화를 분석합니다.
태그
hardware
2개 글
DDR5 RDIMM vs RTX 3090 — 로컬 LLM의 GB 단가 역전 시대
DDR5 RDIMM의 GB 단가가 RTX 3090 VRAM을 하회하면서 로컬 LLM 하드웨어 선택의 전환점이 도래했습니다. CPU 추론과 GPU 추론의 비용 구조를 분석합니다.