ASIC推論チップでLlama 3.1 8Bが16,000 tok/s — GPU不要のAI推論時代
ASIC専用チップのスタートアップTaalasがGPUなしでLlama 3.1 8Bを16,000 tok/sで駆動。GPU依存からの脱却と推論コスト構造の激変を分析します。
タグ
hardware
2件の記事
DDR5 RDIMM vs RTX 3090 — ローカルLLMのGB単価が逆転した転換点
DDR5 RDIMMのGB単価が3090のVRAMを下回り、ローカルLLMハードウェア選択の転換点が到来しました。CPU推論とGPU推論のコスト構造を分析します。