ASIC推理芯片让Llama 3.1 8B达到16,000 tok/s — 无GPU的AI推理时代
ASIC专用芯片初创公司Taalas在无GPU条件下以16,000 tok/s运行Llama 3.1 8B。分析摆脱GPU依赖的趋势与推理成本结构的剧变。
标签
hardware
2篇文章
DDR5 RDIMM vs RTX 3090 — 本地LLM每GB成本逆转的转折点
DDR5 RDIMM的每GB价格已低于RTX 3090的VRAM，标志着本地LLM硬件选择的转折点。本文分析CPU推理与GPU推理的成本结构。