PrismML Bonsai — 1.15GB的8B模型，真的可行吗？
由Caltech团队打造的PrismML Bonsai是一款1-bit LLM，仅用{-1, +1}两个值表示权重。 8B模型压缩至1.15GB，据称推理速度是全精度的8倍。本文做了实际验证。
标签
local-llm
11篇文章
在本地跑了一下Gemma 4——8B模型居然能做函数调用了
Google以Apache 2.0开源了Gemma 4，我用Ollama亲自安装并测试了中文、结构化输出和函数调用。 一个9.6GB的本地模型，能成为Agent流水线的构建模块吗？
GGML/llama.cpp加入Hugging Face — 本地AI基础设施的结构性转折点
ggml.ai团队加入Hugging Face，确保llama.cpp的长期可持续发展。本文分析本地AI推理生态系统的结构性变化及技术意义。
llama.cpp合并IQ*_K/IQ*_KS量化 — ik_llama.cpp的成果进入主线
ik_llama.cpp开发的IQ系量化方法正式合并至llama.cpp主线。详解IQ2_K至IQ4_KS的精度提升与本地LLM推理效率优化的技术背景。
Qwen3 Coder Next llama.cpp图级优化 — 最高38%推理加速
ggerganov重构llama.cpp计算图，使Qwen3 Coder Next 80B模型推理速度提升最高38%。详细解析优化技术与基准测试结果。
DDR5 RDIMM vs RTX 3090 — 本地LLM每GB成本逆转的转折点
DDR5 RDIMM的每GB价格已低于RTX 3090的VRAM，标志着本地LLM硬件选择的转折点。本文分析CPU推理与GPU推理的成本结构。
Devstral Small 2 24B与Qwen3 Coder 30B — 小型编码模型时代的开启
Mistral Devstral Small 2 24B和Qwen3 Coder 30B同时登场。可在Raspberry Pi上运行的小型编码模型对比分析及本地AI编码的未来展望。
Kitten TTS V0.8 — 不到25MB实现SOTA的超小型TTS模型完全解析
深入分析14M参数、不到25MB即可实现云端TTS品质的Kitten TTS V0.8。探讨边缘设备部署的可能性及本地语音AI最新趋势。
Heretic 1.2 — 量化实现VRAM降低70%与MPOA技术全解析
Heretic 1.2正式发布。通过4bit量化将VRAM使用量最多降低70%，MPOA技术实现高质量消融。详解本地LLM运营成本削减的最新方法。
如何在8GB VRAM上运行Qwen3-Coder-Next 80B — 量化技术详解
分析在8GB VRAM消费级GPU上运行80B参数编码AI模型的量化和懒加载技术。探讨本地LLM编码的实用性与局限性。
NVIDIA DGX Spark的CUDA兼容性问题 — 个人AI工作站的现实
NVIDIA DGX Spark的sm121架构引发大量CUDA软件不兼容。详细分析Triton框架失效、FP4/FP6量化不可用、HDMI故障等实际缺陷以及掌机芯片挪用嫌疑，并提供消费者购买AI工作站前需核实的判断清单与避坑建议。