#并发

给一个本地LLM同时接8个代理 — Ollama并发吞吐量实测

我以为并行触发子代理会让本地模型也随之变快。实测发现默认的Ollama会把请求排队处理，接8个和接1个的总吞吐量一样。我在M1 16GB上实测了调高OLLAMA_NUM_PARALLEL带来的吞吐增益，以及它的代价。