原标题:《Janas: Run LLMs larger than RAM by streaming experts from SSD》 评分: 133 | 作者: khalidkhair 💭 把专家塞进 SSD 后,预填充要等到明天吗? 🎯 讨论背景 Janas 是一个本地 LLM 推理项目,主张将 Mixture-of-Experts(MoE,一种每次只调用部分专家子网络的模型架构)的 experts 从 SSD 按需流式读入,使模型总权重可超过主机 RAM。讨论者将它与 llama.cpp(广泛使用的本地大模型推理框架)、Strata(面向 Qwen 系列 MoE 模型的 SSD 流式推理项目)和 DwarfStar4 等现有方案比较,因此争议集中于它是否有新的性能或缓存策略。Qwen、Gemma、DeepSeek 等是不同机构发布的开源或开放权重大模型家族;它们的大型版本常需借助低比特量化、SSD 卸载或多 GPU 才能在消费级硬件运行。此类系统的难点不只是把权重放进 SSD,还包括 SSD 带宽、专家预测与缓存命中率、长上下文 prefill,以及避免推理任务独占 GPU