工具速递｜llama.cpp + Ollama + vLLM 三大本地 LLM 推理框架对比
2026 年 6 月本地 LLM 推理三件套对比:llama.cpp(C++),Ollama(Rust + Go),vLLM(Python).从性能,易用,生态 3 维度横评.
教程｜Llama 3.3 70B 本地部署：M3 Max 上 20+ tokens/sec 实战
用 llama.cpp + Ollama 在 Apple Silicon 上跑 Llama 3.3 70B-Q4，1M 上下文，性价比分析。
行业解读｜LightningLM 0.1V：单 8 卡训练 120B MoE，给小团队带来什么
arXiv 2606.07404 展示百亿 MoE 不再需要千卡集群。对中小 AI 创业公司的硬件策略有何影响？
快讯｜LightningLM 0.1V 120B MoE 单 8 卡节点训练完成，激活仅 5.93B
arXiv 2606.07404：研究者从 1.78B dense 种子一路训练到 120B 稀疏 MoE（460 routed experts），单 8 GPU 节点完成全流程。
教程｜Llama 3.3 70B 本地部署：M3 Max 上 20+ tokens/sec 实战
用 llama.cpp + Ollama 在 Apple Silicon 上跑 Llama 3.3 70B-Q4，1M 上下文，性价比分析。
工具速递｜llama.cpp：GGML 团队持续优化，本地 LLM 推理标杆
今日 +158 stars，llama.cpp 在 Apple Silicon、CPU、CUDA 上持续领先。新版本支持 MoE 量化、KV cache 压缩。
开源项目｜goose（Rust）：开源可扩展 AI 代理，超越代码建议
今日 +322 stars 的开源 AI 代理。Rust 写的，特点是「install, execute, edit, and test」四合一，比纯建议型工具强一档。
开源项目｜turbovec：基于 TurboQuant 的 Rust 向量索引，单节点 1.5k stars/day
RyanCodrai 今日 +1554 stars 的开源项目。TurboQuant 量化技术 + Rust 高性能实现，号称比 HNSW 快 10x、内存省 80%。