工具速递｜llama.cpp + Ollama + vLLM 三大本地 LLM 推理框架对比
2026 年 6 月本地 LLM 推理三件套对比:llama.cpp(C++),Ollama(Rust + Go),vLLM(Python).从性能,易用,生态 3 维度横评.
每日 AI 速递｜2026-06-05:arXiv 单日 70+ 投稿创新高
arXiv 2026-06-05 单日投稿 70+ 篇 cs.AI/CL/LG.热点:持续学习,Agent 安全,多模态对齐,深度研究代理.
教程｜project-nomad 离线 AI 工具箱：灾难 / 野外场景
完全离线的 AI 工具箱：医疗 / 维修 / 烹饪 / 导航 / 通讯 / 心理，灾难和偏远场景必备。
教程｜Hugging Face Spaces 免费部署 AI Demo：3 分钟上线
用 Gradio / Streamlit 在 HF Spaces 上免费部署 AI 应用，支持 GPU 加速（限额）。
教程｜Llama 3.3 70B 本地部署：M3 Max 上 20+ tokens/sec 实战
用 llama.cpp + Ollama 在 Apple Silicon 上跑 Llama 3.3 70B-Q4，1M 上下文，性价比分析。
工具速递｜open-notebook：开源 NotebookLM，模型自由
TypeScript 写，支持多模态源、播客生成、自定义 LLM、跨笔记本搜索。
工具速递｜hermes-agent：会「成长」的 AI Agent 框架
NousResearch 出品，原生支持 MCP，主打渐进式扩展。从个人助理到企业级复杂任务。
论文解读｜arXiv 2606.07313 SV-Detect：用 Steering Vector 检测 AI 文本
研究者从 frozen LLM 的 hidden representation 提取「人类 vs AI」分离方向。在跨域、跨模型、跨编辑攻击下表现稳健。
论文解读｜arXiv 2606.07392 Online Pandora’s Box：上下文 LLM Cascading 在线决策
研究者把 LLM 串接建模为 Online Pandora's Box 问题，给出最优策略。在预算约束下 5-15% 性能提升。
论文解读｜arXiv 2606.07414 Sparsely Gated Linear Experts：稀疏门控线性专家
研究者去掉 MoE 专家的非线性，单神经元作为专家，可解释性大幅提升。Language modeling 性能更好。
论文解读｜arXiv 2606.07300 Phun-Bench：中文音韵理解评测
中文 LLM 能记住正确发音，但「灵活使用」音韵知识仍是难题。研究者从同音 / 押韵 / 音近 3 维度建 benchmark。
论文解读｜arXiv 2606.07488：心脏电生理个性化神经代理持续学习
研究者提出 CoMetaPNS：能用序贯数据持续学习、不灾难性遗忘、还能识别新数据来源的个性化心脏模拟器。
行业解读｜LightningLM 0.1V：单 8 卡训练 120B MoE，给小团队带来什么
arXiv 2606.07404 展示百亿 MoE 不再需要千卡集群。对中小 AI 创业公司的硬件策略有何影响？
快讯｜LightningLM 0.1V 120B MoE 单 8 卡节点训练完成，激活仅 5.93B
arXiv 2606.07404：研究者从 1.78B dense 种子一路训练到 120B 稀疏 MoE（460 routed experts），单 8 GPU 节点完成全流程。
快讯｜arXiv 2606.07502 EmbedFilter：零成本提升 LLM 文本嵌入质量
研究者发现 LLM 的解嵌矩阵里藏着一个「频繁但无信息」token 的子空间，过滤掉它能显著提升零样本文本嵌入。
开源项目｜project-nomad：离线生存 AI 工具箱
今日 +309 stars。TypeScript 写的离线 AI 工具箱，包含医疗、维修、烹饪、导航等模块，目标是灾难/偏远场景下的「全能 AI 助手」。
教程｜Hugging Face Spaces 免费部署 AI Demo：3 分钟上线
用 Gradio / Streamlit 在 HF Spaces 上免费部署 AI 应用，支持 GPU 加速（限额）。
教程｜Llama 3.3 70B 本地部署：M3 Max 上 20+ tokens/sec 实战
用 llama.cpp + Ollama 在 Apple Silicon 上跑 Llama 3.3 70B-Q4，1M 上下文，性价比分析。
教程｜用 HKVM-RAG 思路自建证据组织层：多跳问答 F1 提升 5-10 个点
arXiv 2606.07218 的方法实践：把「段落级密集检索」和「超图级证据组织」分离，多跳问答性能显著提升。
教程｜用 hermes-agent + Ollama 搭一个本地 Claude Code 替代
不依赖任何云 API，用 NousResearch 的 hermes-agent 配合本地 Hermes 3 模型，搭一个能写代码、改文件、跑命令的 AI 助理。