快讯|LightningLM 0.1V 120B MoE 单 8 卡节点训练完成,激活仅 5.93B
arXiv 2606.07404:研究者从 1.78B dense 种子一路训练到 120B 稀疏 MoE(460 routed experts),单 8 GPU 节点完成全流程。
OpenAI/Anthropic/Google/Meta/DeepSeek/Qwen 等厂商模型发布
arXiv 2606.07404:研究者从 1.78B dense 种子一路训练到 120B 稀疏 MoE(460 routed experts),单 8 GPU 节点完成全流程。
研究者发现 LLM 的解嵌矩阵里藏着一个「频繁但无信息」token 的子空间,过滤掉它能显著提升零样本文本嵌入。
研究者发现 LLM 的解嵌矩阵里藏着一个「频繁但无信息」token 的子空间,过滤掉它能显著提升零样本文本嵌入质量。
中文 AI 圈里程碑:开源深度研究代理 DuMate-DeepResearch 在 DRB 上拿到 58.03%,与 OpenAI Deep Research 差距缩小到 6 个百分点。
LightningLM 0.1V 在单 8 卡节点上完成 120B 稀疏 MoE 全流程训练,激活参数只占 5%,训练 loss 1.78。
研究者把 DeepSeek-R1 在 AIME 2025 的 10247 个推理步骤全部标注分类:模型频繁在「回访中间结果」上打转,缺乏真正的回溯修正能力。
Anthropic Claude 4 Sonnet 公测两周,我们用 12 个真实任务做横向对比。重点关注:100 万 token 检索准确率、代码能力、工具调用稳定性、定价。
OpenAI 内部路线图泄露:GPT-5 主线任务(SWE-bench Verified)目标 85%,目前已达 80.3%。Codex 团队被要求把失败案例重做一遍。