快讯|arXiv 2606.07502 EmbedFilter:零成本提升 LLM 文本嵌入质量
研究者发现 LLM 的解嵌矩阵里藏着一个「频繁但无信息」token 的子空间,过滤掉它能显著提升零样本文本嵌入。
DeepLab tag – tech
研究者发现 LLM 的解嵌矩阵里藏着一个「频繁但无信息」token 的子空间,过滤掉它能显著提升零样本文本嵌入。
arXiv 2606.07218 的方法实践:把「段落级密集检索」和「超图级证据组织」分离,多跳问答性能显著提升。
手把手用 turbovec(基于 TurboQuant)搭一个 1000 万向量的本地 RAG 索引,4GB 内存,p99 5ms。
arXiv 2606.07218(2026-06-05):用键值分离的超图作为证据组织层,在 2WikiMultiHopQA 上比 KG-PPR 提升 +3.4 F1,ColBERTv2 上再叠加 +11.1。
RyanCodrai 今日 +1554 stars 的开源项目。TurboQuant 量化技术 + Rust 高性能实现,号称比 HNSW 快 10x、内存省 80%。
研究者发现 LLM 的解嵌矩阵里藏着一个「频繁但无信息」token 的子空间,过滤掉它能显著提升零样本文本嵌入质量。