快讯｜arXiv 2606.07502 EmbedFilter：零成本提升 LLM 文本嵌入质量

arXiv 2606.07502（2026-06-05）发现：LLM 直接输出的文本嵌入总是偏向”高频但无信息”的 token（the、a、标点等），占据过多空间。

解决方案：EmbedFilter，一个简单线性变换。它利用 LLM 的解嵌矩阵过滤这个无信息子空间。

效果：

• 多个 LLM 上零样本下游任务全面提升
• 附带维度压缩——嵌入维度可显著降低而不损质量
• 降低 index 存储、加速检索

对 RAG 团队：如果还在用 LLM hidden state 直接做嵌入，加 EmbedFilter 零成本改造。