快讯｜arXiv 2606.07502：EmbedFilter 用「解嵌矩阵」当文本嵌入的特征透镜

arXiv 2606.07502（2026-06-05）：研究者发现一个反直觉现象——LLM 直接输出的文本嵌入总是偏向「高频但无信息」的 token，「the」、「a」、标点等占据了过多空间。

解决方案：EmbedFilter，一个简单的线性变换。它利用 LLM 的解嵌矩阵（unembedding matrix）作为「特征透镜」，过滤掉这个无信息子空间。

效果：

• 多个 LLM backbone 上零样本下游任务全面提升
• 附带「维度压缩」效果——嵌入维度可显著降低而不损质量
• 降低 index 存储、加速检索

对 RAG 团队的实操：如果还在用 LLM hidden state 直接做嵌入，强烈建议加 EmbedFilter，零成本改造。