论文解读|arXiv 2606.07414 Sparsely Gated Linear Experts:稀疏门控线性专家
本周 arXiv 2606.07414 提出的 sgatlin(sparsely gated linear neurons) 是一个反直觉的发现:去掉 MoE 专家的非线性反而更好。
问题
代码:github.com/smonsays/sparsely-gated-linear
本周 arXiv 2606.07414 提出的 sgatlin(sparsely gated linear neurons) 是一个反直觉的发现:去掉 MoE 专家的非线性反而更好。
代码:github.com/smonsays/sparsely-gated-linear