华为鲲鹏再迎技术突破！MoLE架构让端侧大模型内存搬运效率狂飙千倍

华为诺亚方舟实验室与北京大学合作提出新型端侧大模型架构MoLE，通过查找表替代传统矩阵运算，将内存搬运代价降低1000倍。该技术解决了MoE架构在端侧部署时显存压力大、推理延迟高等问题，在批量解码场景下表现显著优于传统方案，实验显示其性能与MoE相当但延迟更低，具备显著的存储和计算优势。