清华团队提出傅里叶位置编码，突破长文本处理瓶颈，AI模型性能再升级

清华大学与上海AI Lab团队在ICML 2025会议上提出傅里叶位置编码（FoPE），针对RoPE在长文本处理中的周期延拓限制进行突破。研究发现RoPE因频谱损坏导致模型难以泛化至训练长度外，而FoPE通过傅里叶级数建模和直流分量优化，显著提升Transformer模型的长文本处理能力。实验显示FoPE在多项任务中超越RoPE，潜在应用涵盖AI领域的长视频生成、多模型协同及非AI领域的通信技术等。