论文 | ICML 2026 | 功能性注意力（Functional Attention）：从点对亲和度到函数对应关系 —— 注意力机制的新范式

一句话看懂：慕尼黑工业大学、牛津大学等研究团队在ICML 2026提出Functional Attention，将传统Transformer的点对点注意力重新定义为函数空间间的线性映射。该方法在PDE求解、3D点云分割等任务上性能超越现有基准，并展现出更强的分辨率不变性和泛化能力，为算子学习和AI交叉学科提供了新范式。

事件核心：发生了什么

由慕尼黑工业大学、牛津大学、德克萨斯大学奥斯汀分校联合发表的论文提出了Functional Attention（FUNCATTN）机制。传统注意力机制将连续函数离散化为独立token，计算点对点亲和度，复杂度O(n²)且丢失函数结构。FUNCATTN引入谱变换：将查询（Q）、键（K）、值（V）投影到自适应基函数上，在谱域求解Tikhonov正则化最小二乘问题得到最优线性传输算子，再逆变换回空间域。自适应基通过全连接层加Softmax学习，当温度参数趋向于零时可退化为经典P₀元，保证了理论合理性。

论文在四个任务上验证了有效性：少样本正弦回归中，FUNCATTN初始化即能捕捉函数结构；Darcy流和Navier-Stokes方程求解中，测试分辨率变化时误差增长远小于传统方法；ShapeNet部件分割mIoU达87.2%，优于Point Transformer的85.7%和PointNet++的84.3%；在物理模拟的分布外泛化任务中，也显著优于基线。论文代码已在GitHub开源。

为什么重要

Functional Attention将注意力机制从离散token匹配提升为连续函数映射，直接回应了算子学习三大瓶颈：计算复杂度高、忽略函数结构、分辨率不变性差。传统傅里叶神经算子（FNO）依赖固定基函数，表达能力受限；点积注意力则缺乏几何与物理归纳偏置。FUNCATTN通过自适应基学习，可编码数据本身的几何或物理结构，为物理信息神经网络（PINN）和几何深度学习提供了新基础。

从技术路线看，该方法将几何处理中的“函数映射”框架推广到一般函数空间，为处理非欧几里得数据（如流形、蛋白质结构）打开了统一视角。其Lipschitz连续性由正则化参数控制的理论保证，也为训练稳定性提供了可验证条件。这不仅仅是注意力机制的改进，更意味着AI与数学、物理、几何领域的交叉融合有了更坚实的理论桥梁。

对用户/开发者/创作者的影响

对于从事科学计算和物理模拟的开发者，FUNCATTN可直接应用于PDE求解、气候模拟、材料跨尺度建模等场景，其分辨率不变性意味着训练后的模型可适配不同精度的输入数据，降低数据预处理成本。对于AI框架开发者，该机制提供了一种可替代标准点积注意力的新算子，可在Transformer架构中直接替换注意力模块，有望在有限数据或高分辨任务上提升效率。对于AI跨学科研究者，论文展示的“将领域经典框架抽象推广”的方法论，为设计具有强归纳偏置的模型提供了可复制的范例，特别是在计算生物学、计算流体力学等需要函数级理解的领域。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

目前公开信息显示，该工作仍处于学术验证阶段，尚未有商业产品落地。但开源代码和论文细节已足够让研究团队进行复现和二次开发。

值得关注的后续

第一，自适应基学习的理论逼近性质是否能有严格证明，这将决定该方法能否像傅里叶基那样成为标准工具。第二，当前实验集中在2D和3D问题，扩展到高维函数空间（如时间序列、高维物理场）的计算效率能否维持——谱变换和基学习带来的额外开销是否能被实际加速收益覆盖。第三，是否会出现将FUNCATTN与FNO、Galerkin Transformer等框架融合的变体，以及英伟达、Google DeepMind等机构是否会在科学计算场景中跟进应用。

来源：Readhub · AI

论文 | ICML 2026 | 功能性注意力（Functional Attention）：从点对亲和度到函数对应关系 —— 注意力机制的新范式