企业官网建设流程全解析

2026 Nature Machine Intelligence：科学机器学习为什么不能只看固定数组？神经算子把网络放进函数空间

1. Paper Information

今天读的是 Nature Machine Intelligence 2026 论文Principled approaches for extending neural architectures to function spaces for operator learning。

• Paper: Principled approaches for extending neural architectures to function spaces for operator learning
• Journal: Nature Machine Intelligence, 2026
• Published: 2026-07-03
• DOI: https://doi.org/10.1038/s42256-026-01267-z
• Research question: 当任务本质上是“函数到函数”的映射时，如何把普通神经网络架构系统地扩展成 neural operators，而不是只在固定数组上拟合？

这篇文章的关键词是neural operator（神经算子）。它关心的不是“再造一个更大的网络”，而是一个更基础的问题：深度学习在图像和语言里很成功，是因为数据可以被组织成像素、token 或有限维向量；但科学计算里的许多对象不是有限维向量，而是连续函数。

比如温度场、流体速度场、电磁场、材料应力场，它们都依赖空间和时间坐标。我们在电脑里看到的网格，只是这些连续对象的采样。如果模型只学会了某个固定网格上的数组关系，换一个分辨率、换一个点云采样，模型学到的东西可能就变了。

2. Why is the old route not enough?

传统路线通常是这样的：

1. 把连续物理场采样成一个固定网格。
2. 把网格值当成图片或数组输入 CNN、GNN 或 transformer。
3. 输出另一个固定网格上的数组。

这条路线有一个隐含假设：数组索引就是问题本身。可是在科学问题里，数组索引只是坐标采样后的结果。两个网格分辨率不同，并不代表两个物理问题不同；它们可能只是同一个函数的粗细采样。

这会带来三个常见问题：

• 分辨率绑定：模型在 64 x 64 网格上训练，换到 128 x 128 网格时不一定稳定。
• 感受野变形：如果卷积或邻居聚合按索引定义，网格变密后，同样数量的邻居对应的物理区域会缩小。
• 输出不够灵活：很多下游计算需要在任意坐标查询、求导或积分，而固定数组输出不天然支持这一点。

PINNs 解决了另一类问题：用神经网络表示某一个 PDE 的解函数，并用物理方程约束训练。但 operator learning 的目标更进一步：它想学习一个映射规则，输入一个函数，输出另一个函数。也就是说，它不是只拟合一条解曲线，而是学习一类问题的解算子。

3. Core method

这篇论文的核心变化可以概括为一句话：

不要先问“这个数组怎么喂给网络”，而要先问“这个网络层在连续坐标上对应什么算子”。

普通神经网络处理有限维向量：

x⟼F(x) x \longmapsto F(x)x⟼F(x)

这里的 (x) 是一个有限维输入，比如一张图片的像素数组或一个特征向量，(F(x)) 是有限维输出。

神经算子处理的是函数到函数的映射：

f⟼g f \longmapsto gf⟼g

这里 (f) 和 (g) 是函数。输入可以是不同采样点上的函数值，输出也应该能在不同坐标上被查询。关键不是让模型“勉强接受不同长度数组”，而是让模型近似同一个底层函数空间映射。

论文总结了三个设计原则：

• 离散化无关：同一个底层函数用不同网格采样时，模型输出应该保持一致，误差主要来自离散化精度。
• 固定参数数目：模型参数不应该随着网格点数量线性增长。
• 算子逼近能力：模型族应当能逼近足够规则的函数到函数映射。

4. Mechanism breakdown

最有代表性的机制是把“按索引求和”改造成“按坐标积分”。

在普通图网络或局部聚合里，某个节点 (j) 的新表示可以写成：

gj=∑i∈NeighbjKij(fi,fj) \mathbf{g}_j = \sum_{i \in \mathrm{Neighb}_j} K_{ij}(\mathbf{f}_i,\mathbf{f}_j)gj​=i∈Neighbj​∑​Kij​(fi​,fj​)

这条公式的直觉很简单：从邻居节点 (i) 收消息，然后把消息加起来。问题是，这里的邻居往往由图边或索引关系定义。网格一变，邻居集合和物理尺度就可能变。

神经算子的做法是把它提升到连续域：

g(yj)=∫x∈D(yj)K(x,yj,f(x),f(yj)) dx g(y_j)=\int_{x \in D(y_j)} K(x,y_j,f(x),f(y_j))\,dxg(yj​)=∫x∈D(yj​)​K(x,yj​,f(x),f(yj​))dx

这里D(yj)D(y_j)D(yj​)是坐标yjy_jyj​附近的物理邻域，KKK是可学习的核函数。注意，邻域不再只是“第几个点旁边的点”，而是坐标空间中的区域。

实际计算时仍然需要离散化，于是积分会变成带求积权重的求和：

g(yj)=∑i:xi∈D(yj)K(xi,yj,f(xi),f(yj))Δi g(y_j)=\sum_{i:x_i\in D(y_j)} K(x_i,y_j,f(x_i),f(y_j))\Delta_ig(yj​)=i:xi​∈D(yj​)∑​K(xi​,yj​,f(xi​),f(yj​))Δi​

其中Δi\Delta_iΔi​是求积权重，表示采样点xix_ixi​在积分近似中的权重。这个细节很关键：模型不是简单地把邻居平均，而是用坐标和权重近似同一个连续积分算子。

4.1 Formula lens

最值得记住的是第三个公式：

g(yj)=∑i:xi∈D(yj)K(xi,yj,f(xi),f(yj))Δi g(y_j)=\sum_{i:x_i\in D(y_j)} K(x_i,y_j,f(x_i),f(y_j))\Delta_ig(yj​)=i:xi​∈D(yj​)∑​K(xi​,yj​,f(xi​),f(yj​))Δi​

• f(xi)f(x_i)f(xi​)：输入函数在采样点 (x_i) 的值。
• g(yj)g(y_j)g(yj​)：输出函数在查询点 (y_j) 的值。
• D(yj)D(y_j)D(yj​)：围绕查询点的坐标邻域。
• K(⋅)K(\cdot)K(⋅)：可学习的局部作用核。
• Δi\Delta_iΔi​：求积权重，用来把离散求和变成对连续积分的近似。

这条公式背后的观念是：深度学习层不必永远是数组索引上的操作。它可以先被理解成连续坐标上的函数变换，再根据手头的网格、点云或采样方式离散化。

5. How to read the experiments?

这篇论文的证据重点不是“某个模型在某个榜单上赢了多少点”，而是展示不同架构元素如何被系统地提升到函数空间。

可以这样读：

• 对卷积来说，感受野应当属于物理域，而不是固定数量的像素邻居。
• 对图网络来说，消息传递应当考虑坐标、邻域和求积权重，而不是只看图边。
• 对 transformer 来说，注意力本来就是全局聚合，但要进入连续极限，就需要在聚合和归一化中处理采样权重。
• 对 encoder-decoder 来说，瓶颈表示也不能只绑定某个固定离散网格。

这类证据支持的是一个设计结论：如果任务本质上是函数到函数映射，那么架构设计必须尊重坐标、采样和离散化误差。

6. Engineering or research implications

对工程实践来说，这篇论文的启发不是“立刻把所有 CNN 换成 neural operator”，而是提供了一个检查清单：

• 你的输入是否只是某个连续对象的采样？
• 训练分辨率和部署分辨率是否可能不同？
• 输出是否需要在任意坐标上查询、求导或积分？
• 模型里的邻域、感受野、归一化是否依赖数组长度？
• 换网格时，模型表示的是同一个物理问题，还是另一个数组问题？

如果这些问题的答案指向连续函数，那么 neural operator 的设计原则就值得优先考虑。

对研究来说，真正有价值的是“架构迁移”的路线。过去深度学习依赖卷积、注意力、图消息传递等归纳偏置。现在的问题是：这些成功组件怎样在函数空间里保留原来的优势，同时避免被固定离散化困住？

7. Do not overinterpret

边界也必须写清楚。

第一，神经算子不是万能 PDE 求解器。它仍然需要数据、训练分布、合理的数值设置和任务验证。

第二，离散化无关不等于完全不受离散化影响。更准确的说法是：模型设计应当让不同离散化下的输出近似同一个底层函数空间映射，剩余差异应随离散化改善而下降。

第三，科学应用里还要考虑守恒律、边界条件、稳定性、外推区域和物理可解释性。只看神经网络误差曲线是不够的。

第四，跨分辨率能力通常来自架构、训练数据和任务结构共同作用，不能把“用了 neural operator”直接等同于“自然会泛化”。

8. One-sentence summary

神经算子的真正价值不是把数组模型做大，而是把科学机器学习从“拟合一个固定网格”推进到“学习一个函数到函数的规则”；但它最可靠的使用方式仍然是和数值验证、物理约束、分布外测试一起使用。

References

1. Berner, J., Liu-Schiaffini, M., Kossaifi, J. et al. Principled approaches for extending neural architectures to function spaces for operator learning. Nature Machine Intelligence (2026). https://doi.org/10.1038/s42256-026-01267-z
2. Raissi, M., Perdikaris, P. and Karniadakis, G. E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics 378, 686-707 (2019). https://doi.org/10.1016/j.jcp.2018.10.045
3. Karniadakis, G. E. et al. Physics-informed machine learning. Nature Reviews Physics 3, 422-440 (2021).
4. Neural operators for accelerating scientific simulations and design. Nature Reviews Physics (2024).
5. Transformer for partial differential equations’ operator learning. TMLR (2023).