企业官网建设流程全解析

1. 项目概述：当机器学习遇上等离子体湍流

在磁约束核聚变研究领域，有一个问题像幽灵一样困扰着物理学家和工程师们：如何准确、快速地预测等离子体中的湍流热通量？这直接关系到未来聚变堆的能量约束性能。传统的全物理模拟，比如基于回旋动理学方程的GX代码，精度虽高，但计算成本令人咋舌——一次模拟动辄需要消耗数万甚至数十万CPU小时。这就像为了预测明天的天气，你需要用超级计算机模拟地球上每一缕空气的流动，显然不现实。我们迫切需要一种“快照”式的代理模型，能在几秒钟内给出可靠的预测，同时还能告诉我们“为什么”会这样。

近年来，机器学习，特别是深度学习，为这个问题打开了一扇新窗。但直接把图像识别那套CNN模型搬过来是行不通的。等离子体的磁面几何数据在环向（z方向）具有天然的循环平移不变性——简单说，你把一个磁面沿着环向转一圈，物理规律不会变。这就要求我们的模型必须具备“旋转不变”的慧眼，不能因为特征在z坐标上的位置不同就给出不同判断。我们的核心任务，就是构建一个既快又准、还能保持物理对称性的热通量预测模型。

本项目深入探索了两条相辅相成的技术路径。第一条是“黑盒”但强大的深度学习方法：我们设计了一种具备循环不变性的卷积神经网络架构，并利用超参数优化工具DeepHyper进行自动化搜索，最终通过集成学习策略融合了100个最优模型，在测试集上达到了R²=0.989的惊人精度，预测速度相比全物理模拟提升了四个数量级。第二条是“白盒”且可解释的特征工程方法：我们从原始的7个磁几何参数出发，通过一系列等变操作和不变约简，手工构建了超过一百万个衍生特征，再利用Spearman相关性分析和前向序列特征选择等技术，筛选出与热通量最相关的物理特征，例如“坏曲率区域的磁面压缩度”，为预测结果提供了清晰的物理解释。

2. 核心思路与方案设计：双管齐下的预测框架

面对湍流热通量预测这个复杂问题，我们并没有押宝单一方法，而是设计了一个“模型预测”与“物理洞察”并重的双轨框架。这背后的逻辑很直接：既要追求极致的预测性能，服务于快速评估和优化设计；也要理解模型决策的依据，确保其符合物理直觉，避免沦为不可信的“数字炼金术”。

2.1 问题定义与数据预处理策略

我们的预测目标是非线性热通量Q。原始数据来自GX代码的全物理模拟，包含“固定梯度”和“变化梯度”两类数据集。前者所有样本具有相同的温度和密度梯度，专注于几何效应；后者梯度可变，更接近真实物理场景。数据预处理第一个棘手问题是：如何处理那些稳定态（Q很小甚至为负）的样本？直接对Q或ln(Q)做回归，会因数值不稳定或无法计算而失败。

我们尝试并对比了多种方案：

1. 分类-回归两步法：先用分类器区分稳定与不稳定区域，只在被预测为不稳定的样本上训练回归模型预测ln(Q)。阈值设为Q>0.1，经验表明结果对阈值不敏感。
2. 自定义损失函数：仅在非稳定区域惩罚Q的预测误差，在稳定区域只惩罚预测为正的误差。但这要求回归方法支持自定义损失。
3. 阈值截断法：将所有小于阈值的Q设为该阈值，然后进行回归。这种方法简单，但会在阈值处引入预测函数的不平滑性，对决策树模型影响不大，但会损害神经网络等平滑模型的精度。
4. 变换目标法：使用目标量 ˆQ = ln(1 + Q)。当Q很大时，ˆQ ≈ ln Q，注重相对误差；当Q很小时，ˆQ ≈ Q，注重绝对误差。

实测下来，方法1、3、4的结果非常接近。我们最终选择了分类-回归两步法。它的优势在于清晰地将问题解耦：分类器本身可以做得非常可解释（比如用决策树），直接告诉我们哪些几何因素决定了临界梯度；回归器则专注于在不稳定区域内精确量化热通量大小。这种策略也避免了在数据预处理中引入人为的不连续性。

实操心得：对于存在大量零值或极小值的物理量预测，直接回归往往效果不佳。分类-回归两步走是经过实践检验的可靠策略。选择Q=0.1作为阈值并非严格物理定义，但作为一个工程上的分割点非常有效，且模型性能对该值不敏感，这增强了方案的鲁棒性。

2.2 循环不变性CNN架构设计

这是本项目在模型设计上的核心创新点。我们希望CNN像人眼一样，识别一个磁面几何特征时，不关心这个特征出现在环向的哪个相位上。我们借鉴了计算机视觉中实现平移不变性的经典思路：卷积+池化。

• 一维卷积与池化：与处理图像的二维卷积不同，我们的输入是沿环向z离散化的磁几何参数剖面（共96个网格点）。我们使用一维卷积层（Conv1D）和最大池化层（MaxPool1D）交替堆叠。卷积层负责提取局部空间模式，它是一个等变操作——输入平移，输出也相应平移。池化层则逐步降低空间分辨率，最终，经过足够多的“卷积-池化”对后，网络深层特征将近似具备不变性。
• 数据增强强化：仅在架构上保证不变性还不够。我们在训练时，对输入序列进行了大量的随机循环平移（即沿着z轴滚动数据），作为数据增强手段。这强迫网络必须学习那些不依赖于绝对相位的特征模式，从根本上杜绝其“记忆”特定位置。
• 网络结构三组件：我们的最终架构如图7所示，包含三个清晰的部分：
  1. 特征提取模块：由5个相同的块串联而成，每个块包含Conv1D、批归一化（BatchNorm）和ReLU激活，最后接一个MaxPool1D。这5次池化将空间维度从96降至3（96 / 2^5 = 3），极大地压缩了空间信息。
  2. 全局平均池化：对剩余的3个空间点进行全局平均池化，将每个特征通道压缩为一个标量。这是实现完全平移不变性的关键一步，也大幅减少了参数。
  3. 全连接预测层：由两个全连接层构成，将聚合后的高级特征映射到最终的热通量预测值。注意，温度和密度梯度这两个不随z变化的全局标量参数，被直接“喂”给了第一个全连接层，跳过了卷积处理。

2.3 超参数优化与集成学习策略

即使有了好的架构，超参数（如卷积核大小、通道数、学习率等）的设置依然是个黑盒。我们的基模型有7个关键超参数需要调优（见表1），可能的组合超过10^17种，穷举搜索是天文数字。

• DeepHyper自动化搜索：我们采用了DeepHyper这个专为高性能计算环境设计的超参数优化工具。它采用贝叶斯优化作为搜索策略，其核心是一个“管理节点-工作节点”的异步并行框架。管理节点维护一个代理模型（如随机森林）来建模超参数配置与模型性能（R²分数）的关系，并通过采集函数（如期望提升）推荐最有潜力的下一组参数；工作节点则并行地训练和评估这些配置，将结果返回更新代理模型。我们动用了64块GPU，在约9小时内评估了443种不同的模型配置。
• 集成学习构建稳健模型：超参数搜索完成后，我们不是简单地选择分数最高的单个模型，而是选取了R²排名前100的模型，构建了一个集成模型。集成学习的优势在于“三个臭皮匠，顶个诸葛亮”：它通过平均多个基��型的预测，有效降低了模型的方差，提高了在未知数据上的泛化能力和稳定性。对于物理预测问题，稳定性往往比追求极限的单一指标更重要。

2.4 手动特征工程与可解释性探索

与端到端的CNN“黑盒”并行，我们开展了一项大规模的“白盒”特征工程实验，目标是发现与热通量强相关的、具有明确物理意义的特征组合。

• 特征构造的数学框架：为了保证构造出的特征具备循环平移不变性，我们遵循一个严格的数学流程：等变操作 + 不变约简。
  • 原始特征：7个随z变化的几何量 + 1个局部磁剪切，共8个。
  • 等变操作：对上述每个特征函数，施加一系列操作，如取绝对值、求导、ReLU、平方、乘以或除以磁场强度B等。这些操作本身不破坏平移对称性。
  • 不变约简：对经过等变操作后的函数，施加23种不同的标量化操作，如取最大值、最小值、平均值、方差、偏度、L1范数、特定分位数、超过阈值的点数、以及傅里叶变换后最长波模的振幅等。这些操作将z方向的函数最终压缩为一个不随相位变化的标量。
  • 组合爆炸：我们允许进行“一元操作 -> 两两乘积 -> 再次一元操作 -> 最终约简”这样的组合，最终生成了超过100万个候选特征。
• 三层筛选与重要性评估：
  1. Spearman相关性初筛：计算每个特征与热通量（取对数后）的Spearman秩相关系数。这是一种快速、单调不变的相关性度量，能第一时间发现强相关信号。
  2. 前向序列特征选择：使用XGBoost或K近邻等回归器，从零开始，每次添加一个能使模型性能（五折交叉验证的R²）提升最大的特征。特征被选中的顺序直接反映了其重要性。
  3. SHAP值分析：对FSFS选出的最终模型，计算SHAP值，量化每个特征对单个预测的具体贡献。

这套方法虽然预测精度（R²最高约0.92）略低于CNN集成模型（R²=0.989），但其最大的价值在于可解释性。它像一台显微镜，让我们能窥见机器学习模型做出判断的物理依据。

3. 核心实现细节与实操要点

有了清晰的框架，接下来就是落地实现的细节。这里充斥着大量工程选择和经验性技巧，直接决定了模型的成败。

3.1 循环不变性CNN的实现细节

我们的模型使用PyTorch实现。以下是几个关键实现要点：

• 一维卷积的配置：Conv1d层的padding模式设置为‘same’，以保持空间维度在卷积后不变（直到池化层才下采样）。kernel_size在2到16之间搜索，最终优选值集中在3-5这个范围，这与磁几何特征的相关长度尺度是匹配的。
• 批归一化的位置：在每个卷积层之后、ReLU激活之前立即加入BatchNorm1d层。这对于稳定深度网络的训练、加速收敛至关重要，尤其是在我们使用较小批量大小（16-64）的情况下。
• 全局平均池化的替代方案：在特征提取模块后，我们尝试过直接展平（Flatten）特征图送入全连接层，但这样会引入大量参数，且特征与位置绑定。改用AdaptiveAvgPool1d(1)进行全局平均池化，不仅实现了严格的不变性，还将特征维度从[batch, channels, length]压缩到[batch, channels]，参数量大减，有效防止了过拟合。
• 跳过连接处理标量输入：温度和密度梯度（a/LT,a/Ln）是全局标量。在实现时，我们将这两个参数复制扩展，使其与经过全局平均池化后的特征图在通道维度上拼接（torch.cat），再送入全连接层。这是一种简单高效的融合多模态信息的方式。

import torch import torch.nn as nn class CyclicInvariantCNN(nn.Module): def __init__(self, conv_channels, fc_dims, kernel_size): super().__init__() # 特征提取模块：5个卷积块 self.conv_blocks = nn.Sequential() in_channels = 7 # 7个z-dependent几何特征 for i in range(5): self.conv_blocks.add_module(f'block_{i}', nn.Sequential( nn.Conv1d(in_channels, conv_channels, kernel_size, padding='same'), nn.BatchNorm1d(conv_channels), nn.ReLU(), nn.MaxPool1d(2) # 每次池化，空间长度减半 )) in_channels = conv_channels # 全局平均池化 self.global_pool = nn.AdaptiveAvgPool1d(1) # 全连接预测层 # 输入维度: conv_channels (来自池化) + 2 (来自标量梯度) self.fc = nn.Sequential( nn.Linear(conv_channels + 2, fc_dims), nn.BatchNorm1d(fc_dims), nn.ReLU(), nn.Linear(fc_dims, 1) # 输出预测的 ln(Q) ) def forward(self, x_geo, x_scalar): # x_geo: [batch, 7, 96] # x_scalar: [batch, 2] features = self.conv_blocks(x_geo) # 经过5次池化后 -> [batch, conv_channels, 3] features = self.global_pool(features).squeeze(-1) # -> [batch, conv_channels] combined = torch.cat([features, x_scalar], dim=1) # -> [batch, conv_channels+2] output = self.fc(combined) return output

注意事项：在训练时，务必对输入数据x_geo施加随机循环平移。可以使用torch.roll函数，并指定dims=2（假设维度为[batch, channels, length]）。数据增强的比例需要足够高，我们建议在每个epoch中，对每个batch的数据都进行随机平移，以确保模型充分学习不变性。

3.2 DeepHyper超参数优化实战

将模型丢给DeepHyper进行优化，并非一劳永逸。合理的搜索空间定义和运行配置是关键。

• 搜索空间定义：我们定义的搜索空间如表1所示。其中，学习率（learning_rate）采用对数均匀采样（log-uniform），因为学习率对性能的影响通常是数量级敏感的。scheduler_patience和scheduler_factor是用于控制PyTorch的ReduceLROnPlateau学习率调度器的参数，它们也被纳入优化，以实现动态的、自适应的训练过程。
• 目标函数设计：DeepHyper需要最大化一个目标函数。我们直接使用验证集上的R²分数作为目标。这里有一个细节：由于我们采用了分类-回归两步法，在优化回归模型时，目标函数是在“被分类器判定为不稳定”的子数据集上计算的R²。这确保了优化方向与最终任务一致。
• 并行化与资源管理：我们使用64块NVIDIA A100 GPU进行异步并行评估。DeepHyper的“单管理节点-多工作节点”模式非常适合这种场景。管理节点运行优化算法，工作节点独立地训练和评估模型。关键是要确保每个工作节点的任务（即一次模型训练）是独立的，且中间结果（如模型检查点、日志）不会冲突。我们使用独立的临时目录来存储每个评估任务的输出。
• 结果分析与集成：搜索完成后，DeepHyper会输出所有评估过的配置及其性能。我们按R²排序，选取前100名。集成预测采用简单平均法：对于一个新的输入，让这100个模型分别进行预测，然后取它们的平均值作为最终输出。同时，可以计算这100个预测的标准差，作为预测不确定性的一个粗略估计。图9中的误差棒正是基��此。

3.3 手动特征工程的自动化流水线

手动构造百万量级的特征，手动计算相关性，再手动进行特征选择，是不可想象的。我们构建了一个自动化的特征工程流水线。

1. 特征生成器：我们编写了一个函数，接收原始的8个函数（7个几何+1个剪切），应用预定义的等变操作和约简操作库，递归地生成所有可能的组合。为了避免数值问题（如除以零），在生成过程中需要进行合法性检查。
2. 并行相关性计算：计算超过100万个特征与目标值的Spearman相关性是一个计算密集型任务。我们使用joblib库进行多进程并行计算，将特征列表分块，显著加速了过程。
3. 基于XGBoost的FSFS实现：前向序列特征选择的核心是迭代训练大量模型。我们选择XGBoost是因为其训练速度快，且能很好地处理特征间的交互。在每一步，我们需要用当前已选特征集合加上一个候选特征，训练一个XGBoost模型，并用五折交叉验证评估其性能。这里的关键优化是特征预筛选：在每一步，我们只考虑与目标残差（当前模型预测误差）相关性最高的前K个候选特征（例如K=1000），而不是遍历全部百万特征，这在不损失精度的前提下大幅减少了计算量。
4. 特征表达与存储：每个生成的特征都是一个数学表达式（如mean(Θ(B × κ · ∇y)|∇x|^4 / B^2)）。我们需要一种方式将其序列化并存储。我们使用字符串表达式，并结合eval在一个安全的命名空间下进行计算。更工程化的做法是构建一个语法树，但字符串表达式对于本研究规模的探索已经足够。

import numpy as np import xgboost as xgb from sklearn.model_selection import KFold def forward_sequential_feature_selection(all_features, target, initial_set=[], top_k=1000): """ 简化版的前向序列特征选择实现 all_features: DataFrame, 每一列是一个特征 target: 目标值数组 initial_set: 初始已选特征名列表 top_k: 每步预筛选的候选特征数 """ selected = list(initial_set) available = [f for f in all_features.columns if f not in selected] scores_history = [] while available: best_score = -np.inf best_feature = None # 预筛选：计算当前残差与所有可用特征的相关系数 if selected: model = xgb.XGBRegressor() model.fit(all_features[selected], target) residuals = target - model.predict(all_features[selected]) else: residuals = target # 计算残差与每个可用特征的Spearman相关系数绝对值 corrs = {} for f in available: corrs[f] = abs(spearmanr(residuals, all_features[f])[0]) # 选取相关性最高的top_k个特征作为本轮候选 candidates = sorted(corrs.items(), key=lambda x: x[1], reverse=True)[:top_k] candidate_features = [c[0] for c in candidates] # 评估每个候选特征 for feat in candidate_features: current_features = selected + [feat] cv_scores = [] kf = KFold(n_splits=5, shuffle=True, random_state=42) for train_idx, val_idx in kf.split(all_features): X_train, X_val = all_features.iloc[train_idx][current_features], all_features.iloc[val_idx][current_features] y_train, y_val = target[train_idx], target[val_idx] model = xgb.XGBRegressor(n_estimators=100, max_depth=5) model.fit(X_train, y_train) score = model.score(X_val, y_val) # R² score cv_scores.append(score) mean_score = np.mean(cv_scores) if mean_score > best_score: best_score = mean_score best_feature = feat if best_feature: selected.append(best_feature) available.remove(best_feature) scores_history.append(best_score) print(f"Step {len(selected)}: Added '{best_feature}', CV R² = {best_score:.4f}") else: break return selected, scores_history

4. 结果分析与物理洞察

模型训练和优化完成后，我们得到了两套成果：一套是高性能的CNN集成预测模型，另一套是揭示了关键物理关联的特征列表。

4.1 CNN集成模型的性能表现

如图9所示，由100个最优CNN模型构成的集成模型，在包含9785个样本的独立测试集上，取得了R² = 0.989的卓越成绩。预测值与真实值在对数坐标上紧密分布在对角线两侧。误差棒（±1σ）显示了集成模型内部预测的离散程度，在大部分区域都很小，表明模型共识度高，预测稳定。

• 推理速度：在单块NVIDIA A100 GPU上，100个模型对9785个样本进行推理的总时间为1031秒。平均下来，单个CNN模型预测一个样本仅需0.001秒，整个集成模型也只需0.1秒。与生成训练数据的全物理回旋动理学模拟相比，单CNN模型加速了约40万倍，集成模型加速了约4000倍。这为磁约束位形的快速筛选和优化提供了现实可能性。
• 超参数优化过程分析：图8展示了DeepHyper的搜索过程。可以看到，在搜索初期（前5000秒），探索的模型性能（R²）分布很广，从0.5到0.9都有。随着贝叶斯优化模型对搜索空间的理解加深，它开始更多地“利用”已知的高性能区域，后期探索的模型性能普遍集中在0.9以上。底部的直方图显示，最终入选Top 100的模型，其参数量（模型大小）分布与全部443个模型相比并无显著差异，说明高性能并非由模型复杂度单一决定，而是源于超参数组合的整体协调。

4.2 特征工程揭示的关键物理因素

手动特征工程虽然预测精度稍逊（最佳R²约0.92），但其价值在于提供了清晰的物理解释。表2、表3和表4汇总了最重要的发现。

1. 首要几何因子：坏曲率区域的磁面压缩。无论是Spearman相关性分析（表2），还是FSFS筛选出的前几个几何特征（表3），都反复出现一个核心模式：Θ(B × κ · ∇y) * |∇x|^n / B^m。这里Θ是Heaviside函数，B × κ · ∇y的正负号区分了磁场的“好曲率”和“坏曲率”区域。|∇x|是磁面压缩因子。这个特征的含义是：在坏曲率区域（即磁阱中不利于稳定的区域），磁面压缩程度越大，湍流热通量就越高。这与Mynick、Xanthopoulos等人的理论预期完全一致：压缩增大了真实空间的温度梯度|∇T| = (dT/dx)|∇x|，从而增强了不稳定性的自由能源。
2. 次要几何因子：测地曲率。在FSFS的后续步骤中（如表3、4），另一个特征开始凸显：(B × ∇B · ∇x) * |∇x|^n / B^m。B × ∇B · ∇x本质上是测地曲率（乘以一个因子）。测地曲率在回旋动理学方程中，特别是对于带状流（zonal flow）的动力学起着关键作用。它的重要性暗示了带状流对湍流的调节作用可能是影响热通量的一个重要物理机制。这与近年来的一些理论研究形成了呼应。
3. 驱动梯度的重要性：在变化梯度数据集中，FSFS筛选出的前两个特征永远是温度梯度a/LT和密度梯度a/Ln。这完全符合线性理论——温度梯度是ITG不稳定的主要驱动源，而密度梯度通过影响极化漂移对稳定性有重要调制作用。这证明了我们的数据驱动方法能够复现最基本的物理规律。
4. 特征的冗余与鲁棒性：表4揭示了一个有趣的现象：在FSFS的每一步，都有许多在数学形式上略有不同（例如|∇x|的幂次不同，或B的幂次不同）的特征，它们给出的R²分数几乎完全相同。这告诉我们，模型识别的是核心的物理模式，而非精确���数学表达式。我们不应过分纠结于特征中具体的指数是2还是4，而应关注其一致的物理内涵——即坏曲率区域的磁面压缩和测地曲率。

4.3 两种方法的对比与融合

在实际应用中，这两种方法并非互斥，而是可以形成闭环。例如，我们可以用CNN集成模型作为主力预测工具，在需要深入理解某个特定预测或优化方向时，调用特征工程方法分析其背后的主导物理因素。此外，从特征工程中发现的强相关特征（如mean(Θ(B × κ · ∇y)|∇x|^4 / B^2)），也可以作为额外的标量输入特征，与原始的z-dependent剖面一起输入CNN，可能进一步提升其性能和可解释性。

5. 常见问题、挑战与解决方案

在实际操作这套流程时，我们遇到了不少坑，也总结出一些普适性的经验。

5.1 数据准备与划分的陷阱

• 问题：训练集、验证集、测试集的划分如果简单随机，可能因为磁位形参数（如旋转变换ι、磁剪切）分布不均匀，导致模型在某一类位形上过拟合，而在另一类上表现不佳。
• 解决方案：采用分层抽样。我们根据关键物理参数（如ι的均值、磁剪切的强度）的分布，将数据集分成多个“桶”，确保每个桶在训练、验证、测试集中都有按比例的代表。这保证了模型评估的公正性和泛化能力。
• 问题：输入特征（7个几何量）的量纲和数值范围差异巨大，直接输入网络会导致梯度不稳定。
• 解决方案：对每个z-dependent的剖面特征，分别进行标准化。即对每个特征，在整个训练集上计算其沿z方向的均值和标准差（得到96个均值和96个标准差），然后进行(x - mean) / std的变换。注意，必须用训练集的统计量去标准化验证集和测试集。

5.2 模型训练与优化的挑战

• 问题：CNN模型训练初期损失震荡，收敛缓慢。
• 解决方案：除了使用BatchNorm，梯度裁剪（Gradient Clipping）是稳定训练的另一利器。我们将梯度范数限制在1.0以内，有效防止了因异常样本导致的梯度爆炸。同时，使用ReduceLROnPlateau调度器，在验证损失平台期自动降低学习率，有助于模型跳出局部极小。
• 问题：DeepHyper搜索过程中，某些超参数配置会导致训练崩溃（如NaN损失）。
• 解决方案：在目标函数评估的代码中加入异常捕获机制。如果模型训练过程中出现NaN或损失异常飙升，则直接返回一个极低的分数（如-1e6），而不是让整个搜索任务失败。这能引导贝叶斯优化器避开这些“危险”区域。
• 问题：集成模型中，个别基模型可能在某个数据区域有异常预测，拉低整体性能。
• 解决方案：在简单平均之外，可以尝试加权平均。权重可以根据每个模型在验证集上的表现（如R²的倒数）来分配。更高级的做法是使用堆叠，训练一个元模型（如线性回归）来学习如何最优地组合基模型的预测。不过在我们的案例中，简单平均已经足够好。

5.3 特征工程中的计算与过拟合

• 问题：生成超过100万个特征，并计算其与目标的相关性，内存和计算开销巨大。
• 解决方案：
  1. 增量生成与计算：不要一次性生成所有特征并存入一个巨大的DataFrame。可以按特征类型分批次生成、计算相关性、并只保留相关性高于某个阈值（如|ρ| > 0.1）的特征。
  2. 利用稀疏性：许多特征（如基于Heaviside函数的）在大部分z点上值为0或1，可以利用稀疏矩阵格式存储。
  3. 并行化：如之前所述，相关性计算和FSFS中的模型训练都是高度可并行的任务。
• 问题：FSFS过程中，随着特征增加，模型复杂度上升，容易在训练集上过拟合，尽管使用了交叉验证。
• 解决方案：在XGBoost中使用正则化参数，如gamma（分裂所需最小损失下降）、reg_alpha和reg_lambda（L1和L2正则化）。在FSFS的每一步，我们使用五折交叉验证的平均验证分数作为选择标准，而不是训练分数，这本身就是一种防止过拟合的强有力手段。此外，可以设定一个早停规则：如果连续添加N个特征（如3个）带来的验证分数提升都小于一个微小阈值（如0.001），则停止特征添加。

5.4 物理一致性与模型验证

• 问题：如何确保机器学习模型的预测在物理上是合理的？例如，它是否遵守某些基本的单调性（如温度梯度增大，热通量应单调增加）？
• 解决方案：进行物理一致性检查。在测试集之外，构建一些“虚拟”的测试案例：例如，固定其他所有参数，只系统性地改变温度梯度，看模型的预测是否单调变化；或者检查在强稳定区，模型预测的热通量是否趋近于零。这种“物理单元测试”对于建立对黑盒模型的信任至关重要。
• 问题：CNN模型是否真的学到了循环不变性，还是仅仅记住了训练数据中的相位？
• 解决方案：设计不变性测试。对测试集中的样本，人工施加一系列已知的循环平移，然后用模型进行预测。如果模型是真正不变的，那么对同一个物理位形、不同相位的输入，其预测结果应该完全一致（在数值误差范围内）。我们进行了这项测试，预测值的标准差小于1e-6，证实了模型的不变性。

这个项目从构思到实现，贯穿始终的一个体会是：在将前沿机器学习技术应用于复杂物理问题时，对物理问题的深刻理解与对机器学习工具的娴熟运用同等重要。我们不是用机器学习去替代物理，而是用它作为一个强大的放大镜和加速器，去探索那些用纯解析方法难以处理、用全数值模拟又过于昂贵的复杂物理关联。最终，一个成功的交叉研究，其产出不仅是几个性能指标漂亮的模型，更是一套能够连接数据、算法与物理直觉的方法论，以及一系列可供后续理论物理学家深入挖掘的、由数据驱动发现的新线索。