企业官网建设流程全解析

前两个月我终于把一台掌心大小的双足鸭形机器人调到了"能走三步再倒"的水平，这个结果听起来寒酸，但对一个只有两个支撑点、全身总共没几个执行器、还得跑策略推理的微小型系统来说，每一步都算数。这个项目的核心是一套强化学习驱动的开源架构：仿真里训练步态策略，再迁移到真机上执行，全套代码、模型和硬件方案都开放出来供大家复现改造。写这篇博客，是因为我整理这套架构的时候发现，网上单独讲"强化学习控制双足机器人"的资料不少，但能从头到尾把"为什么用 RL 不用传统步态规划""仿真怎么设计才能迁移到真机""开源仓库怎么组织训练与部署代码"讲清楚的不多。这篇内容适合手里正好有微小型双足硬件、或者准备入坑足式机器人强化学习的开发者参考，我会把踩过的坑、改过的参数和底层原因都摊开来讲。

1.3 为什么强化学习比传统步态规划更适合这个场景

传统的双足步态规划思路是先建一个倒立摆或者动力学模型，用ZMP判据设计质心轨迹，再求逆解出关节角度。这套方法论在大型人形机器人上非常成熟，但在微小型鸭形机器人上会碰到几个现实问题。

首先是模型误差比例太大。大型机器人质量动辄几十千克，关节摩擦、结构形变、电机死区这些误差相对整机动力学来说占比小，可以通过鲁棒控制补偿。而掌心大小的鸭子机器人整机质量只有250克左右，舵机回程间隙、齿轮摩擦、结构柔性产生的干扰几乎和主运动量级相当，传统控制器极难建立准确模型。

其次是成本与调试效率。传统方法需要精确标定每个关节的动力学参数、摩擦曲线、惯量矩阵，这套标定流程放到玩具级硬件上，投入产出比很低。而强化学习只需要在仿真里定义环境、奖励和域随机化范围，让算法自己探索步态策略，对模型精度的依赖明显降低，这也是我坚持用 RL 做这个项目最核心的原因。

2. 硬件选型与机体拆解：谁在承担"站稳"这件事

微小型双足系统的硬件设计是典型的多目标约束问题：要轻、要小、要能承受落地冲击，还要留出空间装主控和电池。我这里把整机设计思路和关键器件的选择逻辑拆开讲，纯新手可以直接照这个方案起步。

2.1 自由度配置：为什么是每条腿两关节而不是三关节

整机采用每条腿两个自由度：髋关节俯仰加上膝关节俯仰，总共四个微型舵机。这也是这个鸭形机器人外形能保持简洁的重要原因。很多人会问为什么不在踝关节加自由度，答案很简单：微小尺寸下三自由度配置会让每条腿的机构重量和复杂度大幅上升，舵机堆叠导致腿部转动惯量过大，反而降低控制带宽和稳定性。踝关节的功能通过鸭掌形状的脚底结构近似实现。

脚底我设计成宽度较大、前缘带翘起的鸭掌造型，等效于一个被动支撑面，能提供额外的前后和侧向稳定裕度。实话说，这种被动设计在站立时作用非常明显，策略只需要把重心控制在脚掌支撑多边形内，不需要像点足机器人那样每一瞬间都做精确的平衡规划。真正让鸭子学会走路的，是四条大腿肌肉般的舵机配上一个合理的控制策略。

2.2 电机选型：微型串行总线舵机的胜出

关节执行器我对比过普通模拟舵机、微型数字舵机和串行总线舵机，最终选择了串行总线方案。单从扭矩参数看，MG90S这类九克舵机扭矩能达到1.8公斤·厘米，价格便宜，但模拟舵机的位置控制精度差，回程死区明显，在多关节协调控制中会导致策略输出和实际动作的严重偏差，训练再好的策略也发挥不出来。

串行总线舵机的优势在于支持读取当前角度、温度和负载，我可以在控制循环里实时获取真实关节位置，构建闭环反馈，这对强化学习策略的稳定执行非常重要。总线串接也大幅减少了走线和占用IO数量——四条腿的舵机共用一两条总线即可。代价是单个舵机价格高不少，但考虑到这个项目的目标不是追求最低成本，而是搭建一个可复现、可控的强化学习验证平台，这个投资值得。

2.3 主控与惯性测量单元：双芯片架构的职责划分

主控方案我用了双芯片架构：STM32F405负责实时控制循环和舵机总线通信，ESP32-S3负责强化学习策略推理和无线数据回传。这么分工的核心原因是任务实时性和通用性难以在同一颗芯片上兼顾。

STM32F405的定时器精度高，中断响应确定性好，适合在1kHz频率下做IMU数据读取、姿态解算和期望位置指令下发。而策略网络推理涉及大量矩阵乘法和浮点运算，ESP32-S3的240MHz双核和向量指令扩展跑一个三层MLP网络非常轻松，还自带Wi-Fi和蓝牙，可以把运行状态实时推送到上位机。两块芯片用串口连接，数据帧长度只有十几个字节，通信开销几乎可以忽略。

IMU选的是MPU6050六轴传感器，固定在外壳顶部，尽量靠近几何中心。安装方向需要特别注意：传感器坐标系必须和机器人本体坐标系对齐，否则姿态数据会有固定偏置，策略网络会把这种偏置当作出常态，导致真机出现莫名其妙的倾斜修正行为。

2.4 供电与续航：最容易翻车的隐蔽环节

供电方案最初是整个项目中坑最惨的部分。舵机启动瞬间电流非常大，4个舵机同时动作时峰值电流能到2安培以上，而主控和传感器的正常工作电压是3.3V和5V。一开始我用一节1S锂电池经稳压模块升压给舵机供电，实测发现站立调整时电压跌落超过0.8V，舵机直接进入欠压保护，机器人就像被抽空了力气一样瘫下去。

最终改成2S锂电池（标称7.4V）直接给串行舵机母线供电，再通过两个独立稳压模块分别给主控板（5V）和ESP32（3.3V）供电。舵机母线不经过稳压器，电压跌落大幅好转。200mAh的电池容量撑满一小时连续调试没有问题。这个经验是血泪换来的：凡是用电池驱动多电机系统的，先核算峰值功率再定供电拓扑，不要想当然。

3. 仿真环境搭建：MuJoCo里的虚拟鸭子和训练闭环

强化学习策略的质量，绝大部分取决于仿真环境逼真度和训练闭环的完善程度。一套偷工减料的仿真环境，练出来的策略在真机上一定会露馅。这一节讲MuJoCo建模和训练参数的具体配置思路。

3.1 MuJoCo建模细节：几何、惯量与摩擦的取舍

我用MuJoCo作为物理引擎，原因很直接：它求解速度快、接触模型稳定、数值噪声小，是足式机器人强化学习事实上的工业标准。URDF有大量社区支持，但MuJoCo更推荐直接用MJCF格式，因为MJCF对碰撞体、执行器、接触参数的表达更简洁，建模效率高很多。

模型里每个部件都要合理设置惯性参数。常见的错误是直接从CAD软件导出的STL文件让MuJoCo自动计算惯量，结果重心偏移和真实机器人大相径庭，训练出来的策略在真机上会一直朝某个方向倾斜。正确做法是拿实物去秤重心位置，把质心和惯性张量手动写入Mjcf。我花了一个晚上反复调整虚拟鸭子的质心坐标，直到仿真里的静立姿态和真机完全一致，才开始跑训练。

接触参数也需要单独调。脚掌和地面的摩擦系数在1.0左右起步，但为了后续Sim2Real，我会把它设置为一个随机范围而不是固定值，这是域随机化的一部分，具体在第六节展开。

3.2 观测空间与动作空间：给策略的"眼睛"和"手"

观测向量我最终确定为15维：机体横滚角和俯仰角、三个方向的角速度、四条腿各关节的当前角度和角速度、上一个时间步的动作输出。这个组合基本覆盖了双足姿态控制所需的全部信息。

有一点容易被新手忽略：把上一次的动作加入观测空间。这一步能让策略感知到自己的动作惯性，避免出现震荡式的输出切换。如果没有上一个动作作为上下文，训练后期经常会出现高频抖舵现象。

动作空间则是四条腿各关节的目标位置，范围限制在关节机械限位内。动作送到真机之后还要经过一层PD控制器转换为力矩输出。这里的策略网络本质上是在学"期望位置轨迹"，而不是直接输出力矩，好处是动作语义清晰、便于在真机限制范围内执行，坏处是对PD控制器的参数比较敏感，这个敏感性在Sim2Real时会集中爆发出来。

3.3 训练设定：PPO的收敛速度与观察指标

训练算法用的是PPO，这是足式机器人策略学习最常用的强化学习算法。核心超参数我调成：批大小4096、minibatch大小512、学习率3e-4、clip范围0.2、GAE lambda 0.95。每条腿的动作更新频率在仿真中是50Hz，PPO在RTX4090上训练大约1200万步后奖励曲线趋于平稳，耗时两小时左右。

判断训练是否成功的第一个指标不是奖励值本身，而是仿真里鸭子能否在规定回合时长内不倒。我在环境里设置每条回合上限10秒，如果一个回合内跌倒立即终止并返回稀疏的负奖励。奖励曲线上升意味着策略在发现更久的存活方式，曲线波动太大说明奖励尺度没设好。

训练过程中我会同时记录五个指标：回合平均奖励、平均存活步数、单回合最大存活时间、动作变化率、以及胫骨关节的累计冲击力。这几个指标可以把"奖励数值高但步态僵硬"和"真正学会了平稳行走"区分开来。只看奖励曲线是很多RL入门者最大的坑。

3.4 课程学习：从蹒跚站立到稳步前进

如果一开始就让鸭子以0.2m/s的速度前进为目标去训练，策略大概率直接原地跌倒。我用的是课程学习策略：阶段一走路上，阶段三才开始追目标速度。按阶段递增的方式，每个阶段重置策略训练环境。这种思路和人类学步一样，先稳定站立，再尝试抬脚。课程学习能显著加速收敛，也避免奖励函数里多个目标互相抢梯度。

4. 奖励函数设计：让策略先学会"不摔"再学会"走"

奖励函数是强化学习项目里设计空间最大、也最考验耐心的一环。微小型双足机器人的奖励函数和大型人形有相似之处，但由于硬件动态特性和执行器能力不同，必须单独设计。

4.1 存活奖励：双足策略的地基

最底层的奖励是存活奖励，每一控制步只要没有跌倒就给一个小正值，比如0.2分。这个奖励让策略学会的第一件事是保持平衡、延长站立时间。生存奖励不能太大，否则策略会发现原地站着不动是收益最高的做法，对后续前进训练产生阻力。这个平衡要通过后文的速度奖励来调节。

跌倒判断以躯干高度和机体倾角为条件：躯干高度低于初始值的60% 或者滚转角超过正负60度，就判定回合结束并给一个较大的负奖励。这里我用了相对阈值而不是绝对阈值，是为了适应不同质量的训练模型和物理参数变化。

4.2 速度奖励：把"活着"变成"有方向地活着"

为了让鸭子学会前进，我在奖励里加入了线速度项：机体质心在前进方向的分速度乘以一个奖励系数，目标是0.2m/s。速度误差越小加分越多，超出目标速度不会得更多奖励，避免策略像抽风一样狂甩腿。

速度奖励的系数设置很关键。设得太大，策略会变成疯狂冲锋的疯子，动作幅度剧烈，脚掌拍地声音很大，能量效率极差；设得太小，策略满足于原地站立，前进学习完全停滞。我在调参时大概通过网格搜索试了五组权重，最终选出的系数让策略在仿真里的平均速度在0.18到0.22m/s之间，同时动作幅度保持温和。这组数据也是后续判断真机部署是否正常的重要参考。

4.3 惩罚项：力矩、动作变化率和姿态偏移

除正奖励之外，我还设置了三个重要的惩罚项，它们共同塑造出力步态。

第一项是控制力矩平方和惩罚，系数非常小（乘以0.001）。这相当于给执行器"节能费"，抑制策略输出过大扭矩，防止真机舵机过热和瞬时电流冲击。

第二项是动作变化率惩罚，惩罚相邻两步动作指令的差值平方。这个项能明显减少抖振。如果缺了它，训练出来的策略在仿真里会输出类似高频方波的关节指令，在真机上的表现就是舵机哀嚎、机身颤抖。

第三项是姿态惩罚，当机体横滚角和俯仰角偏离零位时给予一定惩罚。它不会硬性约束姿态，但会让策略尽量将躯干维持在水平位置，步态看起来更自然。三者叠加后，策略通常能学会一个接近人类自然步频的行走模式，频率大概在2Hz到2.5Hz，步伐周期稳定，脚掌离地高度控制得很好。

4.4 奖励调试经验：一改系数全盘重来

奖励函数调试是整个项目里最反直觉的部分：改一个惩罚系数，经常需要完全重新训练才能评估效果，因为策略在旧奖励下已经收敛到局部最优，直接换奖励继续训练容易停留在性能洼地。我后来学到的办法是每次调整奖励系数后，清空之前的经验回放和策略权重，全新训练一轮，对比同一训练步数下的多条指标曲线来打分。这样才能隔离变量，确切知道是哪个奖励项导致了行为变化。

另外，奖励函数的量纲要尽量均匀。把存活奖励、速度奖励、各项惩罚归一化到同一尺度，训练会更稳定。一开始我的存活奖励是1.0，速度奖励是10.0，惩罚是百级别，梯度方差非常大，训练过程像是过山车。统一量纲之后，曲线平顺不少。

5. 算法选型与融合：PPO打底、因果强化学习提效率、IQL离线精修

强化学习算法不是越复杂越好，关键是让每个环节用合适的工具。这套鸭形机器人系统最终形成的是PPO做在线训练主框架、因果结构发现模块做特征选择、IQL离线强化学习做真机数据精修的组合拳。

5.1 为什么从PPO开始而不是A3C或DDPG

PPO是目前足式机器人领域最稳的强化学习算法，几乎成了默认基线。它训练稳定性好，超参数敏感度低，对奖励尺度变化容忍度高，而且社区开源实现多，调试方便。DDPG这样的确定性策略梯度方法在足式接触问题上经常因为Q函数震荡而崩溃，A3C对同步要求高，且采样效率不稳定。

我在仿真里也试过SAC，发现它在奖励稀疏的跌倒场景下经常出现过度保守的问题——策略会蜷缩在原地尽量不动作，因为任何动作都有导致跌倒的高风险。PPO用重要性采样和裁剪目标，策略更新幅度受控，在"跌倒立即终止"这种稀疏反馈的设定下表现明显更好。

5.2 因果强化学习的嵌入：把注意力放到真正影响步态的因素上

这部分是我在标准PPO基础上做的改进。因果强化学习（CRL）的核心思想是把因果推断工具嵌入强化学习流程，简单说就是：在更新策略之前，先利用历史交互数据做因果结构发现，识别出"哪些状态变量真正影响决策质量"。

落地上，我在PPO的观测处理层之前加了一个因果特征选择模块。它会把15维观测向量中与策略高奖励相关性最弱、但在统计上高相关的混淆特征筛掉，同时保留那些有直接因果关系的状态量。比如对于鸭子行走这个任务，关节角速度对维持平衡有明确的因果作用，而被噪声污染的某个冗余通道则可能只是统计相关。训练过程中每50万步做一次因果图重新估计，用因果发现结果动态调整特征掩码。

实测效果有两个：一是收敛步数减少了大约30%，策略更快抓住关键状态；二是Sim2Real迁移时对传感器噪声的鲁棒性提升，因为模型学会了不依赖那些脆弱的统计相关性。这个模块带来的深层价值是让强化学习决策具备可解释性——我可以直接看到策略在依赖哪些状态变量，这在部署后排查真机异常时特别有用。

5.3 IQL离线强化学习：真机部署后的安全微调通道

真机部署后，在线强化学习是不现实的——一个足式机器人如果边走路边用随机策略探索，摔坏的硬件成本和时间成本都太高。所以我在真机数据收集完成之后，用离线强化学习做策略精修。

这里选了IQL（Implicit Q-Learning）。它的独特优势是只利用真机采集的状态-动作-奖励数据集做策略更新，不需要和环境交互，也不需要依赖重要性权重纠正分布偏移，在小型数据集上能比PPO离线变体更稳定地学到有效策略。

具体流程是：先用当前策略在真机跑几百步，记录状态、动作、奖励和后续状态，构建一个真机数据集。然后用IQL在这个数据集上微调，让策略学习真机特有的摩擦、延迟、机械间隙等动态特征。跑完微调之后再部署回真机验证，效果好的保留，效果差的回退到仿真策略重来。

这个闭环的价值在于：真机数据不需要很多，几百步就够了，却能把仿真和现实之间的动态差异有效对消。我在实验里对比过——不跑IQL精修的策略，真机平均走三步就倒；跑完精修之后，能稳定走十二到十五步。差距非常明显。

6. Sim2Real迁移：仿真会走、真机腿软的典型原因

从MuJoCo搬到真机的那一刻，往往才是项目真正的开始。仿真里的鸭子能健步如飞，真机上的鸭子却像喝了半斤酒。差异来源很多，这一节讲最典型的几个方向和我的应对手段。

6.1 域随机化清单：别把参数固定死

仿真环境和真机不可能完全一致，但只要让策略在训练时见过足够多样的环境参数，它就能在部署时保持稳健。我对以下参数做了区间随机化：

表格形式：

域随机化的核心思想是：策略不应该过度依赖仿真里的精确参数，而应该学会在参数不确定条件下依然能完成任务。训练时每个回合随机从区间里抽取一组参数，等于让策略面对一个"参数分布的分布"，效果比单一固定模型强得多。

6.2 姿态解算与数据过滤：观测干净才能控制稳定

动作指令是策略的事，但观测数据必须先弄干净。MPU6050原始输出带高频噪声和高低频频漂，直接喂给策略会导致输出抖动。我用了Mahony互补滤波做姿态解算，同时给角速度加了截止频率20Hz的一阶低通滤波。

真机的控制频率是100Hz，这比仿真里的50Hz高一倍。为什么要高？因为真机传感器噪声大、机械响应快，如果控制频率太低，状态估计滞后会让策略的平衡决策总是慢半拍。控制频率提高之后，原本在仿真里看起来多余的冗余也在真机上变成了必要的安全余量。

6.3 部署首跑流程：从"抬一厘米"开始

Sim2Real最忌讳的是直接把仿真完整策略搬到真机上去走路。我给独立部署Verification流程，三级递进：先静默模式，把策略输出作为日志记录但不驱动舵机，观察指令范围是否合理；再离地模式，把机器人吊在软绳上让它空跑动作，确认关节运动方向正确、幅度在限位内；最后触地模式，让它站在平地上执行策略，但不设前进目标，只要求保持姿态。每一步通过后再往下走，能大大减少摔机和烧舵机的概率。

这一步有个经验很关键：真机地板最好选摩擦力适中的PVC地垫，太滑的瓷砖地面会让策略在起步阶段频繁打滑摔倒，太粗糙的地面又会让脚掌卡顿。等策略在中等摩擦地面站稳后，再逐步扩展地面条件。

7. 开源架构与部署流程：从训练脚本到板载推理的数据流

整个项目的开源架构围绕训练、导出、部署、回传四段数据流组织。这样划分的目的是让每个环节可以独立替换和调试，不会因为修改训练算法而影响部署代码。

7.1 仓库结构：按数据流而不是按模块堆文件

仓库按训练与部署两条主线展开：

• mujoco_envs/：仿真环境定义，包含鸭形机器人的MJCF模型、奖励函数、域随机化逻辑。
• rl_algo/：强化学习算法实现，包括PPO主干、因果特征选择模块、IQL离线精修脚本。
• deploy/：板载推理和底层控制代码，包括ESP32上的策略推理、STM32上的PD控制和串口协议。
• scripts/：模型导出、真机数据采集、离线精修调度脚本。

新加入项目的人最快理解整个系统的方式，是沿着数据流走一遍：仿真环境采样，产生经验→PPO训练更新网络→导出ONNX权重→ESP32加载推理→STM32执行PD控制→真机运行记录→回传数据→IQL离线精修。每个环节的代码独立，上下游通过标准格式对接。

7.2 模型导出：PyTorch训练、嵌入式推理的跨越

策略网络在PyTorch里训练，部署环境是ESP32，两者之间的桥梁是ONNX。我先把PyTorch权重导出成ONNX格式，再在ESP32上运行ONNX Runtime的嵌入式移植。策略网络本身是一个三层MLP，输入15维，输出4维，单层隐藏单元256，整网参数不到15万。

这块有一个经验值得分享：导出前要对网络做量化校准。嵌入式推理通常用FP16或INT8精度，但精度降低可能让策略输出产生偏移，严重影响姿态控制。我在部署前用真机回传的观测样本，离线对比了FP32、FP16和INT8三种精度下的策略输出差异，最终选了FP32直接跑。ESP32-S3的算力跑这个规模网络单次推理耗时约0.8毫秒，远低于控制周期10毫秒，完全够用。

7.3 通信与可视化：实时看到策略在怎么"想"

真机运行时不把状态数据回传，调试就像蒙着眼睛开车。我在STM32和ESP32之间定义了一套简单的二进制串口协议，字段包括时间戳、姿态角、关节目标位置、实际位置、电流估算值和当前存活时间，波特率921600。上位机用Python脚本实时解析并绘制曲线，方便对比指令和实际动作的偏差。

这个实时反馈链路在部署阶段帮了大忙。比如看到"策略总在想往左偏"，我可以马上判断是IMU安装偏置问题还是策略本身训练不足，不需要反复蹲在地上看鸭子走路姿势。

7.4 数据回传的真机数据集格式

真机数据采集脚本会把状态、动作、奖励、下一状态打包成统一的HDF5格式，并附带时间戳和传感器原始数据。在格式设计上，我刻意让真机数据集的schema和仿真数据一致，这样IQL离线精修的接口可以无缝复用。转换脚本都在scripts/里，新数据来了跑一遍预处理就能加入训练。

8. 实测复盘：站不稳、走偏、抖动的完整排查链路

最后这部分是纯经验复盘。我遇到的三个典型问题，每一个都代表一类深层次原因，排查思路比具体参数更有复用价值。

8.1 现象一：站三秒就倒，倒地姿态全朝右侧

最开始的真机部署，鸭子几乎是刚站直就朝右侧倾倒。第一反应是怀疑策略训练不足，重新看了仿真里的表现，仿真里站得很稳。然后检查姿态估计，发现IMU数据在静止状态下输出的横滚角有3度的固定偏移——这就是安装偏置。

MPU6050安装位置偏离几何中心一小段距离，加上外壳装配公差，导致静止时加速度计解算出的横滚角不等于零。策略把这个偏置当作真实的倾斜角，不断输出向右的修正动作，反而把机器人推倒了。解决方法是做一次静态标定，采集正放、左倾、右倾三组数据计算零偏，然后在姿态解算环节补偿掉。这一步之后，站立时间立刻从三秒提升到十几秒。

8.2 现象二：能走但走不直，轨迹呈S形

站立问题解决后，鸭子会走了，但走的路径是一个明显的S形曲线。排查时我怀疑是左右腿机械差异导致的，但用直尺检查了装配，腿长几乎一致。后来把实时数据拉出来对比才发现，四条腿舵机的实际响应速度有明显差异——右侧两条腿的总线舵机位置响应比左侧慢约20毫秒。

这个微小的延迟差异在控制频率100Hz下会造成左右侧动作不同步，形成S形轨迹。解决办法是在策略输出层后加一个统一的时间对齐缓冲，把快的腿的指令延迟到和慢的腿一致，同时把每条腿的PD增益按实际测试值微调。修改后轨迹明显拉直。

8.3 现象三：高频抖动，像筛糠一样

第三个问题也是最头痛的：鸭子可以站住，但行走时关节持续高频抖动，声音刺耳。排查链路从数据着手：先看策略输出，发现命令本身没有高频抖动；次看PD控制器输入，也没问题；最后在电机电流曲线上看到了明显的高频尖峰。

根因是舵机内置的电位器反馈噪声在接近目标位置时形成微小的位置抖动，PD控制器把它放大成电流振荡，反过来又加剧机械振动，形成正反馈循环。解决方式是在PD控制器的微分项上加一个一阶低通滤波器，把反馈噪声先过滤再计算微分，同时在关节位置指令上增加一个平滑斜坡，避免目标位置的阶跃变化。

三个现象排查下来，我最大的体会是：强化学习策略本身很少是问题的唯一来源，绝大多数工程问题都发生在感知、通信和执行三个外围环节上。先从数据和硬件链路排查，最后才回头怀疑策略，能省掉大量冤枉时间。

8.4 这套方案的下一步扩展方向

当前系统已经能稳定让鸭子行走十几步，我用同样的开源架构继续扩展了几个方向：第一条路是把策略网络重新训练成"任意外观参数"通用步态模型，换一个不同尺寸的机身也能迁移部署；第二条路是升级仿真环境，加入斜坡和台阶，让策略学会应对复杂地形；第三条路是把因果结构发现模块开放出来，给其它足式机器人项目复用，验证它是否同样能提升收敛效率和数据利用率。这些方向目前都在跑新实验，后续有结果会继续更新。