企业官网建设流程全解析

简介：面向计算机相关专业学生，这份高分毕业设计/课程设计项目提供了基于PyBullet与Stable Baselines3的法奥机械臂强化学习抓取训练完整源码与文档说明，主要解决仿真抓取场景中环境搭建复杂、训练流程不完整、难以直接复现的问题。项目涵盖机械臂URDF模型导入、仿真环境封装、奖励函数设计、PPO策略训练及测试回调等模块，并附有三维STL/DAE网格文件、XML配置参数、可视化对比图与中文说明文档，便于从零理解强化学习抓取任务的全链路实现。整个资源包共79个文件，主要类型包括Python脚本、URDF模型、STL/DAE网格、XML配置、训练日志以及依赖清单，压缩包大小约23.1MB，目录按功能划分清晰。已有90人学习下载，对于正在完成毕业设计、课程设计或期末大作业的学生及需要项目实战的初学者，是一份可直接运行、便于对照学习的完整参考。

1. 用 pybullet 和 stable-baselines3 训练法奥机械臂抓取：一个能跑通的最小方案

做机械臂抓取强化学习，最难受的不是算法本身，而是没有一个安全、可控、能反复采集数据的实验场。真实法奥机械臂动一次要担心碰撞、限位、耗材，Gazebo 又笨重得让人想摔键盘。这套基于 pybullet 和 stable-baselines3 的法奥机械臂强化学习抓取训练方案，就是用轻量物理仿真把抓取策略训起来，再迁移到真机的经典路线。

pybullet 负责物理仿真和视觉渲染，stable-baselines3（以下简称 SB3）提供现成的 PPO 算法，法奥机械臂作为被控对象。整套方案适合三种人：做机械臂抓取课题的在校生、刚接触强化学习的机器人工程师、以及想快速验证一个抓取想法但不打算从零写仿真和算法的人。它的好处是门槛低——不需要你精通物理引擎也不需要你手写策略梯度，但坑也不少，尤其是机械臂的模型坐标系和抓取判定，这两处最容易让新手翻车。

2. 搭一个抓取仿真环境：pybullet 场景、URDF 加载和夹爪约束

2.1 从 URDF 到 pybullet 场景：加载机械臂前的三个准备

法奥机械臂本身没有现成的 pybullet 模型文件，常见做法是用法奥官方 ROS 驱动包里的 URDF 文件，或者拿同规格的 6 轴协作臂 URDF 做占位。我一般会先从三个角度确认 URDF 是否可用：是否包含 mesh 文件（STL/DAE 或 OBJ），各关节的转动轴方向是否和真实机械臂一致，以及末端执行器（夹爪）是否是独立 link。URDF 里没有 mesh 的机械臂仿真出来是空壳，碰撞检测完全失效。

加载 URDF 进 pybullet 需要一个物理客户端连接。训练时用 DIRECT 模式（不渲染，速度快），调试时用 GUI 模式（可视化，方便看机械臂姿态）。下面的代码演示了最基础的加载流程：

import pybullet as p import pybullet_data import time # 连接物理引擎：GUI 用于调试，DIRECT 用于训练 physics_client = p.connect(p.GUI if DEBUG else p.DIRECT) # 加载默认的桌面、地面等基础模型 p.setAdditionalSearchPath(pybullet_data.getDataPath()) p.setGravity(0, 0, -9.8) p.loadURDF("plane.urdf") # 加载机械臂：urdf_path 替换为你的法奥机械臂 URDF 路径 robot_id = p.loadURDF( urdf_path, basePosition=[0, 0, 0], baseOrientation=p.getQuaternionFromEuler([0, 0, 0]), useFixedBase=True, # 机械臂底座固定 ) # 查看机械臂各关节信息，确认关节编号顺序 for joint_idx in range(p.getNumJoints(robot_id)): joint_info = p.getJointInfo(robot_id, joint_idx) print(joint_info[1].decode(), joint_idx, joint_info[3], joint_info[8])

这段代码有个很容易忽略的细节：getNumJoints返回的数量包括固定关节和传动关节，打印结果里关节名和编号对上，才能知道哪个关节是肩、肘、腕，哪个是夹爪开合。夹爪的关节类型决定了抓取时是位置控制还是力矩控制。如果加载完机械臂后resetBasePositionAndOrientation没有设置到位，机械臂初始姿态可能直接穿透桌面，后续 reset 时容易忽略这个隐患。

2.2 场景搭建：桌面、目标物体和抓取高度的确定

要让机械臂有东西可抓，场景里必须有桌面和目标物体。pybullet 里桌面可以用createCollisionShape+createVisualShape创建，也可以加载现成的 URDF。物体位置用loadURDF放在桌面上方，让物理引擎自己落下来，这比手动指定精确高度更省事，但要注意物体下落会有一个振荡过程，所以reset后先跑 60~100 个仿真步再开始采集训练数据。

目标物体的大小直接决定抓取难度。正方体、圆柱体、球分别对应不同的夹爪接触策略，我一般优先用立方体起步，因为它的接触点稳定，最容易学到稳定的抓取姿态。场景渲染和碰撞设置的关键参数是setCollisionFilterGroupMask，它决定抓取目标物是否与机械臂、夹爪、桌面发生碰撞——如果目标物和夹爪碰撞被过滤掉了，抓取判定就永远不会触发。

import os import random # 创建桌面 table_collision = p.createCollisionShape(p.GEOM_BOX, halfExtents=[0.4, 0.4, 0.03]) table_visual = p.createVisualShape(p.GEOM_BOX, halfExtents=[0.4, 0.4, 0.03], rgbaColor=[0.7, 0.7, 0.7, 1]) table_id = p.createMultiBody(baseMass=0, baseCollisionShapeIndex=table_collision, baseVisualShapeIndex=table_visual, basePosition=[0.5, 0, -0.03]) # 加载目标物体（立方体），随机生成桌面上的位置 obj_id = p.loadURDF("cube_small.urdf", basePosition=[0.5 + random.uniform(-0.1, 0.1), random.uniform(-0.2, 0.2), 0.03], useFixedBase=False) # 设置时间步长，默认 1/240 秒，物体不容易穿透桌面 p.setTimeStep(1 / 240)

桌面高度设定是有讲究的。法奥机械臂的基座安装高度、URDF 中基座到桌面的距离，决定了机械臂末端能不能以合理的姿态到达桌面上的物体。如果桌面上方空间不够，机械臂在训练时会出现大量的奇异姿态，学到的策略会偏向于「凑近乱怼」而不是「垂直抓取」。解决方法是把桌面上表面的 z 坐标设为机械臂基座高度减去臂长可覆盖范围内的一段，确保目标物在末端可达范围内。

2.3 夹爪闭合的两种实现：位置控制与约束抓取

抓取训练里最核心的机制是夹爪如何抓住物体。法奥机械臂末端如果配的是二指夹爪，URDF 里通常有两个关节控制开合。在 pybullet 里有两种常见做法：

第一种是直接位置控制。每一步把夹爪关节角度朝目标值推，当两个指头夹住物体无法继续闭合时，夹爪关节会停在某个角度，此时通过读取关节角度和接触点判断是否抓住物体。这种方法简单，但抓取的「稳不稳」很难衡量，物体容易在运动过程中从指缝滑落。

第二种是创建一个约束（createConstraint），把物体的坐标系绑定到夹爪的坐标系上。只要夹爪检测到与物体有接触，就执行约束绑定的动作。这个方案在处理抓取判定时更可靠，但实际训练会引入一个黑洞般的坑——约束建立和释放的时序稍微出错，物体就会被「粘」在夹爪上。

# 检测接触是否有物体：遍历碰撞点判断物体 ID def check_contact(robot_id, obj_id, link_idx=None): contact_points = p.getContactPoints(robot_id, obj_id) return len(contact_points) > 0 # 如果有接触，给夹爪末端和物体之间加一个固定约束 if check_contact(robot_id, obj_id, gripper_link_idx): constraint_id = p.createConstraint( robot_id, gripper_link_idx, obj_id, -1, p.JOINT_FIXED, [0, 0, 0], [0, 0, 0], [0, 0, 0] )

这个约束一旦创建，物体就和夹爪刚性地绑在一起，后续机械臂抬升时物体不会掉落，抓取成功率会显得很高。但注意：这种做法会掩盖抓取姿态的错误——物体可能并没有被夹爪指面夹住，而是被「吸」在夹爪侧面。所以我更推荐的做法是：训练阶段只用位置控制，不创建约束，把「抓取成功」的判定交给奖励函数去判断；只有当你要做真机迁移验证时，再考虑约束法来模拟真实夹爪的抓紧效果。

3. 把 SB3 接进环境：状态空间、动作空间和奖励函数设计

3.1 状态空间与动作空间：先想清楚机械臂学什么

stable-baselines3 不会自己理解机械臂的世界，你得告诉它每一刻观察到了什么、能做什么。这是整个训练方案中最容易被低估的设计环节。

状态空间（Observation）决定模型能看到什么。我建议不要只给关节角度，因为抓取任务需要知道末端在哪、物体在哪。一个实用的组合是：机械臂各关节角度 + 末端执行器三维位置 + 末端姿态四元数 + 物体三维位置 + 夹爪开合宽度，总共大概 20 维左右。物体位置从哪里拿？训练时直接p.getBasePositionAndOrientation(obj_id)获取真值，这是开环仿真最大的优势——不需要视觉识别，模型学起来更专注。

动作空间（Action）决定模型怎么控制机械臂。常见的有两种设计：一种是输出各关节的目标角度（关节空间控制），模型要自己学会逆运动学映射；另一种是输出末端执行器在笛卡尔空间的位置增量（末端空间控制），机械臂的逆运动学由仿真引擎解算。我测试下来的经验是：抓取任务用末端位置增量 + 夹爪开合指令的动作组合，收敛速度远快于关节空间控制。

# 状态空间：机械臂关节角 + 末端位姿 + 物体位置 + 夹爪开合 self.observation_space = spaces.Box( low=np.array([-np.pi]*7 + [-1]*7 + [0, 0, 0] + [-1, -1, -1] + [0.0]), high=np.array([np.pi]*7 + [1]*7 + [0.8, 0.5, 0.5] + [1, 1, 1] + [0.1]), dtype=np.float32 ) # 动作空间：末端 x,y,z 位置增量(0.02范围) + 夹爪开合幅度 self.action_space = spaces.Box( low=np.array([-0.02, -0.02, -0.02, 0.0]), high=np.array([0.02, 0.02, 0.02, 1.0]), dtype=np.float32 )

动作空间的范围设置是第一个玄学点。Box的上界设得太大，机械臂末端会乱飞；设得太小，机械臂移动太慢，一条轨迹要几百步才能到物体附近。我一般会把位置增量设在 ±0.02 到 ±0.05 之间，配合action repeat（同一个动作连用 5~10 步）来平衡控制粒度和轨迹长度。

3.2 奖励函数：抓到的「成功信号」怎么给

奖励函数决定了强化学习优化的方向，也最容易被玩坏。如果只用稀疏奖励——抓到了给 +10，没抓到给 0——PPO 在几十万步内几乎学不到任何东西，因为随机的初始策略抓到物体的概率太低。但纯粹的成型奖励（每一步都按距离给分）会诱导机械臂学到一种「永远往物体方向挪动却不闭合夹爪」的偷懒策略，这在强化学习里叫 reward hacking。

我的做法是三层奖励叠加：

def compute_reward(self): # 1. 距离奖励：末端到物体的距离 d，鼓励靠近 d = np.linalg.norm(ee_pos - obj_pos) distance_reward = -d # 越近越大 # 2. 夹爪奖励：物体在夹爪指面之间时，闭合给正向 gripper_reward = 0.0 if gripper_width < threshold and distance_to_obj < 0.03: gripper_reward = 1.0 # 夹住了 # 3. 抬升奖励：抓住后往上抬，检测物体 y 方向位移 lift_reward = 0.0 if obj_pos_z > table_z + 0.05: lift_reward = 5.0 # 物体离开桌面即成功 total_reward = distance_reward + gripper_reward + lift_reward return total_reward

注意这里distance_reward是每一步都给的，它的存在能快速引导机械臂朝物体靠近；gripper_reward是接触型信号，只有当夹爪确实闭合到有效宽度时才给；lift_reward是任务成功信号，给出最大奖励。三个信号的时间尺度完全不同，前两个负责引导，第三个负责让模型知道「什么才算真正完成任务」。

还有一个关键细节：每一段 episode 的终止条件不要设成「没抓到就截断」。如果机械臂走了 200 步还没碰到物体就强制 reset，模型学不会长距离导航；更合理的做法是让 episode 最多走 1024 步，中途碰到物体并成功抬升就提前终止，否则一直跑到步数上限。

3.3 环境接口实现：把 pybullet 环境包进 Gym 格式

SB3 的 PPO 需要的是 OpenAI Gym 格式的环境接口——reset()返回初始状态，step()返回 (下一状态, 奖励, 终止标志, 信息字典)。把 pybullet 场景包装成这种格式是接入 SB3 的关键一步，也是最容易一头雾水的地方。

class FrankaGraspEnv(gym.Env): def __init__(self): super().__init__() self.robot_id = None self.obj_id = None self._connect_pybullet() self._load_scene() self.observation_space = ... self.action_space = ... def reset(self): # 每次 reset 时重新加载物体位置，保留机械臂初始姿态 p.resetSimulation() self._load_scene() obs = self._get_observation() return np.array(obs, dtype=np.float32) def step(self, action): # 将动作施加到机械臂末端控制 self._apply_action(action) p.stepSimulation() obs = self._get_observation() reward = self._compute_reward() done = self._check_done() return obs, reward, done, {}

一个最常见的隐性 bug 出现在reset()里：p.resetSimulation()会清空整个物理世界，如果你忘了重新加载桌面和机械臂，第二次 episode 就会在空场景里跑。这就是为什么_load_scene()要把桌面、机械臂、目标物体的加载都封装进去，而不是只在__init__里加载一次。

_check_done()除了判断成功，还要判断失败——如果机械臂末端已经撞到桌面（末端 z 坐标低于桌面高度），这个 episode 也应该终止。否则模型会花大量步数在地面下方空探索，白白浪费训练时间。

4. 跑通 PPO 训练：用 SB3 的 PPO 训练抓取策略

4.1 编写训练脚本：从环境到模型的完整闭环

环境封装好之后，训练脚本本身并不长。SB3 提供的PPO封装了论文里的全部细节，你只需要指定策略网络类型、学习率、批大小和训练步数。下面是一份能直接跑的训练脚本骨架：

from stable_baselines3 import PPO from stable_baselines3.common.vec_env import DummyVecEnv, SubprocVecEnv from stable_baselines3.common.callbacks import EvalCallback def make_env(): def _init(): env = FrankaGraspEnv() return env return _init # 多进程并行采集：SubprocVecEnv 比 DummyVecEnv 快很多 if __name__ == "__main__": env = SubprocVecEnv([make_env() for _ in range(8)]) model = PPO( "MlpPolicy", env, learning_rate=3e-4, n_steps=2048, batch_size=256, n_epochs=10, gamma=0.99, gae_lambda=0.95, clip_range=0.2, ent_coef=0.0, verbose=1, tensorboard_log="./tb_logs/", ) # 每 10000 步评估一次当前策略 eval_callback = EvalCallback( env, best_model_save_path="./models/best/", log_path="./eval_logs/", eval_freq=10000, n_eval_episodes=20, deterministic=True ) model.learn(total_timesteps=500_000, callback=eval_callback) model.save("./models/franka_grasp_final.zip")

这份脚本里的model.learn是在吃 CPU 资源。pybullet 的物理仿真本身没有 GPU 加速，SB3 的 PPO 也是以 CPU 为主，所以整个训练几乎跑不满 GPU。用SubprocVecEnv开 8 个环境并行采集，比单环境快好几倍。如果机器核数不够，DummyVecEnv也行但会慢得多。

训练步数怎么选？500,000 步在当前任务规模下算保守起步，实际效果取决于奖励函数的质量。方向正确的奖励设计 20 万步就能看到明显的接近—抓取行为；奖励信号太稀疏的话，100 万步都不一定收敛。可用 TensorBoard 查看rollout/ep_rew_mean是否持续上升——如果曲线像心电图一样剧烈震荡，大概率是奖励函数的问题，不是模型的问题。

4.2 PPO 关键参数调整：调参先看物理引擎再动算法

很多新手一上来就调learning_rate、clip_range，实际上抓取训练不收敛的原因往往是环境本身的动力学问题——时间步太长、接触参数不对、物体质量太小。p.setTimeStep默认是 1/240 秒，够用；但如果物体很轻，接触不稳定，可以降到 1/480，代价是训练变慢两倍。

PPO 参数里影响最大的几个：n_steps控制每次更新用的轨迹长度，太短优势估计噪声大，太长训练慢；batch_size和n_epochs决定每次更新时数据被复用的次数，复用过多次容易导致策略过拟合到最近一批样本上。ent_coef（熵系数）默认为 0，我建议保留在 0 附近，不要为了「探索」盲目加大，否则学到的是随机动作。

model = PPO( "MlpPolicy", env, learning_rate=2.5e-4, # 略降低学习率让训练更稳 n_steps=4096, # 加长 rollout 长度，减小advantage估计方差 batch_size=512, n_epochs=5, # 减少数据复用次数，防过拟合 gamma=0.98, # 抓取是短视任务，gamma 不必太大 gae_lambda=0.92, clip_range=0.15, # 轻微削弱策略更新幅度 ent_coef=0.005, # 极小的熵正则，防止策略坍缩 )

我把gamma设为 0.98 是刻意的。抓取任务是短视任务——机械臂只要在几步内靠近物体、闭合夹爪、抬升，就算成功。把gamma设得接近 1，模型会去规划长远的轨迹，这对抓取任务不一定是好事。调参时做单变量实验，一次只改一个参数，用固定 10 万步来做对比，才能看出真实差异。否则你永远不知道是哪个参数改善的效果。

4.3 评估保存与日志：别等训练完才发现策略是废的

训练过程中需要定期保存最优模型，并记录每个 checkpoint 的抓取成功率。SB3 的EvalCallback已经做了这个事，但评估方式有个重要细节：n_eval_episodes太少，一次糟糕的初始随机尝试就会把「最优模型」选成垃圾；至少评估 20 个 episode，并且让测试场景的目标物体位置随机化，才能客观反映策略的真实泛化能力。

# 测试一个模型做 50 次抓取，统计成功率 def evaluate_grasp(model, env, n_episodes=50): success_count = 0 for _ in range(n_episodes): obs = env.reset() dones = False while not dones: action, _states = model.predict(obs, deterministic=True) obs, rewards, dones, infos = env.step(action) if infos.get("is_success", False): success_count += 1 return success_count / n_episodes

训练阶段和评估阶段的环境要分开。训练环境可以开 8 个并行进程，评估环境建议单进程、GUI 模式，一个一个跑，确保每个 episode 的物理逻辑没有因并行而发生时序错乱。评估时把模型切成deterministic=True，输出固定动作，这样才能复现结果；训练时则是随机策略，靠探索来完善行为。

5. 训练翻车排查：pybullet 物理抖动、奖励漏洞和不收敛的定位

5.1 机械臂初始姿态穿透桌面，导致 reset 后直接崩掉

现象：每次env.reset()后机械臂的下半截被桌面吃掉，关节数据全变成nan，训练直接中断。

原因：URDF 里机械臂的初始关节角度有朝下的姿态，加载时basePosition的 z 坐标没有给足让机械臂完全伸展开的净空高度。桌面在场景中被加载后，机械臂和桌面在resetSimulation后会碰撞，物理引擎强行解算碰撞导致系统发散。

解决：reset()里先加载机械臂，再加载桌面，并让机械臂的初始姿态选取所有关节都朝上的安全位姿，或者干脆让机械臂在加载桌面之前先p.stepSimulation()几步，让关节落到稳定位置后再加载桌面。加载顺序和初始位形都是经验值，新手最容易栽在这里。

5.2 物体「穿透」夹爪：夹爪闭合了但抓不住

现象：夹爪关节已经闭合到最小角度（joint_state已经到达限位），但物体纹丝不动地留在桌面上，奖励函数里接触检测也一直不触发。

原因：目标物体的质量设置得太小，夹爪闭合瞬间产生了微小的反作用力，把物体推飞了；或者夹爪的碰撞几何体根本没包住物体的包围盒，接触点检测不到。还有一个隐蔽的原因：夹爪关节的jointDamping（阻尼）设得太大，导致夹爪是「缓慢地」闭合，而物体已经在重力作用下挪走了。

解决：检查 URDF 里夹爪指面的碰撞几何是否比视觉模型更大一些（通常碰撞模型要比视觉模型大 10% 到 20%），给物体加一点质量（0.2kg 左右），并且把夹爪关节的maxForce拉高到 10N 以上。用p.getContactPoints打印出碰撞点坐标，确认碰撞点确实落在夹爪指面内而不是指面外侧。

5.3 奖励一直在涨但抓取成功率为零：机械臂学会了「抱住物体」

现象：TensorBoard 里ep_rew_mean稳步上升，甚至涨到几千，但手动测试时发现机械臂根本没有把物体抬起来，而只是把物体「推」着走。成功率曲线为 0。

原因：奖励函数里出现了「距离奖励 + 接触奖励」的漏洞。机械臂发现了只要它贴着物体、把物体推到桌角挡住，就不用抬升也能维持接触——距离为零、接触为真，但任务目标（抬升离开桌面）没有完成。这是典型的 reward hacking，模型找到了比完成任务更容易获得奖励的方式。

解决：把奖励函数改成「抬升成功才是唯一正奖励，其余全为 0」的稀疏模式，或者把距离奖励乘以一个随步数衰减的系数，逼着模型尽快去完成任务而不是耗时间贴住物体。更彻底的方案是给每一步加一个小的-0.01惩罚，缩短 episode 时长，让模型没有余力去磨蹭。

5.4 训练到后期成功率反而下降，模型变得不稳定

现象：训练到 100 万步后，保存的best_model成功率在 80% 左右，但继续训练到 150 万步时，成功率跌到 60%，甚至更低。

原因：PPO 属于 on-policy 算法，训练后期策略逐渐确定，收集到的样本多样性下降，模型容易在局部极小点附近反复振荡。再加上评估时用deterministic=True，一个动作的微小扰动在 rollout 过程中被机械臂动力学放大，成功率自然波动。

解决：用EvalCallback的best_model_save_path保存历史最优模型，不要用「最后一步的模型」；同时降低n_epochs（比如从 10 降到 3），减少过拟合到最近批次数据的概率。如果预算允许，用早停——当ep_rew_mean连续 10 万步不增长就停止训练，然后把best_model拿去做验证。

5.5 并行环境导致每次 reset 的场景不一致，训练方差巨大

现象：开了SubprocVecEnv（8 个环境）之后，每个子进程里的机械臂初始姿态、目标物体位置都不一致，甚至加载的桌面高度都不一样，训练时损失函数一直抖动。

原因：每个子进程都会独立执行_load_scene()，而random.uniform在多个进程中如果不设置一致的随机种子，会产生不同的场景分布。表面上看是场景随机化，实际上导致每个进程都在学不同的任务。

解决：在make_env()里给每个子进程设置独立的随机种子，并确保所有子进程的随机种子在每次 reset 时按同一序列推进。更好的做法是在FrankaGraspEnv.__init__里加一个seed参数，用np.random.seed(seed)固定该环境的所有随机源，包括物体位置、初始关节噪声等。这样并行环境既保持了场景多样性，又确保每次训练的运行结果可复现。

6. 从仿真到真机前的一步：确定性推理、成功率统计和断点续训

训练结束后你手里有两个模型文件：best_model.zip（评估期表现最好）和franka_grasp_final.zip（最后一次保存）。真机迁移前，先用仿真验证哪个模型真正有抓取能力。我做的第一件事是把两个模型各跑 50 次随机场景的抓取测试，记录成功率和单次尝试的平均步数，两个指标一起看——成功率 90% 但平均要 400 步才完成，说明模型学得不够利落。

# 加载历史最佳模型做确定性推理测试 from stable_baselines3 import PPO import numpy as np model = PPO.load("./models/best/best_model.zip") env = FrankaGraspEnv(render=True) # 开启 GUI 可观察 success_steps = [] for episode in range(50): obs = env.reset() done = False steps = 0 while not done and steps < 1024: action, _ = model.predict(obs, deterministic=True) obs, reward, done, info = env.step(action) steps += 1 if info.get("is_success", False): success_steps.append(steps) print("成功率:", len(success_steps) / 50) print("平均成功步数:", np.mean(success_steps) if success_steps else "无成功样本")

deterministic=True在这里至关重要——推理时策略网络输出动作分布的均值，而不是采样随机动作。训练阶段靠随机探索找策略，推理阶段必须是确定性的，否则同一个 episode 每次跑出来的轨迹都不一样，很难排查问题。

断点续训是训练长任务时最后悔没做的事。SB3 的learn()支持从已有模型加载并继续训练，而不需要从零开始。做法是把model.save()的 zip 文件重新PPO.load，再拿到新环境上继续learn。注意续训时必须用和原训练相同的n_steps、batch_size等参数，否则rollout_buffer的维度对不上。

# 从模型文件继续训练 model = PPO.load("./models/franka_grasp_final.zip") model.set_env(SubprocVecEnv([make_env() for _ in range(8)])) model.learn(total_timesteps=100_000, reset_num_timesteps=False) model.save("./models/franka_grasp_continued.zip")

从仿真迁移到真实法奥机械臂之前，还有另一层验证需要做：用 ROS 或法奥的 SDK 接收脚本输出的关节角度，在真实机械臂上盲跑几个 episode，观察运动速度是否在安全范围内。仿真里的 PPO 策略可能学会了一个极快的末端移动动作，真实机械臂执行时会触发限位保护直接停机。所以我在仿真里始终把action的缩放系数限制在 0.02 以内，并把位置增量的上限设成真实机械臂的安全速度对应的步长。这是我对这套流程最深的教训——仿真里再好的策略，真机上跑崩了也只能从头调。

希望这套「pybullet 搭场景 + SB3 训策略」的抓取训练方案，能让你少踩几个我踩过的坑。

本文还有配套的精品资源，点击获取