企业官网建设流程全解析

简介：面向自动引导车（AGV）路径规划与强化学习入门者，这份资源以Q学习算法为核心，解决如何在未知或动态环境中寻找最优行驶路径的问题，适合需要将理论落地为代码的算法学习者、机器人或物流调度方向的研究者。压缩包约257KB，共2个文件，包含一份MATLAB源码和一份原理文档：前者对应环境定义、Q表初始化、动作选择与策略更新等完整步骤，后者梳理强化学习基础、离策略机制及Q值更新公式，便于对照实现。已有660人学习该资源。通过文档与代码的配合，读者既能理解Q学习如何根据即时奖励与折扣因子逼近最优策略，也能直接运行或扩展MATLAB脚本，复现AGV从起点到终点的最优路径生成过程，省去从零搭建的摸索时间，适合作为课程设计或算法入门的配套实战资料。

1. AGV 路径规划遇上 Q学习：不建模也能学出最优路径

AGV 路径规划听起来是个已经被 A* 解决的老问题：地图建好，跑一次搜索，最短路径就出来了。但真正做过 AGV 调度的人会告诉你，现场地图不是一张写死的表格——货架位置会调、临时堆料会挡道、AGV 还会打滑和偏航。地图一变就得重新建图重算，一旦地图本身只能做到「大概准确」，A* 算得再快也没有意义。Q学习把路径规划改写成强化学习问题：AGV 用试错加奖励反馈的方式学出一张 Q 表，每个状态下选 Q 值最高的动作，最终形成一条低成本路径。这个方案不需要精确建模，特别适合状态空间有限的栅格地图、环境经常变化的仓库场景。我会用一张 10×10 地图把 Q学习路径规划的建模、训练、调参到避坑完整过一遍，给做 AGV 和移动机器人的从业者一份能直接照着做的笔记。

2. 把 AGV 路径规划改写成强化学习问题：状态、动作与奖励的建模

2.1 从马尔可夫决策过程看路径规划：五元组怎么对应到栅格地图

路径规划本质上是序列决策问题：AGV 每到达一个位置，就要决定下一步往哪走，众多决策连起来成为一条完整路径。强化学习为这类问题提供的标准抽象是马尔可夫决策过程（MDP），它由状态 S、动作 A、转移概率 P、奖励 R、折扣因子 γ 五个要素组成。想用好 Q学习，第一步不是写训练代码，而是把这五元组对着自己的 AGV 场景一一列清楚。

状态 S 在栅格地图里就是 AGV 当前所在的坐标，比如 (3,5) 表示第 3 行第 5 列，这个坐标对应 Q 表的一行。动作 A 是 AGV 能执行的位移指令，常见做法是离散成上、下、左、右四个方向。转移概率 P 描述执行动作后到达下一个状态的概率：在完全确定的地图里，向前走一格必然到前一个格子，P 就是 1；但 AGV 载重、轮胎打滑、被地面异物卡住时，实际到达位置可能偏离，这时转移就变成随机的。Q学习是典型的 model-free 算法，从头到尾不需要这个概率值，只靠与环境互动拿到的奖励样本来更新，这是它区别于 A* 和动态规划的关键，也是它在现场地图不准时依然能工作的原因。

奖励 R 是整个建模里人为成分最大的部分，后面第 4 章专门展开。这里先记住通用套路：到达终点给一个大的正奖励，撞墙或出界给负奖励，每走一步给一个小的负值作为步数惩罚。这样设置后，路径越短累计奖励越高，AGV 学出来的策略就天然偏向短路径。折扣因子 γ 决定未来奖励折算成当前价值时打几折，γ 越小 AGV 越短视，γ 越大越愿意为了远期目标忍受眼前绕行。

实际项目里最常见的错误是把状态只定义成「当前位置」，忽略 AGV 当前是否载货、是否要到停靠点排队，导致学出来的单车策略叠加到多车调度场景后频繁失效。做 AGV 协同调度时，状态通常要扩展成「本车位置 × 任务阶段」，否则每辆车各自最优，路口照样死锁。我一般会把 MDP 五元组写成注释放在代码文件最前面，改地图时先同步改状态空间定义，避免代码跑通了逻辑却是错的。

2.2 Q学习更新公式：TD 目标与离线策略（off-policy）是怎么回事

状态、动作、奖励定义好之后，真正让 AGV 学会走路的是下面这个更新公式：

Q(s, a) ← Q(s, a) + α × [ r + γ × max(Q(s', a')) − Q(s, a) ]

拆开看：Q(s,a) 是当前状态动作对的价值估计；执行动作 a 后环境返回奖励 r，并且转移到新状态 s'；max 表示从 s' 继续出发时，未来所有动作里最乐观的价值。方括号里 r + γ × max 这一整项叫 TD 目标，意思是「眼前实际拿到的奖励 + 未来最好的预期收益」。Q(s,a) 与 TD 目标的差叫 TD 误差，乘上学习率 α 后加到原值上，就是在把当前估计往目标方向拉近一步。

这个公式最微妙的地方是 max。它计算未来收益时用的是「未来最优动作」的 Q 值，但 AGV 实际选动作时不一定走最优的，因为训练阶段要探索。用公式去学最优策略、用带探索的策略去产生数据，这种「行为策略 ≠ 目标策略」的方式就是 off-policy。工程收益是：即使 AGV 训练时经常绕路、偶尔撞墙，更新公式每次都在修正「如果未来按最优策略走，这里价值应该多高」，因此最终收敛的策略仍然偏最优，不会把绕路习惯也学进去。

对比一下 on-policy 的 SARSA，它用实际执行的动作来更新，学出来的是「带着探索一起走」的策略，行为更保守。AGV 现场有移动人员、其他车辆频繁干扰时，SARSA 往往表现出更安全的礼让行为；但静态仓库里追求最短路径，Q学习更直接，收敛后提取的路径也更稳定。我自己的选择标准是：环境随机干扰少，用 Q学习；动态障碍多且希望 AGV 主动避让，先用 SARSA 跑一版对比，再决定要不要上 DQN。

纯看公式，收敛需要两个工程条件：每个状态动作对要被访问足够多次，学习率 α 最终要衰减到足够小，否则 Q 表会一直在真值附近震荡。很多从网上下载的 Q学习路径规划代码跑不出效果，不是公式抄错，而是 α 恒定 0.5 又只跑 500 回合，探索太少，Q 表里大片格子还停在初始值 0，提取路径时完全退化。

2.3 Q学习 vs A* vs DQN：AGV 场景下怎么选型

选型是每个 AGV 路径规划项目开工会遇到的问题。我把三种常见方案放一起对比，方便对着自己的约束条件选：

A* 在已知静态栅格地图上是最快最稳的，可采纳启发式能保证全局最优，所以固定路线 AGV 完全没必要上强化学习。Qlearning 的价值出现在 A* 难受的场景：地图只能靠传感器实时感知、障碍经常变化、AGV 需要根据尝试结果自我修正。DQN 则是在状态空间大到 Q 表存不下时才值得引入，比如机械臂关节连续、无人机三维空间，普通栅格地图一般到不了这个规模。

从整个 AGV 调度系统看，路径规划往往只是下层模块，上层还要做任务分配和交通管制。常见做法是上层调度决定哪台车去哪个工位，底层单车路径规划用 Qlearning 学习一段当前环境下安全路径；环境稳定后，再用 A* 对这段路径做一次压缩，去掉冗余绕行。这比指望「一个强化学习算法解决全部调度」务实得多。用 MATLAB 做小模型快速验证参数也很常见，但真正上车前我建议换到 Python + ROS 这套生态，调度系统集成和可视化都方便。离线强化学习里的 IQL 类方案适合已有大量历史轨迹数据的场景，新部署的 AGV 没数据，先用 Q学习攒数据，再做离线训练，是更合理的路径。

3. 从零跑通 Q学习路径规划：Python 环境下 AGV 栅格地图的最小实现

3.1 建一张 10×10 栅格地图：坐标、障碍与动作空间

先把环境定义清楚。地图用 numpy 二维数组表示，0 表示可通行，1 表示障碍。数组天然对应栅格坐标，后续用 tuple 索引非常方便。如果你手上的工程是从一个 code.zip 解出来的，第一件事同样是先改这张地图数组，而不是急着改训练代码，因为奖励函数和地图尺寸是绑定的。

import numpy as np # 0 表示可通行，1 表示障碍 MAP = np.array([ [0, 1, 0, 0, 0, 0, 0, 0, 0, 0], [0, 1, 0, 1, 0, 1, 1, 1, 0, 0], [0, 0, 0, 1, 0, 0, 0, 1, 0, 0], [0, 1, 0, 0, 0, 1, 0, 0, 0, 0], [0, 1, 1, 1, 0, 1, 0, 1, 1, 0], [0, 0, 0, 0, 0, 0, 0, 1, 0, 0], [1, 1, 0, 1, 0, 1, 0, 0, 0, 0], [0, 0, 0, 1, 0, 1, 0, 1, 1, 0], [0, 1, 0, 0, 0, 0, 0, 1, 0, 0], [0, 0, 0, 1, 0, 0, 0, 0, 0, 0], ]) START = (0, 0) # 起点，对应初始状态 GOAL = (9, 9) # 终点，到达即结束回合 ACTIONS = [(-1, 0), (1, 0), (0, -1), (0, 1)] # 上、下、左、右

ACTIONS 的顺序和 Q 表的列索引绑定，之后 argmax 返回 0 到 3，直接对应这四行位移。改动顺序会让已训练的 Q 表全部失效，所以定下来后就不要随意调整。地图设计上我特意让起点到终点之间有多条可行路径，其中一条明显更绕，这是为了后面观察 Qlearning 是否真的收敛到较优路径，而不是随便逮住一条就算完事。

3.2 训练循环代码：epsilon 贪心、奖励反馈与 Q 表更新

环境搭好后，接一个完整的训练函数。这套是核心，建议直接抄下来跑一遍，再按自己的地图改。

ALPHA = 0.1 # 学习率：每次更新 Q 表的步长 GAMMA = 0.9 # 折扣因子：未来收益折算到当前的比例 EPISODES = 2000 # 训练回合数：从起点到终点算一个回合 def state_idx(state): # 把 (row, col) 坐标压成单索引，定位 Q 表行 return state[0] * MAP.shape[1] + state[1] def step(state, action): # 执行动作，返回 (新状态, 奖励, 是否结束) dr, dc = ACTIONS[action] nxt = (state[0] + dr, state[1] + dc) # 出界或撞障碍：留在原地并给负奖励 if nxt[0] < 0 or nxt[0] >= MAP.shape[0] or nxt[1] < 0 or nxt[1] >= MAP.shape[1]: return state, -10, False if MAP[nxt] == 1: return state, -10, False # 到达终点：给大正奖励并结束回合 if nxt == GOAL: return nxt, 100, True # 普通移动：每走一步扣 1，路径越短累计奖励越高 return nxt, -1, False def train(): # Q 表：行数是格子总数，列数是动作数 q_table = np.zeros((MAP.size, len(ACTIONS))) for ep in range(EPISODES): state = START done = False # epsilon 从 1.0 线性衰减到 0.1，前 90% 回合大部分时间在探索 epsilon = max(0.1, 1.0 - ep / EPISODES * 0.9) while not done: # epsilon 贪心：小概率随机走，大概率按当前 Q 表走 if np.random.rand() < epsilon: action = np.random.randint(len(ACTIONS)) else: action = int(np.argmax(q_table[state_idx(state)])) next_state, reward, done = step(state, action) # Q 表更新：目标 = 即时奖励 + 折扣的未来最大 Q 值 best_next = np.max(q_table[state_idx(next_state)]) q_table[state_idx(state), action] += ALPHA * ( reward + GAMMA * best_next - q_table[state_idx(state), action] ) state = next_state return q_table

state_idx 把二维坐标压成一行编号，Q 表行数等于地图格子总数。这里没有给障碍格子单独建行，因为出界和撞障碍都被 step 拦截，AGV 留在原地，障碍格子即使存在于 Q 表里，正常路径也不会选中。step 里碰撞返回 -10 而不是 -100，是反复试出来的，下一章会解释为什么碰撞惩罚过大会教 AGV 原地摆烂。

更新语句里的 best_next 就是公式中的未来最大 Q 值。注意 next_state 是终点时，循环因为 done=True 结束，不会再用终点状态更新 Q，这保证终点的 Q 值停留在 0，不会在提取路径时把 AGV 又拉出终点。训练里 alpha 固定 0.1 在 2000 回合内够用；如果地图变大或障碍变多，最好让 alpha 随回合衰减，比如 alpha = max(0.05, 0.5 * (0.998 ** ep))，避免后期震荡。

epsilon 的线性衰减写法是：第一个回合 epsilon=1.0，最后 10% 回合保持 0.1，整个训练过程始终保留少量探索。这是为了让 Q 表里那些不常走的状态动作对也能被访问到，否则一旦遇到没见过的情况，AGV 就只能乱走。

3.3 从训练好的 Q 表回溯路径：策略提取与画路径

训练结束后，Q 表就是 AGV 的路径策略。从起点开始，每一步选当前状态 Q 值最大的动作，依次走到终点，就是学到的路径。

def extract_path(q_table, max_steps=100): path = [START] state = START for _ in range(max_steps): action = int(np.argmax(q_table[state_idx(state)])) state, _, _ = step(state, action) path.append(state) if state == GOAL: break return path if __name__ == "__main__": q_table = train() path = extract_path(q_table) print("路径长度:", len(path) - 1) print("路径:", path)

路径回溯是纯读表过程，不再有随机性，所以同一张 Q 表每次提取的路径是确定的。max_steps 用来兜底，防止 Q 表收敛失败时进入死循环。打印路径长度后，再和 A* 在同一张地图上的最短长度对比，就能快速判断 Qlearning 有没有学到较优路径。

只靠打印路径很难看出「哪一段绕了」，我的做法是额外用 matplotlib 画两张图：一张是路径叠加在 MAP 上，另一张是每个回合的行走步数曲线。步数曲线比 Q 表数值更直观，收敛时曲线会一路下降然后稳定。这两张图也是后面调参时判断效果的唯一依据，建议单独存成 png 文件，方便横向对比。

提示：上面代码默认 AGV 每一步绝对可靠。如果现场有打滑，可以把 step 里的状态转移改成带概率的随机转移，Qlearning 不需要改一行更新公式也能学，只是 epsilon 要留得更多、alpha 适当调小，因为反馈里噪声变大了。

4. 把「最优」调出来：Q学习路径规划的 5 个参数与奖励函数设计

4.1 学习率和折扣因子的取值经验：alpha 0.1、gamma 0.9 为什么常见

Qlearning 有四个算法参数：学习率 α、折扣因子 γ、探索率 epsilon 及其衰减策略，外加一组奖励值。这套参数组合出来的效果，直接决定路径是不是「最优」。但它们不是拍脑袋定的，而是和环境尺度强相关。

学习率 α 决定单次更新把 Q 值拉向目标多少。α 太大，比如 0.9，最新一条样本会大幅改写 Q 值，前期学得快，后期在最优值附近持续震荡；α 太小，比如 0.01，2000 个回合内 Q 表还停在初始值附近，提取路径明显绕路。0.1 对 10×10 栅格是稳妥取值，样本量几百到几千回合时效果稳定。地图规模变大后，我一般用衰减学习率：前期 0.5 快速逼近，后期降到 0.05 微调。

折扣因子 γ 决定未来收益在当前时刻的价值。γ=0.9 意味着 10 步以后的奖励价值只剩约 35%，适合 10×10 这种只要走十几步的小地图；如果地图边长到 50，γ 建议提到 0.99，否则远期收益折损太多，AGV 会变得非常短视。γ 也不是越大越好，太接近 1 会让回报在多次迭代中反复向后传递，收敛变慢，碰撞惩罚也会被长期记住，导致 AGV 远离障碍区域绕大圈。

下面这张参数表可以贴在代码旁边当速查卡：

4.2 epsilon 衰减节奏：训练到第几轮开始信任 Q 表

epsilon 是贪心策略里的探索概率，即随机选动作的概率。训练初期 Q 表几乎是空的，必须靠随机动作去收集「哪条是死路、哪条能到终点」的样本；训练后期 Q 表已经接近真实价值，应该多走 argmax，把误差消干净。最直接的做法是线性衰减，像第 3 章代码那样从 1.0 降到 0.1。另一种常见做法是指数衰减：epsilon = max(0.05, 0.99 ** ep)，曲线前期快速下降、后期趋于平缓，更适合地图中等大小、每回合步数较均匀的场景。

衰减节奏的判断标准只有一条：看回合步数曲线。如果曲线在训练后期仍然上下剧烈波动，说明 epsilon 还没降够，AGV 频繁随机动作干扰学习；如果曲线很快下降后就再也不变，说明探索结束太早，某些备选路径没有被访问到，后续回合只是在局部最优上反复强化。让 epsilon 下限保持在 0.05 到 0.1 是工程共识，完全降为 0 会让 Q 表失去应对未知状态的修正能力，现场一旦出现临时障碍，AGV 很容易死循环。

训练到第几轮开始信任 Q 表，我的经验：2000 回合任务里，前 800 回合主要是遍历地图、找到任意一条可行路径；中间 600 回合在缩短路径；最后 600 回合才是稳定收敛。前期路径长别急着调参，那很可能只是探索的代价。

4.3 奖励函数是真正的黑匣子：步数惩罚、碰撞惩罚与到达奖励怎么配

参数调整是显性的，奖励函数却是整个方案里最像黑匣子的部分。奖励设计没有解析公式可套，只能记住一条原则：让「短路径」和「安全到达」在累计奖励上是最高，而不是某个单独动作的单步收益最高。常用三件套是到达奖励 100、普通步数惩罚 -1、碰撞惩罚 -10。

这三者的相对大小比绝对大小重要。把碰撞惩罚调到 -100 会带来一个隐蔽翻车：AGV 发现只要停在原地，每步只被扣 1，而冒险探索可能连续扣 100，于是学会了「不动」策略。降到 -10 后，一次碰撞损失约等于白走 10 步，AGV 才有动力去尝试绕开障碍。同样，到达奖励不能只给 10，因为一条长度 20 的路径累计步数惩罚是 -20，到达奖励必须明显高于它，否则 AGV 宁愿永远走不到终点。

还有两个常见的奖励雷区：一是把步数惩罚设成 0，只给终点奖励，这是稀疏奖励，10×10 地图靠随机探索，2000 回合内可能只有少数几次到达终点，样本完全不够；二是把奖励设计成「离终点越近奖励越大」的稠密势场，在 AGV 场景容易诱导贴边走、甚至贴墙刮过去，实际系统里宁可让中途奖励全是 -1 步数惩罚，也不要搞复杂势场。

4.4 怎么判断训练已经收敛：回合步数曲线与路径长度

收敛判断是最容易被新手做错的一环。很多人直接打印 Q 表看数值变不变，这是典型的伪判断，因为 Q 表更新本来就会一直波动。正确做法是跟踪两个指标：每个回合从起点到终点走的步数，以及提取路径长度是否和 A* 基准一致。步数序列是训练过程指标，路径长度是结果指标。

训练代码里每个回合结束时记录 step_count，跑完 2000 回合后画折线图。收敛良好的曲线特征：大趋势从 40 到 50 步快速下降到 20 步以下，后期在最小值附近抖动且幅度收窄。如果曲线下降后开始反弹，大概率是 alpha 没衰减导致震荡；如果曲线一直下不去，回头检查碰撞惩罚是不是过大、终点奖励是不是太小。路径长度要拿 A* 在同一张地图上的最短路径对比，偏差在 1 格以内可视为达到近似最优，偏差大于 3 格就要重看奖励配比。

在更大地图或更复杂障碍布局下，一轮训练结果不代表稳定复现。实际交付时建议跑 5 到 10 次完整训练，统计路径长度均值和方差，只要每次提取路径一致，才算把「最优」从玄学变成了可验证的指标。

5. Q学习路径规划避坑记录：不收敛、绕路、回弹与死循环的排查

5.1 现象：训练很久 Q 表不收敛，AGV 在原地反复打转

现象：回合步数曲线前期下降了一下，然后长期徘徊在高位，路径提取出来是一串相邻格子来回横跳，比如 (3,3)→(3,4)→(3,3)→(3,4)。Q 表里这几个位置的动作 Q 值非常接近，argmax 每次取到的动作不一致。

原因：最常见是两个因素叠加。一是 alpha 恒定偏大，比如一直用 0.5，后续回合里每次更新仍把 Q 值大幅拉来拉去；二是 epsilon 下限设得偏高，后期还有 20% 概率随机动，随机动作让 Q 表稳定不下来。另一个高频原因在奖励：碰撞惩罚若比步数惩罚大太多，AGV 会在两个相邻安全格子之间反复横跳，因为横跳能避开碰撞，而单步惩罚又很轻。

解决：把 alpha 改成衰减曲线，中后期降到 0.05；epsilon 降到 0.1 以下并保留最小探索；同时检查奖励配比，把碰撞惩罚控制在步数惩罚的 5 到 10 倍量级，而不是 100 倍。改完重点看步数曲线高位震荡是否变小，不用急着看 Q 表数值。

5.2 现象：能到终点但明显绕路，路径比 A* 长出一大截

现象：Qlearning 找得到终点，路径也合法，但长度 25 步，而 A* 在同样地图上只要 18 步。重复训练多次，路径总是走同一条大绕行。

原因：这类绕路通常不是算法没找到最优，而是「最优」在奖励函数定义下确实就是这条绕路。比如到达奖励 100、步数惩罚 -0.1，长度 30 的路径累计奖励是 97，长度 20 的路径是 98，两者只差 1。AGV 只要找到任意一条路径，就不会再费力探索更短的；多走一步才扣 0.1，它对「短一步」不够敏感。前文说的「绕路是奖励函数问题」在这里体现得最直接。

解决：把步数惩罚调大，比如从 -0.1 改成 -1，让长度差在累计奖励上明显放大。同时降低到达奖励的绝对优势：到达 +100 时，步数惩罚至少到 -1，每少走 5 步约等于多拿 5 分，AGV 才有动力尝试更短路径。调完后用 A* 路径长度做基准，看提取路径偏差是否进入 1 格以内。

5.3 现象：提取的路径走到终点后又回弹出来

现象：路径序列末尾出现 (9,8)→(9,9)→(9,8)→(9,9)，AGV 到了终点还往外走一步再走回来，路径长度统计多了两次无效往返。

原因：这是训练循环和状态定义共同造成的。有些实现对终点状态也执行了 Q 更新，导致终点的 Q 值被持续改写；或者 step 函数里到达终点返回 done=True，训练循环里没有及时 break，终点状态又参与了一次更新。路径回溯时，argmax 认为从终点回退到 (9,8) 再回来能再拿一次到达奖励，就出现了回弹。

解决：训练循环里对 done 做短路处理，到达终点后不再更新 Q；step 函数把到达终点单独分支，奖励只发一次；提取路径时一旦 state == GOAL 立即 break，不再继续查表。这类问题通常只有几行代码差异但很隐蔽，我排查时会在 extract_path 里加一个 visited 集合，路径长度超过地图格子数就报警。

5.4 现象：地图一变，之前训练的 Q 表全废，又得重新训练

现象：仓库货架位置调整或新增临时障碍后，AGV 按旧 Q 表走会撞墙或绕进死胡同，只能重新训练几百上千回合，现场停线时间不能接受。

原因：Q 表把策略固定在了绝对坐标上，状态是 (row, col)，地图一变，所有状态动作对的价值都要重学。这是 Qlearning 在 AGV 落地时最常被诟病的一点：它能应对小扰动，但面对结构性地图变化，泛化能力趋近于零。

解决：两条路。第一，把状态从绝对坐标改成相对特征，比如「到终点的曼哈顿距离 + 前方第 1/2/3 格是否可通行」组成状态向量，地图局部变化时很多状态仍然复用，Q 表泛化性明显提升，代价是状态定义变复杂、训练难度上升。第二，保留旧 Q 表做冷启动：地图更新后拿旧 Q 表做初值，只重新训练 100 到 200 回合，收敛速度比从零开始快一个量级。工程上我一般同时用：旧 Q 表初始化加在线小步长更新，配合实际障碍信息做局部修改，AGV 现场不会因为一次货架调整停摆半天。

6. 从静态最优到多 AGV 协同：动态避障、基准验证与落地建议

6.1 动态避障与多 AGV 冲突：Q学习怎么从单体走向协同

前面的方案解决的是单车静态地图问题，现场做多 AGV 时冲突会立刻冒出来。常见做法是分两层：上层调度分配任务并预留路口资源，下层单车路径规划用 Qlearning。动态避障不是让 AGV 每次遇到障碍都全局重规划，而是在 step 函数里把实时感知到的临时障碍映射成高惩罚格子，让 Q 表在几轮局部更新后自动绕开。两辆 AGV 在窄道相遇时，把对方位置也放进 step 的碰撞判定里，配合上层调度给出的优先级，各车用 Q 表选一条不冲突的绕行路径。

6.2 用 A* 基线验证最优性：我的调参习惯

验证路径是否最优，我每次都会写一个 A* 基线函数在同一张地图上算最短长度，拿 Qlearning 提取路径与它对比。偏差 1 格算合格，大于 3 格就回到奖励函数检查。调参时我会把「回合步数曲线 + 路径图 + A* 基准长度」保存成一份对比文件，每次改动都留档。这套习惯让我在改坏参数后能快速翻回上一版，而不是凭记忆从头调到天黑。希望帮到你。

本文还有配套的精品资源，点击获取