企业官网建设流程全解析

简介：本资源为高校强化学习课程期末考试真题及详解，面向计算机、人工智能及相关专业本科生与考研备考学生，聚焦核心算法理解与公式推导能力训练。试卷覆盖折扣因子、状态转移与奖励建模、贝尔曼方程求解、蒙特卡洛与TD方法对比、SARSA与Q-learning更新机制差异、值迭代与策略迭代流程、MDP建模、Q函数计算及基于模型/无模型方法辨析等十大关键知识点，题型含推导、计算、比较与简答，具备典型性与教学指导价值。资源为单文件PDF，大小332KB，内容排版清晰，含完整题目、分步解析与标准答案，便于打印复习或碎片化研读。目前已有290人学习下载，适合考前冲刺、概念查漏与算法思维强化。

1. 强化学习期末考不是背公式，而是考你“能不能把贝尔曼方程写对、写全、写进具体状态里”

A卷强化学习期末考试，90%的失分点不在算法思想，而在状态建模的完整性——比如题干只说“s₁有50%向下到s₃、50%向右到s₂”，但没明说“向下/向右是否可能失败”“有没有其他转移路径”，很多同学直接套用标准贝尔曼公式，漏掉隐含的自环、终止判定或奖励归属，结果整道题全扣。这不是粗心，是没吃透“MDP四元组（S, A, P, R）必须一一映射到方程中”的硬规则。这张卷子真正拉开差距的，是第1题网格世界的状态值求解、第4题SARSA数值更新、第6题多动作下的状态值比选——三道题合计占42分，全部要求你：手写推导、代入不跳步、变量下标零错误。适合正在突击复习、刷过教材但一做真题就卡壳的同学；不适合想靠概念口述混过面试的人——这里不考“你觉得Q-learning像不像人类决策”，只考“你算出的Q(s₁,a₁)是不是3.85”。

2. 高频考点：贝尔曼方程与状态值计算——必须手写推导，不能只写结论

2.1 网格世界建模：四个状态的转移图必须先画出来再列方程

题干给出s₁→s₃（下）、s₁→s₂（右）、s₂→s₄、s₃→s₄、s₄为终止态，但没有显式说明s₄的转移概率和奖励。这是第一个陷阱：s₄是终止状态，意味着P(s₄|s₄,a)=1且r(s₄,a)=0（无论采取什么动作），因此ν(s₄)=0。这个前提不写进方程，后续所有推导都无效。正确做法是：

• 先在草稿纸上画出状态节点，用带箭头的线标注转移方向、概率、即时奖励；
• 对每个非终止状态，按定义展开贝尔曼期望方程：

  νₚ(s) = Σₐ π(a|s) [ r(s,a) + γ Σₛ′ P(s′|s,a) νₚ(s′) ]
  这里策略π未指定，题目默认采用题干描述的确定性策略（如“s₁总是50%下+50%右”即π(下|s₁)=0.5, π(右|s₁)=0.5），所以可直接代入。

2.2 第1题完整推导：从方程列写到数值代入，一步都不能省

题干明确：

• s₁：r=-1，P(s₃|s₁,下)=0.5（r=1），P(s₂|s₁,右)=0.5（r=1）
• s₂：r=1，P(s₄|s₂,右)=1（r=0）
• s₃：r=1，P(s₄|s₃,右)=1（r=0）
• s₄：r=0，P(s₄|s₄,·)=1 → ν(s₄)=0

代入贝尔曼方程：

ν(s₁) = 0.5 × [1 + 0.9 × ν(s₃)] + 0.5 × [1 + 0.9 × ν(s₂)] - 1 // 注意：s₁自身奖励是-1，不是转移后的奖励！题干说“状态s₁的奖励为-1”，即r(s₁)= -1，而转移时的奖励是额外加成 // 所以向下转移：获得r(s₁)=-1 + 转移奖励1 = 0；向右转移：-1 + 1 = 0 → 两项都是0？不对！ // 关键重读：“状态s₁的奖励为-1”是进入s₁时获得的奖励（即r(s₀→s₁)=-1），但本题中s₁是起始状态，其奖励应计入第一次决策前 // 标准MDP中，奖励r(s,a,s′)绑定在转移上。题干表述模糊，但结合答案反推：s₁的-1是状态固有奖励，转移奖励另计 // 因此正确拆解： // 向下：r(s₁,下,s₃) = -1（s₁状态奖励） + 1（转移奖励） = 0 // 向右：r(s₁,右,s₂) = -1 + 1 = 0 // 故 ν(s₁) = 0.5×[0 + 0.9ν(s₃)] + 0.5×[0 + 0.9ν(s₂)] = 0.45ν(s₃) + 0.45ν(s₂)

提示：教材常把状态奖励r(s)和转移奖励r(s,a,s′)混用，但考试必须严格按题干字面处理。本题答案给出ν(s₁) = -0.5 + γν(s₄)/(1-γ)，说明命题人将s₁的-1视为单次惩罚，且转移奖励独立于状态奖励。因此更稳妥的写法是：
ν(s₁) = -1 + 0.5×[1 + 0.9ν(s₃)] + 0.5×[1 + 0.9ν(s₂)]
即：先收-1，再对每次转移分别加转移奖励和折扣后价值。这是阅卷给分的关键步骤。

继续：

• ν(s₂) = 1 + 0.9ν(s₄) = 1（因ν(s₄)=0）
• ν(s₃) = 1 + 0.9ν(s₄) = 1
• ν(s₄) = 0

代入得：ν(s₁) = -1 + 0.5×(1+0.9×1) + 0.5×(1+0.9×1) = -1 + (1.9) = 0.9
但题干答案写的是-0.5 + γν(s₄)/(1-γ) = -0.5 + 0 = -0.5？矛盾。
真相是：题干答案有印刷错误。重新审题：“状态s₁的奖励为-1，有50%概率向下转移至s₃(奖励为1)，50%概率向右转移至s₂(奖励为1)”——这里的“奖励为1”指转移奖励，即r(s₁,下,s₃)=1，r(s₁,右,s₂)=1，而s₁自身无额外奖励。那么s₁的即时收益就是转移奖励，-1是干扰项？不，再看原文：“(1) 状态s₁的奖励为-1，有50%概率向下转移至s₃(奖励为1)……”——语法上，“奖励为-1”修饰“状态s₁”，“奖励为1”修饰“转移至s₃”，二者并存。标准解法应为：

• 进入s₁时获r=-1；
• 从s₁执行动作后，再获转移奖励r(s₁,a,s′)；
• 故总收益 = -1 + r(s₁,a,s′)。

因此：
ν(s₁) = 0.5×[-1 + 1 + 0.9ν(s₃)] + 0.5×[-1 + 1 + 0.9ν(s₂)] = 0.45ν(s₃) + 0.45ν(s₂)
ν(s₂) = 1 + 0.9ν(s₄) = 1
ν(s₃) = 1 + 0.9ν(s₄) = 1
→ ν(s₁) = 0.45×1 + 0.45×1 = 0.9

但题干答案写ν(s₁) = -0.5 + γν(s₄)/(1-γ) = -0.5，说明命题人把s₁的-1当作唯一奖励，转移奖励1被忽略？不可能。最终确认：考试时以题干所给答案格式为准，即按答案反推，s₁的-1是净奖励，转移奖励已包含在“至s₃(奖励为1)”中，故s₁→s₃的总奖励是-1+1=0，s₁→s₂同理。因此ν(s₁) = 0.5×[0 + 0.9ν(s₃)] + 0.5×[0 + 0.9ν(s₂)]，ν(s₂)=1+0.9×0=1，ν(s₃)=1+0.9×0=1，ν(s₁)=0.9。而题干答案-0.5是错的——这恰恰是易错点：盲目抄答案不验证逻辑，导致整个知识链崩塌。

2.3 第6题：多动作状态值比选，本质是策略评估的离散穷举

题干：S={s₁,s₂,s₃}, A={a₁,a₂,a₃}，已知从s₁采取a₁到s₂得奖励4，采取a₂到s₃得奖励2；ν(s₂)=6, ν(s₃)=5；γ=0.9。求s₁在不同策略下的状态值。
注意：“不同策略下”指：策略π可选择a₁或a₂（a₃无定义，忽略），因此只有两种可能策略：π₁(s₁)=a₁，π₂(s₁)=a₂。

• 若π(s₁)=a₁：ν_π(s₁) = r(s₁,a₁,s₂) + γν(s₂) = 4 + 0.9×6 = 4 + 5.4 = 9.4
• 若π(s₁)=a₂：ν_π(s₁) = r(s₁,a₂,s₃) + γν(s₃) = 2 + 0.9×5 = 2 + 4.5 = 6.5
  关键点：题目没给s₁采取a₃的转移，所以a₃不可选；也没说s₂/s₃的策略，但状态值ν(s₂),ν(s₃)已给出，说明它们是固定值，无需再迭代——这是策略评估的典型设定：给定策略π，计算ν_π，而s₂/s₃的ν已知，相当于“子问题已解”。考生常错在试图对s₂/s₃再列方程，浪费时间且引入错误。

2.4 真题演练：补全缺失的贝尔曼方程并求解

题目：某MDP有状态s₁,s₂,s₃，s₃为终止态（ν(s₃)=0）。转移如下：

• s₁：以概率0.7执行a₁→s₂（r=3），0.3执行a₂→s₁（r=-2）
• s₂：以概率1.0执行a₃→s₃（r=5）
• 策略π满足π(a₁|s₁)=0.7, π(a₂|s₁)=0.3, π(a₃|s₂)=1
  求ν_π(s₁)和ν_π(s₂)，γ=0.8。

答题思路：

1. 先写s₂的方程：ν_π(s₂) = r(s₂,a₃,s₃) + γν(s₃) = 5 + 0.8×0 = 5
2. 再写s₁的方程：ν_π(s₁) = 0.7×[3 + 0.8×ν(s₂)] + 0.3×[-2 + 0.8×ν(s₁)]
   → ν_π(s₁) = 0.7×(3 + 0.8×5) + 0.3×(-2 + 0.8ν_π(s₁))
   → ν_π(s₁) = 0.7×(3+4) + 0.3×(-2) + 0.24ν_π(s₁)
   → ν_π(s₁) - 0.24ν_π(s₁) = 0.7×7 - 0.6 = 4.9 - 0.6 = 4.3
   → 0.76ν_π(s₁) = 4.3 → ν_π(s₁) ≈ 5.6579

为什么这样答：

• 必须显式写出策略概率π(a|s)，不能直接写“s₁选a₁得3”；
• s₁自环（a₂→s₁）导致方程含ν_π(s₁)自身，必须移项求解；
• 数值保留小数点后4位，因考试允许计算器，但中间步骤不能四舍五入。

3. 高频考点：MC、TD、SARSA、Q-learning——考法就三种：判类型、写公式、算数值

3.1 在线vs离线：不是记结论，而是看“更新时机”

蒙特卡洛（MC）是离线算法，因为：

• 它必须等待一个完整episode结束（如棋局终了、机器人撞墙停止），才能计算从每个状态出发的回报Gₜ = rₜ + γrₜ₊₁ + ... + γᵀ⁻ᵗrₜ，然后用Gₜ更新ν(sₜ)；
• 更新发生在episode末尾，无法在第t步就调整对sₜ的估计。

时间差分（TD）是在线算法，因为：

• 它在每一步t就用TD error δₜ = rₜ₊₁ + γν(sₜ₊₁) - ν(sₜ) 更新ν(sₜ)；
• 不需要知道后续所有奖励，仅依赖下一步的即时奖励rₜ₊₁和当前对sₜ₊₁的估计ν(sₜ₊₁)。

提示：面试官如果追问“为什么TD能在线”，核心答案是：TD用bootstrapping（自举）替代了MC的full sampling（全采样）。MC靠真实轨迹均值逼近期望，TD靠已有估计迭代逼近——这就是“在线”的数学本质。

3.2 SARSA与Q-learning：公式差异在max，策略差异在on/off

SARSA更新式：

Q(s_t, a_t) ← Q(s_t, a_t) + α [ r_{t+1} + γ Q(s_{t+1}, a_{t+1}) - Q(s_t, a_t) ]

Q-learning更新式：

Q(s_t, a_t) ← Q(s_t, a_t) + α [ r_{t+1} + γ \max_{a'} Q(s_{t+1}, a') - Q(s_t, a_t) ]

区别不在符号，而在语义：

• SARSA中aₜ₊₁是实际执行的动作（由当前ε-greedy策略选出），所以它学的是“按当前策略走，能得到多少”；
• Q-learning中max Q(sₜ₊₁,a′)是理论上最优动作的Q值，不管当前策略是否真会选它，所以它学的是“环境允许的最好结果是多少”。

因此：

• SARSA是on-policy：行为策略=目标策略，更新数据来自正在学习的策略；
• Q-learning是off-policy：行为策略（如ε-greedy）生成数据，目标策略（greedy）更新Q，二者分离。

真题演练：
题目：某智能体在状态s₁选动作a₁，得r=2，转移到s₂；在s₂按ε-greedy选a₂（Q(s₂,a₂)=4, Q(s₂,a₃)=1），γ=0.9, α=0.1。若当前Q(s₁,a₁)=3，求更新后Q(s₁,a₁)。

• 若用SARSA：Q(s₁,a₁) ← 3 + 0.1×[2 + 0.9×4 - 3] = 3 + 0.1×(2+3.6-3) = 3 + 0.1×2.6 = 3.26
• 若用Q-learning：Q(s₁,a₁) ← 3 + 0.1×[2 + 0.9×max(4,1) - 3] = 3 + 0.1×(2+3.6-3) = 同样3.26？等等——max是4，没错，但此处a₂被选中只是巧合，Q-learning的max不依赖实际选哪个，所以结果相同。但若s₂的Q值为Q(s₂,a₂)=1, Q(s₂,a₃)=4，则SARSA用1，Q-learning用4，结果迥异。考试必考这种对比场景。

3.3 n-step SARSA：统一框架下的参数调节艺术

n-step SARSA的回报估计为：
Gₜ⁽ⁿ⁾ = rₜ₊₁ + γrₜ₊₂ + ... + γⁿ⁻¹rₜ₊ₙ + γⁿQ(sₜ₊ₙ, aₜ₊ₙ)
当n=1：Gₜ⁽¹⁾ = rₜ₊₁ + γQ(sₜ₊₁, aₜ₊₁) → 标准SARSA（TD(0)）
当n→∞：Gₜ⁽∞⁾ = rₜ₊₁ + γrₜ₊₂ + γ²rₜ₊₃ + ... → MC回报（需episode结束）
考点本质：n是偏差-方差权衡的旋钮。n小→估计偏差大（因依赖Q的初始猜测），但方差小（因少用随机样本）；n大→偏差小（接近真实期望），但方差大（因长轨迹波动强）。考试不会让你推导，但会问：“n=10时，算法更像MC还是SARSA？”答：“更像MC，因n大则方差主导，需更多样本稳定，收敛慢但渐近无偏”。

3.4 真题演练：手算Q-learning更新并解释策略含义

题目：状态s，动作a₁,a₂；Q(s,a₁)=5, Q(s,a₂)=3；执行a₁得r=1，转移到s′；s′处Q(s′,a₁)=2, Q(s′,a₂)=6；γ=0.9, α=0.2。求更新后Q(s,a₁)，并说明该更新如何体现off-policy特性。

计算：
Q(s,a₁) ← 5 + 0.2 × [1 + 0.9 × max(2,6) - 5] = 5 + 0.2 × (1 + 5.4 - 5) = 5 + 0.2 × 1.4 = 5.28

解释off-policy：

• 更新时用了max Q(s′,a′)=6，对应动作a₂；
• 但智能体在s′实际可能选a₁（如ε-greedy中a₁被随机选中），Q-learning仍用a₂的Q值；
• 这说明：学习目标（greedy策略）与行为策略（ε-greedy）解耦，数据由ε-greedy生成，知识由greedy吸收——这就是off-policy的实质。

注意：若题目问“SARSA此时更新多少”，则必须用实际选的动作的Q值，哪怕它很小。这是阅卷扣分重灾区。

4. 易错点：十个高频失分陷阱，错一个扣3分起步

4.1 贝尔曼方程漏写策略概率π(a|s)，直接写r(s,a)+γΣPν

错在哪：把策略评估（policy evaluation）写成最优控制（optimal control），方程变成ν(s) = maxₐ[r(s,a) + γΣPν(s′)]，但题干明确是“给定策略π”，必须带π。
为什么错：混淆了“评估一个策略”和“改进一个策略”的任务边界。考试中凡出现“当前策略π”“按题干描述行动”，就必须用带π的期望形式。
怎么答对：先写“根据策略π，状态s的价值为：ν_π(s) = Σₐ π(a|s) [ r(s,a) + γ Σₛ′ P(s′|s,a) ν_π(s′) ]”，再代入具体π值。

4.2 把状态奖励r(s)和转移奖励r(s,a,s′)混为一谈，导致符号错乱

错在哪：题干说“s₁奖励为-1”，学生直接写ν(s₁) = -1 + γΣ...，却忽略s₁→s₂时还有额外奖励1，结果-1和1抵消，ν(s₁)只剩γ项，完全偏离题意。
为什么错：MDP中r(s,a,s′)是核心，r(s)是简化记号（等价于ΣₐΣₛ′ π(a|s)P(s′|s,a)r(s,a,s′)），考试题干若同时出现两者，必有区分意图。
怎么答对：遇到“状态s奖励为X”，立刻在草稿写“r(s) = X”；遇到“转移至s′奖励为Y”，写“r(s,a,s′) = Y”；最后组合时，若s是起始态，r(s)计入第一步；若s是中间态，r(s)已在上一步计入。

4.3 SARSA数值题中，误用Q(sₜ₊₁,aₜ₊₁)为max Q，或Q-learning中误用实际动作Q

错在哪：看到“s₂选a₂”，就认为SARSA和Q-learning更新一样，抄同一行代码。
为什么错：SARSA的aₜ₊₁是行为策略输出，Q-learning的max是目标策略输出，二者哲学不同。考试故意设置s₂的Q值相近（如4和3.9），诱使你忽略差异。
怎么答对：SARSA题干必写“接着选择a₂”，Q-learning题干必写“下一个状态所有动作中最大Q值为...”。答题时圈出关键词，强制自己写两遍公式再代入。

4.4 值迭代与策略迭代步骤颠倒，或漏写“策略改进后需重新评估”

错在哪：写策略迭代步骤为“1.初始化π 2.更新ν 3.更新π”，漏掉“4.用新π重新算ν，再改进π”，导致循环不闭合。
为什么错：策略迭代是交替过程，ν不收敛则π改进无效。考试常考“第k轮策略πᵏ是否最优”，答案取决于νᵏ是否满足贝尔曼最优方程。
怎么答对：默写标准四步：I. 初始化任意π⁰；II. 策略评估：解ν_πᵏ；III. 策略改进：πᵏ⁺¹(s) = argmaxₐ[r(s,a) + γΣPν_πᵏ(s′)]；IV. 若πᵏ⁺¹ ≠ πᵏ，返回II。强调“评估是为改进提供依据，改进后必须再评估”。

4.5 模型-based与model-free应用场景张冠李戴，说“机器人导航用模型法”

错在哪：模型法需精确P(s′|s,a)，而机器人导航中传感器噪声大、P难建模，反而是DQN等无模型法主流。
为什么错：死记“模型法样本效率高”，忽略“高样本效率的前提是模型准”。模型不准时，规划结果比随机还差。
怎么答对：模型法适用场景必须满足“环境动力学稳定、可解析建模”，如经典控制（倒立摆）、棋类（规则确定）；无模型法适用“环境黑箱、高维观测（图像）、试错成本低”，如游戏AI、机械臂抓取。

5. 高频考点：值迭代、策略迭代、MDP建模——三者联动，缺一不可

5.1 值迭代：不是循环，而是“找不动点”的数值解法

值迭代公式：
νₖ₊₁(s) = maxₐ [ r(s,a) + γ Σₛ′ P(s′|s,a) νₖ(s′) ]
关键理解：

• 每次迭代，νₖ₊₁(s)是νₖ下所有动作的“最佳即时回报+折扣未来价值”的最大值；
• 它不维护策略π，只维护价值函数，策略隐含在argmax中；
• 收敛判据是maxₛ |νₖ₊₁(s) - νₖ(s)| < ε，而非迭代次数。

真题演练：
题目：两状态MDP，s₁,s₂；s₁可选a₁→s₁(r=0)或a₂→s₂(r=1)；s₂为终止态（r=0）；γ=0.5。初值ν₀(s₁)=0, ν₀(s₂)=0。求ν₁(s₁), ν₁(s₂), ν₂(s₁)。
解：

• ν₁(s₂) = 0（终止态）
• ν₁(s₁) = max{ 0 + 0.5×0, 1 + 0.5×0 } = max{0,1} = 1
• ν₂(s₁) = max{ 0 + 0.5×1, 1 + 0.5×0 } = max{0.5,1} = 1
  → 已收敛，最优策略为s₁选a₂。

为什么考这个：检验你是否理解“值迭代每步都在提升价值下界”，ν₀=0太弱，ν₁=1是质变，ν₂不变说明已达最优。

5.2 策略迭代：策略评估的两种解法——迭代法与线性方程组

策略评估求ν_π，有两种方法：

• 迭代法：νₖ₊₁(s) = Σₐ π(a|s)[r(s,a) + γΣₛ′ P(s′|s,a)νₖ(s′)]，从ν₀开始迭代至收敛；
• 线性方程组：对每个s列方程，如ν(s₁) = π(a₁|s₁)[r₁ + γP₁₁ν(s₁) + γP₁₂ν(s₂)] + π(a₂|s₁)[r₂ + γP₂₁ν(s₁) + γP₂₂ν(s₂)]，整理成Ax=b求解。

考试倾向：小状态数（≤4）用方程组，快且精确；大状态数用迭代法。第5题答案用方程组，正是此意。

5.3 MDP建模题：从文字描述到四元组，一步都不能跳

题目：某迷宫有入口s₀、出口sₑ、陷阱sₜ；从s₀走一步有0.8概率到走廊s₁，0.2概率掉陷阱；s₁走一步有0.9概率到sₑ，0.1概率回s₀；sₑ和sₜ为终止态。奖励：到达sₑ得+10，掉sₜ得-5，其余转移得0。写出MDP四元组。

标准答案：

• S = {s₀, s₁, sₑ, sₜ}
• A = {move}（单一动作，因题干未提选择）
• P：P(s₁|s₀,move)=0.8, P(sₜ|s₀,move)=0.2, P(sₑ|s₁,move)=0.9, P(s₀|s₁,move)=0.1, P(sₑ|sₑ,move)=1, P(sₜ|sₜ,move)=1
• R：r(s₀,move,s₁)=0, r(s₀,move,sₜ)=-5, r(s₁,move,sₑ)=10, r(s₁,move,s₀)=0, r(sₑ,·,·)=0, r(sₜ,·,·)=-5

注意：sₑ和sₜ的R要写全，因它们是终止态，但R定义在转移上，所以r(sₑ,move,sₑ)=0，不是“无奖励”。

5.4 真题演练：用策略迭代解四状态MDP

题目：S={s₁,s₂,s₃,s₄}, A={a₁,a₂}；转移与奖励如下表（行s，列a，单元格为(s′,r)）：

解：

1. 策略评估：π₀下，s₄为终止态，ν(s₄)=0。列方程：
   • ν(s₃) = 1 + 0.9×0 = 1（因π₀(s₃)=a₁→s₄）
   • ν(s₂) = 0 + 0.9×1 = 0.9（π₀(s₂)=a₁→s₃）
   • ν(s₁) = 2 + 0.9×0.9 = 2 + 0.81 = 2.81（π₀(s₁)=a₁→s₂）
2. 策略改进：对每个s，算所有a的Q值，选max：
   • s₁：Q(s₁,a₁)=2+0.9×0.9=2.81, Q(s₁,a₂)=-1+0.9×2.81=1.529 → 选a₁
   • s₂：Q(s₂,a₁)=0+0.9×1=0.9, Q(s₂,a₂)=3+0.9×0=3 → 选a₂
   • s₃：Q(s₃,a₁)=1+0=1, Q(s₃,a₂)=0+0.9×1=0.9 → 选a₁
   • s₄：Q=0，任选
     → π₁(s₁)=a₁, π₁(s₂)=a₂, π₁(s₃)=a₁, π₁(s₄)=a₁

失分预警：考生常漏算s₂的Q(s₂,a₂)，因s₂→s₄的r=3，而s₄的ν=0，所以Q=3+0=3，远超Q(s₂,a₁)=0.9。这就是策略改进的核心：发现更好动作，立即切换。

6. 答题技巧：三步暴力法搞定所有计算题，从读题到落笔不超3分钟

6.1 第一步：划关键词，建状态-动作映射表（60秒）

拿到题，立刻拿笔圈出：

• 所有状态名（s₁,s₂…）、动作名（a₁,a₂…）、终止态标记；
• 每个“从X到Y”的转移，旁注“P=?”“r=?”；
• 显式给出的数值：γ, α, 初始Q/ν值；
• 动词：“求”“计算”“比较”“说明”——决定输出形式（数值/公式/文字）。

然后画表格：行=状态，列=动作，单元格填“(s′,r,P)”。例如第1题：

6.2 第二步：选公式模板，填空式代入（90秒）

根据问题类型，调用对应模板：

• 求状态值（给策略）→ ν_π(s) = Σₐ π(a|s)[r(s,a,s′) + γΣₛ′ P(s′|s,a)ν_π(s′)]
• 求Q值更新 → Q ← Q + α[r + γ×(target) - Q]，target选Q(s′,a′)或max Q
• 求最优策略 → 对每个s，算所有a的Q(s,a)，选argmax

填空法：把模板中r, γ, P, ν, α等位置，用表格里的值一一替换。例如第4题：
Q(s₁,a₁) ← Q + α[r + γ×Q(s₂,a₂) - Q] → 2 + 0.5×[3 + 0.9×3 - 2]
注意：r=3是s₁→s₂的奖励，Q(s₂,a₂)=3是题干给的，不是s₂的ν。

6.3 第三步：验算三连问，堵住所有低级错误（30秒）

写完答案，快速问：

1. 维度对吗？Q值更新后是否比原值合理？（如r>0且γ>0，Q应增大）

本文还有配套的精品资源，点击获取