21 点（Blackjack）
观测是三元组： (玩家点数, 庄家明牌点数, 是否有可用Ace)；Ace 可记 11 点（可用）或 1 点，优
先按 11 计算，爆牌时自动转为 1 点。
仅两个选择：0=停牌（不再要牌）、1=要牌（再抽一张牌），牌池为有放回抽样。
开局双方各发两张牌；玩家先决策，持续要牌直到停牌或点数超 21（爆牌），对局提前结束。
玩家停牌后，庄家亮暗牌并按固定规则补牌：点数不足 17 必须要牌，≥17 则停牌。
玩家点数＞庄家 / 庄家爆牌：玩家胜，奖励+1
玩家爆牌 / 玩家点数＜庄家：玩家负，奖励-1
点数一致：平局，奖励0
对局中途即时奖励均为0，仅对局结束后结算奖惩。
玩家选择停牌；或玩家要牌后点数超过 21。
蒙特卡罗算法
核心思想
无模型学习无法获取环境转移概率，只能依靠与环境交互得到的完整对局（Episode） 估计价值。
蒙特卡洛方法 是最直观的无模型算法：必须跑完一整局游戏，拿到最终胜负奖励后，再反向更新
每一步的价值与策略。
手算过程
假设我们现在已经玩完了一局游戏，对局轨迹如下：
本局为首次对局，所有的动作价值 (Q(s,a))、回报(G)列表初始值均为 0 /空列表。
步骤 1：逆序遍历轨迹，逐点计算（MC 核心）
初始化累积回报：G_sum= 0 首先处理的最后一步（t=1)
累加累积回报: G=G_sum+r1=0+1.0=1.0
存入历史回报列表: 此时我们选择的是动作0，所以rewards（s1,0)=[1.0,.......]
更新Q值: 此时我们选择的是动作0，所以Q（s1,0)=mean（[1.0,.......]）=1.0
然后再更新策略
然后处理（t=0)
累加累积回报（沿用前面总和）： G=G_sum+r2=1.0+0=1.0
存入历史回报列表: 此时我们选择的是动作1，所以rewards（s0,1)=[1.0,.......]
更新Q值: 此时我们选择的是动作1，所以Q（s0,1)=mean（[1.0,.......]）=1.0
然后再更新策略
数学公式
时序差分算法
核心思想
用 “现实得到的奖励 + 预估未来价值”，去修正 “我之前的估计”。
时序差分 TD = 走一步就更新一步，不用等游戏结束，用 “眼前奖励 + 下一个状态的估计价值” 来更
新当前价值。
手算过程
数学公式
