交互实验室

步骤 0 / 400速度

读取当前图形说明

固定种子 2027 的 4 臂高斯老虎机，ε=0.10，已执行 0 步，平均奖励 0.0000，最优臂选择率 0.0000；渐近期望奖励 1.5417，渐近最优臂率 0.9250。

键盘：空格播放或暂停，左右方向键单步，Home 重置。

Q 从零初始化并按增量式样本均值更新，并列最大时在并列集合中均匀抽取；渐近线假设 Q 已收敛到真实均值，只描述长期行为。数值核验通过：动作计数之和等于步数，整段模拟由同一种子逐点重放一致，且渐近线满足 (1−ε)μ*+εμ̄≤μ*。残差 0.00e+0。

科学说明

以下说明给出当前实现、自动复算口径与适用范围。

观察目标: 观察探索概率 ε 如何同时影响短期平均奖励与长期最优臂选择率。
数学模型: K=4 臂，奖励服从 N(μᵢ,1)，μᵢ 由种子确定；每步以概率 ε 均匀探索，否则在 argmax Q 的并列集合中均匀抽取，Q 从零初始化并按增量式样本均值更新；渐近每步期望奖励 (1−ε)μ*+ε·μ̄，最优臂渐近选择率 1−ε+ε/K。
假设与适用范围: 各臂奖励独立、分布平稳，样本均值估计没有模型偏差。
渐近值假设 Q 已收敛到真实均值，只描述长期行为。
操作步骤: 设置 ε 与种子，逐步增加拉杆次数。
比较平均奖励曲线与渐近线 (1−ε)μ*+ε·μ̄。
读取最优臂选择率并与渐近率 1−ε+ε/K 对照。
预期现象: ε=0 可能长期锁定次优臂；较大的 ε 把平均奖励拉向均匀探索对应的 μ̄ 一侧。
有限步数下曲线在渐近值附近波动，早期估计误差主导偏差。
数值验证: 臂均值由种子独立重算，动作计数之和必须等于已执行步数。
累计平均奖励由奖励序列独立复算，渐近线满足 (1−ε)μ*+ε·μ̄≤μ*。
局限: 平稳高斯臂不涵盖非平稳、上下文或延迟奖励问题。
单次种子轨迹不能用来证明某个 ε 的全局最优性。
相关正文: Q-learning

ε-greedy 多臂老虎机

正在加载交互实验…