挑战：分布偏移

离线强化学习 (reinforcement learning)（RL）的基本限制是我们无法与环境交互以收集新数据。我们局限于一个静态数据集 $\mathcal{D} = \{(s_i, a_i, r_i, s'_i)\}_{i=1}^N$，该数据集可能由不同的策略（或多种策略的组合）收集，称为行为策略 $\pi_b$。我们的目标是仅使用 $\mathcal{D}$ 来学习一个新的、可能更好的目标策略 $\pi$（或评估一个已有的策略）。这就是分布偏移成为一个重要阻碍的地方。

分布偏移指的是离线数据集中遇到的状态-动作对分布 $d^{\pi_b}(s, a)$ 与学习到的策略 $\pi$ 如果部署到环境中会产生的状态-动作对分布 $d^{\pi}(s, a)$ 之间的不匹配。

为什么这种不匹配是一个问题？许多标准RL算法，特别是像Q-learning及其深度变体（DQN）这样的离策略方法，都依赖于评估在给定状态下采取动作的预期回报。考虑Q-learning中使用的贝尔曼更新：

$$Q(s, a) \leftarrow \mathbb{E}_{r, s' \sim \mathcal{D}}[r + \gamma \max_{a'} Q(s', a')]$$

或者，更准确地说，在离线、函数近似设置中，我们通常在数据集上最小化像均方贝尔曼误差（MSBE）这样的损失：

$$L(\theta) = \mathbb{E}_{(s, a, r, s') \sim \mathcal{D}} \left[ \left( r + \gamma \max_{a'} Q_{\bar{\theta}}(s', a') - Q_{\theta}(s, a) \right)^2 \right]$$

这里，$Q_{\theta}$ 是我们的参数 (parameter)化Q函数，$Q_{\bar{\theta}}$ 是一个目标网络。问题出现在术语 $\max_{a'} Q_{\bar{\theta}}(s', a')$ 中。从 $Q_{\theta}$ 派生出的策略 $\pi$（例如，$\pi(s) = \arg\max_a Q_{\theta}(s, a)$）可能会建议在状态 $s'$ 中采取动作 $a'$，而这些状态-动作对在行为策略 $\pi_b$ 下很少或从未一起访问过。也就是说，对于使学到的 $Q_{\bar{\theta}}(s', \cdot)$ 最大化的动作 $a'$，其概率 $d^{\pi_b}(s', a')$ 可能非常低或为零。

在线和标准离策略RL中，如果智能体开始偏好状态 $s'$ 中的一个新动作 $a'$，探索机制（如epsilon-greedy）使其有机会在真实环境中真正尝试 $(s', a')$ 并接收反馈（奖励 $r'$ 和下一个状态 $s''$）。这使得Q值估计基于实际经验。在离线设置中，这是不可能的。算法只能从 $\mathcal{D}$ 中存在的转换中学习。

分布偏移的后果

1. 外推误差： 神经网络 (neural network)和其他函数近似器在它们训练过的数据分布内进行插值时是有效的。然而，当被要求外推到远离该分布的输入时，它们通常表现不佳。对分布外（OOD）动作 $a'$ 评估 $Q(s', a')$ 正是这样一种外推任务。结果Q值可能任意不准确。

2. 过高估计偏差： Q-learning目标中的 $\max$ 算子 $\max_{a'} Q(s', a')$ 倾向于选择具有最高Q值的动作。如果这些高值中的一些是由于OOD动作上的外推误差，则目标值本身就会错误地过高。这导致对于那些转换到OOD动作看起来很好的状态 $s'$ 的状态-动作对 $(s, a)$ 产生乐观偏差。这种偏差可以通过自举在学习过程中传播，系统地夸大许多状态的价值估计。

3. 策略退化： 基于这些错误乐观的Q值学习策略是有问题的。策略可能会学会偏好那些根据有缺陷的$Q$-函数看起来很好的动作，但如果在真实环境中执行，这些动作实际上会表现不佳，因为由于分布偏移，它们的价值被高估了。

分布偏移的图示。离线数据集包含行为策略 $\pi_b$ 访问的状态-动作对（蓝色节点）。标准离策略算法在更新过程中或在推导学习策略 $\pi$ 时，可能需要为数据集中缺失或稀有的动作（例如状态 $s_1$ 中的 $a_2$，红色节点）估计Q值。这种对分布外估计的依赖会带来重大风险。

因此，有效管理分布偏移是离线RL的一个核心主题。算法必须设计为要么阻止策略查询OOD动作，要么纠正此类动作的价值估计，从而确保学习基于可用数据。后续章节将介绍为应对这一挑战而开发的具体算法技术。