Imitating Animals: 从动物模仿到真实四足敏捷运动

强化学习基础定义 (RL Formulation)#

​ 将动作模仿表述为一个强化学习问题。在强化学习中，目标是学习一个控制策略，使智能体能够在给定任务中最大化其期望回报 。

​ 在每个时间步 $t$，智能体从环境中观察状态 $s_{t}$，并根据其策略 $\pi$ 采样一个动作 $a_{t}\sim\pi(a_{t}|s_{t})$。然后智能体执行该动作，导致转移到新状态 $s_{t+1}$ 并获得一个标量奖励 $r_{t}=r(s_{t},a_{t},s_{t+1})$。

​ 和 DeepMimic 一样，目标是最大化长期累积奖励。

策略的输入与输出 (Policy Inputs & Outputs)#

​ 采用 DeepMimic 中类似的动作模仿方法。策略的输入增加了一个额外的目标 $g_{t}$，指定机器人应该模仿的动作。

• 策略： $\pi(a_{t}|s_{t},g_{t})$
  • 将给定的状态 $s_{t}$ 和目标 $g_{t}$ 映射为动作分布
  • 在每个时间步以 30Hz 的频率被查询以获取新动作
• 输入：
  • 状态 $s_{t}=(q_{t-2:t},a_{t-3:t-1})$，由机器人过去三个时间步的姿态 $q_{t-2:t}$ 和过去三个动作 $a_{t-3:t-1}$ 表示。
    • 不再只输入“当前帧”，而是输入“过去三帧”。
    • 在真实世界中，传感器有延迟，且单纯的一帧数据无法准确反映速度和加速度。输入历史信息可以让神经网络隐式地推断出速度和系统的延迟特性。
  • 姿态特征 $q_{t}$
    • 由根节点方向（横滚、俯仰、偏航）的 IMU 读数和每个关节的局部旋转组成。 姿态特征中不包含根节点位置，以避免在现实世界部署期间需要估计根节点位置。
    • 在模拟器里，上帝视角知道机器人精确位置。但在现实里，机器人不知道自己在世界地图的哪个坐标（除非有昂贵的GPS或动捕系统）。为了让策略能独立运行，作者强迫它只依赖随身携带的传感器（IMU + 关节编码器）。
  • 目标 $g_{t}=(\hat{q}_{t+1},\hat{q}_{t+2},\hat{q}_{t+10},\hat{q}_{t+30})$指定了参考动作在未来四个时间步的目标姿态，跨度约为 1 秒。
• 输出：动作 $a_{t}$，指定了每个关节 PD 控制器的目标旋转角度。
  • 为了确保动作更平滑，PD 目标在应用到机器人之前首先经过低通滤波器处理。
  • 低通滤波： 这是为了保护电机。神经网络输出的信号可能会剧烈抖动，直接发给电机可能会导致过热或损坏，滤波让指令变柔和。

奖励函数 (Reward Function)#

​ 奖励函数鼓励策略在每个时间步跟踪参考动作的目标姿态序列 $(\hat{q}_{0},\hat{q}_{1},...,\hat{q}_{T})$，其结构和 DeepMimic 几乎一样，也是加权求和。具体公式如下：

​ 各个子奖励项定义如下：

• 姿态奖励 (Pose Reward) ：$r_{t}^{p}=\exp[-5\sum_{j}||\hat{q}_{t}^{j}-q_{t}^{j}||^{2}]$
  • $\hat{q}$ vs $q$： 比较真狗 ($\hat{q}$) 和机器狗 ($q$) 每个关节旋转角度的差异。
  • 系数 -5： 中等严厉。允许一点点误差，但不能差太多。
• 速度奖励 (Velocity Reward) ：$r_{t}^{v}=\exp[-0.1\sum_{j}||\hat{\dot{q}}_{t}^{j}-\dot{q}_{t}^{j}||^{2}]$
  • 比较关节角速度（转得有多快）。
  • 系数 -0.1： 非常宽容。
    • 为什么？ 速度信号通常充满噪声（抖动）。如果对速度惩罚太狠（比如用 -5），机器狗为了匹配速度可能会发生高频震荡，导致电机过热。所以这里作者选择“睁一只眼闭一只眼”。
• 末端执行器奖励 (End-effector Reward)：$r_{t}^{e}=\exp[-40\sum_{e}||\hat{x}_{t}^{e}-x_{t}^{e}||^{2}]$
  • 含义： 比较四只脚（末端）相对于身体的 3D 位置。
  • 系数 -40： 极其严厉！
    • 为什么？ 脚的位置决定了接触点。如果真狗的脚落地了，而机器狗的脚偏了 2 厘米导致悬空，整个物理状态就会完全不同（从走路变成摔倒）。所以这一项必须精准，容不得沙子。
• 根节点姿态奖励 (Root Pose Reward)：$r_{t}^{rp}=\exp[-20||\hat{x}_{t}^{root}-x_{t}^{root}||^{2}-10||\hat{q}_{t}^{root}-q_{t}^{root}||^{2}]$
  • 含义： 包含两部分：
    1. 位置误差 ($\hat{x} - x$)： 系数 -20。要求机器狗必须跟上真狗的移动轨迹。
    2. 旋转误差 ($\hat{q} - q$)： 系数 -10。要求机器狗的身体朝向（比如头朝北）必须正确。

Domain Randomization#

Domain randomization is a simple strategy for improving a policy’s robustness to dynamics variations

翻译： 领域随机化是一种简单的策略，用于提高策略对动力学变化的鲁棒性 (Robustness)。

​ 我们需要在训练期间改变动力学参数，从而鼓励策略学习在不同动力学条件下都能起作用的策略。

​ 然而，可能还是会有一些局限性：

• 可能没有任何一种单一策略能在所有环境中都有效
• 由于现实世界中存在未建模的效应 (unmodeled effects)，那些对不同模拟动力学具有鲁棒性的策略在部署到物理系统时仍可能失败。

Domain Adaptation (领域自适应)#

• 新增输入：
  • $\mu$：代表在模拟训练期间被随机化的动力学参数的值，其包含了摩擦力、质量、电机强度等物理量。
    • 例如 $\mu = [0.8, 12.5, 0.05]$
• 过程：
  • 采样：在每个回合开始时，根据分布 $\mu\sim p(\mu)$ 采样一组随机参数。
  • 编码：然后，动力学参数通过一个随机编码器 (Encoder) $E$ 被编码为一个隐嵌入 (Latent Embedding) $z\sim E(z|\mu)$，并且 $z$ 作为额外的输入提供给策略 $\pi(a|s,z)$。
    • $E(z|\mu)$：这是一个神经网络。输入物理参数 $\mu$，输出一个分布（通常是高斯分布），然后从中采样出 $z$。
    • $\pi(a|s,z)$：策略网络（大脑）。它现在的决策不仅取决于它看到了什么 ($s$)，还取决于它“感觉”到了什么 ($z$)。
• 问题：
  • 策略学到的战略可能会依赖于 $z$ 必须是对系统真实动力学的精确表示。
  • 过拟合：这可能导致脆弱的行为，即策略针对给定的 $z$ 所采用的战略可能会过拟合到对应参数 $\mu$ 的精确动力学上。

​ 于是，提出了