# 三维人形机器人 三维人形机器人（Humanoid）是 DeepMind Control Suite 中的经典双足行走任务。其目标是训练一个模拟的三维人形机器人，通过控制其关节力矩，实现站立、行走和奔跑。 ```{video} /_static/videos/dm_humanoid_run.mp4 :poster: _static/images/poster/dm_humanoid_run.jpg :nocontrols: :autoplay: :playsinline: :muted: :loop: :width: 100% ``` ## 任务描述 Humanoid 是一个三维空间的双足人形机器人任务。机器人由头部、躯干、双臂和双腿组成，拥有 21 个受控关节（执行器），智能体通过向这些关节施加扭矩作为动作，让机器人实现站立平衡、向前行走或快速奔跑。该任务要求协调的双足步态、平衡控制和三维空间姿态稳定能力。 --- ## 动作空间（Action Space） | 项目 | 详细信息 | | -------- | -------------------------------- | | **类型** | `Box(-1.0, 1.0, (21,), float32)` | | **维度** | 21 | 动作对应如下： | 序号 | 动作含义（施加在关节的力矩） | 最小值 | 最大值 | 对应 XML 中名称 | | ---: | ---------------------------- | :----: | :----: | :---------------- | | 0 | 腹部 Y 轴旋转关节驱动扭矩 | -1.0 | 1.0 | `abdomen_y` | | 1 | 腹部 Z 轴旋转关节驱动扭矩 | -1.0 | 1.0 | `abdomen_z` | | 2 | 腹部 X 轴旋转关节驱动扭矩 | -1.0 | 1.0 | `abdomen_x` | | 3 | 右髋关节 X 轴驱动扭矩 | -1.0 | 1.0 | `right_hip_x` | | 4 | 右髋关节 Z 轴驱动扭矩 | -1.0 | 1.0 | `right_hip_z` | | 5 | 右髋关节 Y 轴驱动扭矩 | -1.0 | 1.0 | `right_hip_y` | | 6 | 右膝关节驱动扭矩 | -1.0 | 1.0 | `right_knee` | | 7 | 右踝关节 X 轴驱动扭矩 | -1.0 | 1.0 | `right_ankle_x` | | 8 | 右踝关节 Y 轴驱动扭矩 | -1.0 | 1.0 | `right_ankle_y` | | 9 | 左髋关节 X 轴驱动扭矩 | -1.0 | 1.0 | `left_hip_x` | | 10 | 左髋关节 Z 轴驱动扭矩 | -1.0 | 1.0 | `left_hip_z` | | 11 | 左髋关节 Y 轴驱动扭矩 | -1.0 | 1.0 | `left_hip_y` | | 12 | 左膝关节驱动扭矩 | -1.0 | 1.0 | `left_knee` | | 13 | 左踝关节 X 轴驱动扭矩 | -1.0 | 1.0 | `left_ankle_x` | | 14 | 左踝关节 Y 轴驱动扭矩 | -1.0 | 1.0 | `left_ankle_y` | | 15 | 右肩关节 1 驱动扭矩 | -1.0 | 1.0 | `right_shoulder1` | | 16 | 右肩关节 2 驱动扭矩 | -1.0 | 1.0 | `right_shoulder2` | | 17 | 右肘关节驱动扭矩 | -1.0 | 1.0 | `right_elbow` | | 18 | 左肩关节 1 驱动扭矩 | -1.0 | 1.0 | `left_shoulder1` | | 19 | 左肩关节 2 驱动扭矩 | -1.0 | 1.0 | `left_shoulder2` | | 20 | 左肘关节驱动扭矩 | -1.0 | 1.0 | `left_elbow` | --- ## 观察空间 | 项目 | 详细信息 | | -------- | -------------------------------- | | **类型** | `Box(-inf, inf, (73,), float32)` | | **维度** | 73 | Humanoid 环境的观测空间由以下部分组成（按顺序）： | 部分 | 内容说明 | 维度 | 备注 | | ------------------ | ------------------------------------- | ---- | ------------------------------------------------- | | **joint_angles** | 各关节角度（排除根关节的 7 个自由度） | 22 | 22 个关节的角度信息 | | **head_height** | 头部高度 | 1 | 头部相对于地面的高度 | | **extremities** | 四肢末端位置（相对于躯干） | 12 | 左手、左脚、右手、右脚的位置（各 3 维，按此顺序） | | **torso_vertical** | 躯干垂直方向向量 | 3 | 躯干在局部坐标系中的垂直方向 | | **com_vel** | 质心线速度 | 3 | 躯干子树的线速度 | | **qvel** | 所有关节和根部的速度信息 | 29 | 包括根关节的 6 个自由度 | | **target_local** | 目标方向（局部坐标系） | 3 | 目标方向在躯干局部坐标系中的表示 | --- ## 奖励函数设计 Humanoid 的奖励函数根据任务类型（站立、行走、奔跑）有所不同，但都包含以下核心组件： ### 姿态奖励（Posture Reward） ```python # 头部高度奖励：保持头部在目标高度（标准站立高度的 95%，约 1.33m）以上 stand_reward = tolerance(head_height, bounds=(stand_height * 0.95, inf), margin=0.5) # 躯干直立奖励：保持躯干直立 upright_reward = tolerance(torso_upright, bounds=(0.9, inf), sigmoid="linear", margin=0.9) # 盆骨高度奖励：保持盆骨在合理高度（标准站立高度的 60%，约 0.84m）以上 pelvis_height_reward = tolerance(pelvis_height, bounds=(stand_height * 0.6, inf), sigmoid="linear", margin=stand_height * 0.6) # 姿态奖励 = 头部高度奖励 × 躯干直立奖励 × 盆骨高度奖励 posture_reward = stand_reward * upright_reward * pelvis_height_reward ``` ### 速度奖励（Speed Reward） 根据任务类型，速度奖励的计算方式不同： **站立任务（move_speed <= 0）**： ```python # 速度奖励：保持接近零速度 speed_reward = tolerance(actual_speed, bounds=(0, 0), margin=1.0, value_at_margin=0.01) ``` **行走任务（0 < move_speed <= 3.0）**： ```python # 速度奖励：在目标方向（X 轴正方向）上达到目标速度（默认 1.0 m/s） actual_speed = dot(com_vel[:2], target_direction[:2]) # 速度在目标方向上的投影 speed_reward = tolerance(actual_speed, bounds=(move_speed, move_speed), margin=move_speed, sigmoid="linear") ``` **奔跑任务（move_speed > 3.0）**： ```python # 速度奖励：在目标方向上达到目标速度（默认 10.0 m/s）以上 actual_speed = dot(com_vel[:2], target_direction[:2]) speed_reward = tolerance(actual_speed, bounds=(move_speed, inf), margin=move_speed, sigmoid="linear") ``` ### 能量奖励（Energy Reward） ```python energy_reward = exp(-energy_coef * mean(ctrls ^ 2)) ``` ### 步态奖励（Gait Reward） ```python # 躯干朝向奖励：躯干正对目标方向 torso_heading_reward = tolerance(dot(torso_forward, target_dir), bounds=(0.9, 1.0), margin=0.3, sigmoid="linear") # 头部朝向奖励：头部正对目标方向 head_heading_reward = tolerance(dot(head_forward, target_dir), bounds=(0.9, 1.0), margin=0.3, sigmoid="linear") # 盆骨朝向奖励：盆骨正对目标方向 pelvis_yaw_reward = tolerance(dot(pelvis_forward, target_dir), bounds=(0.9, 1.0), margin=0.3, sigmoid="linear") # 盆骨水平奖励：盆骨保持水平 pelvis_level_reward = tolerance(pelvis_up, bounds=(0.9, 1.0), margin=0.3, sigmoid="linear") # 足部高度奖励：足部保持贴近地面 feet_height_reward = tolerance(max_foot_height, bounds=(0.0, 0.3), margin=0.5, sigmoid="quadratic") # 步态奖励 = 所有朝向和姿态奖励的乘积 gait_reward = torso_heading_reward * head_heading_reward * pelvis_yaw_reward * pelvis_level_reward * feet_height_reward ``` ### 总奖励 ```python total_reward = posture_reward * speed_reward * energy_reward * gait_reward ``` --- ## 初始状态 - **机器人位置**：躯干初始高度为 1.33 米（标准站立高度的 95%） - **机器人姿态**：躯干保持直立，四元数设置为 (1.0, 0.0, 0.0, 0.0) - **关节角度**：在关节限位范围内随机初始化 - 躯干/髋部基础关节：在较小范围内随机化（±15 度） - 腿部关节：对称初始化，确保左右腿独立随机化，膝盖初始弯曲 - 手臂关节：对称初始化，使用关节限位的中间 80% 范围 - **初始速度**：所有关节速度和线速度初始化为接近零的小随机值（-0.01 到 0.01） - **初始控制**：所有执行器控制量初始化为接近零的小随机值（-0.02 到 0.02） ## Episode 终止条件 - 机器人状态观测值出现异常数值（NaN 或 Inf） - 头部高度过低：头部高度低于标准站立高度的 50%（0.7 米） - 躯干倾斜过大：躯干垂直分量小于 0.2（躯干严重倾斜） - 速度异常：任何关节速度的绝对值超过 200.0 rad/s 或 m/s - Episode 最大时长：25 秒 --- ## 使用指南 ### 1. 环境预览 ```bash uv run scripts/view.py --env dm-humanoid-stand uv run scripts/view.py --env dm-humanoid-walk uv run scripts/view.py --env dm-humanoid-run ``` ### 2. 开始训练 ```bash uv run scripts/train.py --env dm-humanoid-stand uv run scripts/train.py --env dm-humanoid-walk uv run scripts/train.py --env dm-humanoid-run ``` ### 3. 查看训练进度 ```bash uv run tensorboard --logdir runs/dm-humanoid-walk ``` ### 4. 测试训练结果 ```bash uv run scripts/play.py --env dm-humanoid-stand uv run scripts/play.py --env dm-humanoid-walk uv run scripts/play.py --env dm-humanoid-run ``` --- ## 预期训练结果 ### 站立任务 (dm-humanoid-stand) 1. 头部高度保持在 1.3-1.5m 范围 2. 躯干直立角度偏差小于 15 度 3. 能够稳定站立不倒 4. 速度接近零，无明显移动 ### 行走任务 (dm-humanoid-walk) 1. 实际行走速度接近 1.0 m/s 2. 步态协调，无明显摔倒 3. 能够持续稳定行走 4. 躯干和头部朝向目标方向 ### 奔跑任务 (dm-humanoid-run) 1. 奔跑速度达到 4.0-10.0 m/s 2. 出现飞行相（双脚同时离地） 3. 步态协调稳定 4. 能够保持高速奔跑姿态