Motrixlab/docs/source/zh_CN/user_guide/demo/dm_humanoid.md

三维人形机器人

三维人形机器人（Humanoid）是 DeepMind Control Suite 中的经典双足行走任务。其目标是训练一个模拟的三维人形机器人，通过控制其关节力矩，实现站立、行走和奔跑。

:poster: _static/images/poster/dm_humanoid_run.jpg
:nocontrols:
:autoplay:
:playsinline:
:muted:
:loop:
:width: 100%

任务描述

Humanoid 是一个三维空间的双足人形机器人任务。机器人由头部、躯干、双臂和双腿组成，拥有 21 个受控关节（执行器），智能体通过向这些关节施加扭矩作为动作，让机器人实现站立平衡、向前行走或快速奔跑。该任务要求协调的双足步态、平衡控制和三维空间姿态稳定能力。

---

动作空间（Action Space）

项目	详细信息
类型	Box(-1.0, 1.0, (21,), float32)
维度	21

动作对应如下：

序号	动作含义（施加在关节的力矩）	最小值	最大值	对应 XML 中名称
0	腹部 Y 轴旋转关节驱动扭矩	-1.0	1.0	abdomen_y
1	腹部 Z 轴旋转关节驱动扭矩	-1.0	1.0	abdomen_z
2	腹部 X 轴旋转关节驱动扭矩	-1.0	1.0	abdomen_x
3	右髋关节 X 轴驱动扭矩	-1.0	1.0	right_hip_x
4	右髋关节 Z 轴驱动扭矩	-1.0	1.0	right_hip_z
5	右髋关节 Y 轴驱动扭矩	-1.0	1.0	right_hip_y
6	右膝关节驱动扭矩	-1.0	1.0	right_knee
7	右踝关节 X 轴驱动扭矩	-1.0	1.0	right_ankle_x
8	右踝关节 Y 轴驱动扭矩	-1.0	1.0	right_ankle_y
9	左髋关节 X 轴驱动扭矩	-1.0	1.0	left_hip_x
10	左髋关节 Z 轴驱动扭矩	-1.0	1.0	left_hip_z
11	左髋关节 Y 轴驱动扭矩	-1.0	1.0	left_hip_y
12	左膝关节驱动扭矩	-1.0	1.0	left_knee
13	左踝关节 X 轴驱动扭矩	-1.0	1.0	left_ankle_x
14	左踝关节 Y 轴驱动扭矩	-1.0	1.0	left_ankle_y
15	右肩关节 1 驱动扭矩	-1.0	1.0	right_shoulder1
16	右肩关节 2 驱动扭矩	-1.0	1.0	right_shoulder2
17	右肘关节驱动扭矩	-1.0	1.0	right_elbow
18	左肩关节 1 驱动扭矩	-1.0	1.0	left_shoulder1
19	左肩关节 2 驱动扭矩	-1.0	1.0	left_shoulder2
20	左肘关节驱动扭矩	-1.0	1.0	left_elbow

---

观察空间

项目	详细信息
类型	Box(-inf, inf, (73,), float32)
维度	73

Humanoid 环境的观测空间由以下部分组成（按顺序）：

部分	内容说明	维度	备注
joint_angles	各关节角度（排除根关节的 7 个自由度）	22	22 个关节的角度信息
head_height	头部高度	1	头部相对于地面的高度
extremities	四肢末端位置（相对于躯干）	12	左手、左脚、右手、右脚的位置（各 3 维，按此顺序）
torso_vertical	躯干垂直方向向量	3	躯干在局部坐标系中的垂直方向
com_vel	质心线速度	3	躯干子树的线速度
qvel	所有关节和根部的速度信息	29	包括根关节的 6 个自由度
target_local	目标方向（局部坐标系）	3	目标方向在躯干局部坐标系中的表示

---

奖励函数设计

Humanoid 的奖励函数根据任务类型（站立、行走、奔跑）有所不同，但都包含以下核心组件：

姿态奖励（Posture Reward）

# 头部高度奖励：保持头部在目标高度（标准站立高度的 95%，约 1.33m）以上
stand_reward = tolerance(head_height, bounds=(stand_height * 0.95, inf), margin=0.5)

# 躯干直立奖励：保持躯干直立
upright_reward = tolerance(torso_upright, bounds=(0.9, inf), sigmoid="linear", margin=0.9)

# 盆骨高度奖励：保持盆骨在合理高度（标准站立高度的 60%，约 0.84m）以上
pelvis_height_reward = tolerance(pelvis_height, bounds=(stand_height * 0.6, inf), sigmoid="linear", margin=stand_height * 0.6)

# 姿态奖励 = 头部高度奖励 × 躯干直立奖励 × 盆骨高度奖励
posture_reward = stand_reward * upright_reward * pelvis_height_reward

速度奖励（Speed Reward）

根据任务类型，速度奖励的计算方式不同：

站立任务（move_speed <= 0）：

# 速度奖励：保持接近零速度
speed_reward = tolerance(actual_speed, bounds=(0, 0), margin=1.0, value_at_margin=0.01)

行走任务（0 < move_speed <= 3.0）：

# 速度奖励：在目标方向（X 轴正方向）上达到目标速度（默认 1.0 m/s）
actual_speed = dot(com_vel[:2], target_direction[:2])  # 速度在目标方向上的投影
speed_reward = tolerance(actual_speed, bounds=(move_speed, move_speed), margin=move_speed, sigmoid="linear")

奔跑任务（move_speed > 3.0）：

# 速度奖励：在目标方向上达到目标速度（默认 10.0 m/s）以上
actual_speed = dot(com_vel[:2], target_direction[:2])
speed_reward = tolerance(actual_speed, bounds=(move_speed, inf), margin=move_speed, sigmoid="linear")

能量奖励（Energy Reward）

energy_reward = exp(-energy_coef * mean(ctrls ^ 2))

步态奖励（Gait Reward）

# 躯干朝向奖励：躯干正对目标方向
torso_heading_reward = tolerance(dot(torso_forward, target_dir), bounds=(0.9, 1.0), margin=0.3, sigmoid="linear")

# 头部朝向奖励：头部正对目标方向
head_heading_reward = tolerance(dot(head_forward, target_dir), bounds=(0.9, 1.0), margin=0.3, sigmoid="linear")

# 盆骨朝向奖励：盆骨正对目标方向
pelvis_yaw_reward = tolerance(dot(pelvis_forward, target_dir), bounds=(0.9, 1.0), margin=0.3, sigmoid="linear")

# 盆骨水平奖励：盆骨保持水平
pelvis_level_reward = tolerance(pelvis_up, bounds=(0.9, 1.0), margin=0.3, sigmoid="linear")

# 足部高度奖励：足部保持贴近地面
feet_height_reward = tolerance(max_foot_height, bounds=(0.0, 0.3), margin=0.5, sigmoid="quadratic")

# 步态奖励 = 所有朝向和姿态奖励的乘积
gait_reward = torso_heading_reward * head_heading_reward * pelvis_yaw_reward * pelvis_level_reward * feet_height_reward

总奖励

total_reward = posture_reward * speed_reward * energy_reward * gait_reward

---

初始状态

• 机器人位置：躯干初始高度为 1.33 米（标准站立高度的 95%）
• 机器人姿态：躯干保持直立，四元数设置为 (1.0, 0.0, 0.0, 0.0)
• 关节角度：在关节限位范围内随机初始化
  • 躯干/髋部基础关节：在较小范围内随机化（±15 度）
  • 腿部关节：对称初始化，确保左右腿独立随机化，膝盖初始弯曲
  • 手臂关节：对称初始化，使用关节限位的中间 80% 范围
• 初始速度：所有关节速度和线速度初始化为接近零的小随机值（-0.01 到 0.01）
• 初始控制：所有执行器控制量初始化为接近零的小随机值（-0.02 到 0.02）

Episode 终止条件

• 机器人状态观测值出现异常数值（NaN 或 Inf）
• 头部高度过低：头部高度低于标准站立高度的 50%（0.7 米）
• 躯干倾斜过大：躯干垂直分量小于 0.2（躯干严重倾斜）
• 速度异常：任何关节速度的绝对值超过 200.0 rad/s 或 m/s
• Episode 最大时长：25 秒

---

使用指南

1. 环境预览

uv run scripts/view.py --env dm-humanoid-stand
uv run scripts/view.py --env dm-humanoid-walk
uv run scripts/view.py --env dm-humanoid-run

2. 开始训练

uv run scripts/train.py --env dm-humanoid-stand
uv run scripts/train.py --env dm-humanoid-walk
uv run scripts/train.py --env dm-humanoid-run

3. 查看训练进度

uv run tensorboard --logdir runs/dm-humanoid-walk

4. 测试训练结果

uv run scripts/play.py --env dm-humanoid-stand
uv run scripts/play.py --env dm-humanoid-walk
uv run scripts/play.py --env dm-humanoid-run

---

预期训练结果

站立任务 (dm-humanoid-stand)

1. 头部高度保持在 1.3-1.5m 范围
2. 躯干直立角度偏差小于 15 度
3. 能够稳定站立不倒
4. 速度接近零，无明显移动

行走任务 (dm-humanoid-walk)

1. 实际行走速度接近 1.0 m/s
2. 步态协调，无明显摔倒
3. 能够持续稳定行走
4. 躯干和头部朝向目标方向

奔跑任务 (dm-humanoid-run)

1. 奔跑速度达到 4.0-10.0 m/s
2. 出现飞行相（双脚同时离地）
3. 步态协调稳定
4. 能够保持高速奔跑姿态