技术视界 | 青龙机器人训练地形详解（一）：如何创建一个地形

机器人强化学习中的地形训练是利用强化学习算法让机器人在不同地形环境中通过试错学习最优行为策略的过程，通过环境建模、策略学习与优化等环节，使机器人能够自主适应复杂多变的地形，提高其移动效率、稳定性和自主性，减少人为干预，从而在实际应用中更好地应对各种复杂场景，提升机器人在复杂环境中的性能和可靠性。

什么是地形？

在人形机器人行走的强化学习研究中，"地形"被定义为机器人运动过程中足端与外界环境发生力学交互的接触界面及其物理属性组合。该概念涵盖几何形态特征（如曲率、高程差）、材料特性（摩擦系数、弹性模量）以及动态环境参数（移动平台速度、表面形变速率）等多维度要素。

地形复杂度主要由表面几何不规则度、接触面材料异质性和环境动态扰动强度三个核心指标构成，这些要素的协同作用对机器人的运动学模型适应性、动力学控制鲁棒性以及能量优化效率形成了复合挑战。

在青龙机器人的强化学习训练框架中，使用了楼梯地形，波浪地形，斜坡地形，垫脚石地形等。

为什么需要地形？

在强化学习框架下，地形多样性作为环境参数空间的关键维度和训练模型的重要因素，对人形机器人运动策略的泛化能力培养具有显著的促进作用。

通过构建包含随机扰动、动态变化和非结构化特征的训练地形集合，机器人在策略优化过程中可逐步习得适应复杂物理交互的通用运动模式。这种多模态地形训练机制能够有效提升机器人运动系统的鲁棒性，具体表现在三个维度：首先，在动态平衡控制方面，不同摩擦系数和地形起伏特征促使策略网络学习更精细的质心调节机制；其次，在环境感知与响应层面，异质性地貌特征驱动感知模块建立更完备的动力学特征编码能力；最后，在能耗优化维度，多样化地形约束引导策略网络发展出适应不同能耗场景的步态切换策略。

不同地形的设计和使用可以帮助研究人员测试和改进机器人在各种环境下的表现，从而开发出更智能和可靠的行走算法。

如何创建地形？

上面介绍了强化学习中“地形”的概念，下面以具体案例向大家讲解如何创建一个地形。

def jump_plat_terrain(terrain, height, platform_size=1.):
height = int(height / terrain.vertical_scale)    
platform_size = int(platform_size / terrain.horizontal_scale / 2)    
x1 = terrain.length // 2 - platform_size    
x2 = terrain.length // 2 + platform_size    
y1 = terrain.width // 2 - platform_size    
y2 = terrain.width // 2 + platform_size    
terrain.height_field_raw[x1:x2, y1:y2] = height  

这是一个 AzureLoong/gpugym/utils 路径下的 terrain.py 文件中的一个函数，它被用以创建一个凸起的平台，其中平台高度为 height，平台大小为 platform_size。

在人形机器人强化学习领域，Terrain 类通常用于定义和管理训练或测试环境中的地形参数，其核心目标是通过多样化的地形模拟，提升机器人的运动适应性和策略泛化能力。Terrain 类的定义也在此文件中，结构比较简单，在这里就不做详细解释了。Terrain 类中最重要的一个参数就是 height_field_raw，它的定义语句是

self.height_field_raw = np.zeros((self.tot_rows , self.tot_cols), dtype=np.int16)

它具体的作用是，以坐标形式表现地形中某处位置的高度。

所以 terrain.height_field_raw[x1:x2, y1:y2] = height 的意思就是在 x1 到 x2，y1 到 y2 区域创建高度为height的地形。

另外的，因为 height_field_raw 以数组形式存储高度数据，所以 x1，x2，y1，y2 都需要是整数。另一个值得注意的问题是 x1，x2，y1，y2 相比于 platform_size 都乘上了一个 horizontal_scale 参数，而高度 height 则乘上了一个 vertical_scale 参数，这是为了以后方便对所有的地形做统一调整而添加的参数。

上文中给出了如何创建一个凸起的跳台 jump_plat 的函数，通过修改上文中的代码语句的最后一行则能让它创建一个下凹的 jump_pit

terrain.height_field_raw[x1:x2, y1:y2] = -height

本篇文章探讨了如何创建一个地形以及一些基础原理，但如何在实际场景中高效应用呢？下一篇文章将揭秘如何添加地形到训练环境，提供更多的实践演练操作！

"OpenLoong" 是全球领先的人形机器人开源社区，秉承技术驱动与开放透明的价值观，致力于汇聚全球开发者推动人形机器人产业发展。由国家地方共建人形机器人创新中心发起的 OpenLoong 项目，是业内首个全栈、全尺寸的开源人形机器人项目，有着人人都可以打造属于自己的机器人的美好愿景，旨在推动人形机器人全场景应用、助力具身智能时代的到来。

欢迎加入 OpenLoong 开源社区，探索人形机器人技术，共享创新成果，在这里一起见证开源的力量！