四足机器人运动的模仿放松强化学习框架
为了让有腿机器人有效地探索周围环境并完成任务,它们需要能够快速可靠地移动。近年来,机器人专家和计算机科学家为有腿机器人的运动创建了各种模型,其中许多模型是使用强化学习方法训练的。
有腿机器人的有效运动需要解决几个不同的问题。这些包括确保机器人保持平衡、最有效地移动、定期交替腿部运动以产生特定的步态以及它们可以遵循命令。
虽然有腿机器人运动的一些方法取得了可喜的成果,但许多方法无法始终如一地解决所有这些问题。当他们这样做时,有时他们很难达到高速,因此只能让机器人缓慢移动。
浙江大学和浙江大学-杭州全球科技中心的研究人员最近创建了一个新的框架,可以让四足机器人高效、高速地移动。该框架在NatureMachineIntelligence中介绍,它基于一种称为模仿松弛强化学习(IRRL)的训练方法。
“让机器人赶上生物机动性是我梦想的研究目标,”进行这项研究的研究人员之一金永斌告诉TechXplore。“在其实施中,我们的想法受到计算机图形学、材料科学和力学之间的跨学科交流的启发。特征超平面的灵感来自材料科学中的三元相图。”
与传统的强化学习方法相比,Yongbin及其同事提出的方法分阶段优化了腿式机器人运动的不同目标。此外,在评估他们系统的稳健性时,研究人员引入了“随机稳定性”的概念,他们希望这一衡量标准能够更好地反映机器人在现实环境中的表现(即,与模拟相反)。
“我们试图了解不同子奖励函数的特征,然后重塑最终的奖励函数以避免局部极值的影响,”永斌解释道。“从另一个角度来看,这种方法的有效性在于从易到难的学习过程。运动模仿为最优解提供了一个很好的初始估计。”
研究人员通过一系列测试评估了他们的方法,包括模拟四足机器人和运行随机稳定性分析。他们发现,它可以让类似于麻省理工学院创造的著名迷你猎豹机器人的四足机器人以5.0m/s-1的速度奔跑,而不会失去平衡。
“我认为这项工作有两个主要贡献,”永斌说。“第一个是提出的超平面方法,它有助于我们探索超高维参数空间中奖励的性质,从而指导基于RL的控制器的奖励设计。第二个是定量稳定性评估方法,它尝试弥合模拟与真实之间的差距。”
这组研究人员引入的框架很快就可以在不同的现实世界环境中使用各种物理腿机器人进行实施和评估。最终,它可以帮助改善现有和新创建的有腿机器人的运动能力,使它们能够更快地移动,在更短的时间内完成任务,并更有效地到达目标位置。
“到目前为止,基于熵的稳定性度量是一种后验方法,”永斌补充道。“未来,我们将在控制器学习过程中直接引入稳定性指标,力争赶超自然生物的敏捷性。”
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
风行T5 EVO是东风风行推出的一款紧凑型SUV,凭借其时尚的外观设计、丰富的配置以及相对亲民的价格,在市场上...浏览全文>>
-
关于2022款迈腾GTE的具体价格,不同地区和经销商可能会有不同的优惠政策。一般来说,迈腾GTE的官方指导价大约...浏览全文>>
-
英菲尼迪QX60 2024款作为一款豪华中大型SUV,凭借其精致的设计、宽敞的空间以及丰富的配置,吸引了不少消费者...浏览全文>>
-
如果您正在寻找一款高性价比、配置丰富的车型,理想MEGA 2025款确实是一个值得考虑的选择。以下是一些关于这...浏览全文>>
-
好的,我明白了!您提到的是关于2025款星际新车的报价信息,最低售价为 8 28万元起,并且现车供应充足。如果...浏览全文>>
-
根据您提供的信息,帝豪L HiP(插电混动版)的最低售价为8 98万元起。目前该车型现车充足,适合有意向购买插...浏览全文>>
-
根据目前的市场反馈和行业动态,启腾EX80的价格走势表现出一定的下行趋势。近期,各大经销商纷纷加大了优惠力...浏览全文>>
-
抱歉,我无法提供2025款捷途X95的具体价格信息,因为这款车尚未发布,而且价格通常取决于地区、配置和市场情况...浏览全文>>
-
在山东济南购买大众CC的价格会因车型、配置、市场活动以及经销商的不同而有所差异。以下是一些关于大众CC的购...浏览全文>>
-
东风风神E60是一款性价比非常高的纯电动车型,其在价格与配置之间找到了一个较为理想的平衡点。以下从价格、配...浏览全文>>
- 风行T5 EVO多少钱?购车攻略全解析
- 广东东莞迈腾GTE多少钱 2022款落地价实惠,配置丰富,不容错过
- 英菲尼迪QX60 2024新款价格大公开,买车不花冤枉钱
- 帝豪L HiP价格,最低售价8.98万起,现车充足
- 山东济南大众CC多少钱?买车攻略一网打尽
- 卫士价格,最低售价60.80万起现在该入手吗?
- 济南ID.4 X多少钱?购车攻略助你轻松入手
- 宝马i5最新价格2025款实惠,配置丰富,不容错过
- 雷克萨斯NX新车报价2025款大揭秘,买车前必看
- 风行S50EV落地价限时特惠,最低售价15.29万起,错过不再有
- 远程FX 2021新款价格,各配置车型售价全展示,超值机会
- 山东济南大众ID.3新车报价2025款,换代前的购车良机,不容错过
- SRM鑫源新能源T3L EV落地价实惠,配置丰富,不容错过
- 江豚E5最新价格2025款,最低售价5.69万起,价格再创新低
- 河南郑州T-ROC探歌落地价大起底,买车超详细
- 示界06落地价实惠,配置丰富,不容错过
- 郑州威然新车报价2024款大公开,买车不花冤枉钱
- 奇骏多少钱?如何挑选性价比高的车
- 跨越星V7 EV新款价格2025款多少钱?选车秘籍全攻略
- 新海狮落地价,最低售价9.18万起现在该入手吗?