移动机器人Wang利用深度强化学习算法和视觉感知相结合的方法完成非结构环境下的移动

中科院沈阳自动化所的Wang利用深度强化学习算法和视觉感知相结合的方法来完成移动机器人(如图3(a))在非结构环境下的移动操作[7]。作者将移动操作过程看做一个标准的强化学习问题，首先通过双目相机通过DOPE获取目标物体的6D姿态p以及机器人本体的当前状态st,接着通过基于PPO的强化学习算法预测机器人的本体，机械臂以及机械手的运动并控制机器人本体运动，最后机器人的运动状态st+1和响应rt，其中响应主要包含了整个系统的控制响应rctrl、机械手末端的位置响应rdist以及抓取状态rgrasp(如图3(b))。最后作者在仿真环境和真实环境下测试了不同高度下的抓取成功率，在仿真中，立方体的抓取效果最好达到了90%的成功率，而球类物体较差仅有60%左右，而在实际测试过程中，在姿态估计正确的前提下可实现目标物体的成功抓取(如图3(c)(d))。