课程强化学习实现大气不确定性下火箭着陆
原文：Curriculum-Based Deep Reinforcement Learning for Robust Autonomous Rocket Landing under Atmospheric Uncertainty
自主远距离火箭着陆是一个具有挑战性的控制问题，因为必须在存在不确定大气和飞行器动力学的情况下协调导航、下降速率调节、姿态管理和燃料使用。本文提出了一种课程驱动的近端策略优化（PPO）框架，用于随机环境中的三维火箭着陆，该环境包含高度相关的气动阻力、风切变、时间相关湍流、离散阵风、不确定的推进和气动参数、推力矢量失准、发动机滞后、执行器增益变化、噪声观测和指令延迟。学习被组织为远距离接近、软下降和集成着陆阶段。策略迁移、奖励变化后的评论家预热、早期任务的复演以及天气严重程度的逐步扩展被用于支持这些耦合阶段的学习。在100,000个评估回合中，策略实现了96,656次成功着陆，对应96.656%的成功率和95% Wilson置信区间96.543--96.766%。成功率从零扰动条件下的98.84%下降到最高天气严重程度带的88.07%。成功触地表现出较小的脱靶距离和较低的残余水平和垂直速度。一项探索性逻辑回归分析确定平均风速是成功率最强的测量相关因素，初始距离、初始高度、初始垂直速度和风切变指数也与结果相关。结果量化了所学策略在评估扰动分布上的有效性以及在严重复合大气条件下发生的性能退化。作者：Atin Chowdhury, Piyush Joshi 类别：cs.AI