提出零约束违反的安全多目标强化学习算法
原文：Safe Multi-Objective Reinforcement Learning: Zero Constraint Violation and Primal-Averaging Convergence
多目标强化学习（MORL）的许多应用需要策略在满足安全约束的同时平衡相互冲突的目标。我们研究在整个学习过程中零约束违反的安全MORL，涵盖累积约束和逐步约束。一个关键挑战是在未知动态和约束成本下充分探索而不违反约束。对于给定的目标偏好，我们开发了一种算法，通过结合乐观奖励估计与悲观成本上界来学习安全的帕累托最优策略。以高概率而言，在$T$个回合中执行的每个策略都产生零约束违反。该算法返回由平均占用测度诱导的安全马尔可夫策略，并在平滑Tchebycheff标量化下达到$\widetilde{O}(1/\sqrt{T})$的次优间隙。我们进一步开发了一种无偏好算法，它首先在没有预设偏好的情况下安全探索，然后在不进一步交互的情况下为任意给定偏好计算安全策略。在$T$个探索回合和$K$次规划迭代中，它保持相同的安全保证，并达到$\widetilde{O}(1/\sqrt{T}+1/\sqrt{K})$的次优间隙。两种算法都需要知道一个严格满足约束的策略及其成本。我们随后放宽了这些要求，最多产生常数累积违反。据我们所知，我们提供了首批对每个执行策略都保证安全的样本高效MORL算法。作者：Chenxi Li, Yao Shu, Siyang Gao, Shuang Qiu, Guangxin Jiang 类别：cs.LG,cs.AI,math.OC,stat.ML