机器之心专栏
作者：杨天培、汤宏垚、白辰甲、刘金毅等
强化学习是在与环境交互过程中不断学习的，?交互中获得的数据质量很?程度上决定了智能体能够学习到的策略的?平。因此，如何引导智能体探索成为强化学习领域研究的核?问题之?。本?介绍天津?学深度强化学习实验室近期推出的深度强化学习领域第?篇系统性的综述?章，该综述?次全?梳理了DRL和MARL的探索?法，深?分析了各类探索算法的挑战，讨论了各类挑战的解决思路，并揭?了未来研究?向。
当前，强化学习（包括深度强化学习DRL和多智能体强化学习MARL）在游戏、机器?等领域有?常出?的表现，但尽管如此，在达到相同?平的情况下，强化学习所需的样本量（交互次数）还是远远超过?类的。这种对?量交互样本的需求，严重阻碍了强化学习在现实场景下的应?。为了提升对样本的利?效率，智能体需要?效率地探索未知的环境，然后收集?些有利于智能体达到最优策略的交互数据，以便促进智能体的学习。近年来，研究?员从不同的?度研究RL中的探索策略，取得了许多进展，但尚??个全?的，对RL中的探索策略进?深度分析的综述。
论文地址：https://arxiv.org/pdf/2109.06668.pdf
本?介绍深度强化学习领域第?篇系统性的综述?章Exploration in Deep Reinforcement Learning: A Comprehensive Survey。该综述?共调研了将近200篇?献，涵盖了深度强化学习和多智能体深度强化学习两?领域近100种探索算法。总的来说，该综述的贡献主要可以总结为以下四??：
- 三类探索算法。该综述?次提出基于?法性质的分类?法，根据?法性质把探索算法主要分为基于不确定性的探索、基于内在激励的探索和其他三?类，并从单智能体深度强化学习和多智能体深度强化学习两??系统性地梳理了探索策略。
- 四?挑战。除了对探索算法的总结，综述的另??特点是对探索挑战的分析。综述中?先分析了探索过程中主要的挑战，同时，针对各类?法，综述中也详细分析了其解决各类挑战的能?。
- 三个典型benchmark。该综述在三个典型的探索benchmark中提供了具有代表性的DRL探索?法的全?统?的性能?较。
- 五点开放问题。该综述分析了现在尚存的亟需解决和进?步提升的挑战，揭?了强化学习探索领域的未来研究?向。
接下来，本?从综述的四?贡献??展开介绍。
三类探索算法
上图展?了综述所遵循的分类?法。综述从单智能体深度强化学习算法中的探索策略、多智能体深度强化学习算法中的探索策略两??向系统性地梳理了相关?作，并分别分成三个?类：?向不确定性的（Uncertainty-oriented）探索策略、?向内在激励的（Intrinsic motivation oriented）探索策略、以及其他策略。
1、?向不确定性的探索策略
通常遵循“乐观对待不确定性”的指导原则（OFU Principle）「1」。这类做法认为智能体对某区域更?的不确定性（Uncertainty）往往是因为对该区域不充分的探索导致的，因此乐观地对待不确定性，也即引导智能体去探索不确定性?的地?，可以实现?效探索的?的。
强化学习中?般考虑两类不确定性，其中引导往认知不确定性?的区域探索可以促进智能体的学习，但访问环境不确定性?的区域不但不会促进智能体学习过程，反?由于环境不确定性的?扰会影响到正常学习过程。因此，更合理的做法是在乐观对待认知不确定性引导探索的同时，尽可能地避免访问环境不确定性更?的区域。基于此，根据是否在探索中考虑了环境不确定性，综述中将这类基于不确定性的探索策略分为两个?类。
第?类只考虑在认知不确定性的引导下乐观探索，典型?作有RLSVI「2」、Bootstrapped DQN「3」、OAC「4」、OB2I「5」等；第?类在乐观探索的同时考虑避免环境不确定性的影响，典型?作有IDS「6」、DLTV「7」等。
2、?向内在激励信号的探索策略
?类通常会通过不同?式的?我激励，积极主动地与世界交互并获得成就感。受此启发，内在激励信号导向的探索?法通常通过设计内在奖励来创造智能体的成就感。从设计内在激励信号所使?的技术，单智能体?法中?向内在激励信号的探索策略可分为三类，也即估计环境动?学预测误差的?法、状态新颖性估计?法和基于信息增益的?法。?在多智能体问题中，?前的探索策略主要通过状态新颖性和社会影响两个?度考虑设计内在激励信号。
估计环境动?学预测误差的?法主要是基于预测误差，?励智能体探索具有更?预测误差的状态，典型?作有ICM「8」、EMI「9」等。
状态新颖性?法不局限于预测误差，?是直接通过衡量状态的新颖性（Novelty），将其作为内在激励信号引导智能体探索更新颖的状态，典型?作有RND「10」、Novelty Search「11」、LIIR「12」等。
基于信息增益的?法则将信息获取作为内在奖励，旨在引导智能体探索未知领域，同时防?智能体过于关注随机领域，典型?作有VIME「13」等。
?在多智能体强化学习中，有?类特别的探索策略通过衡量“社会影响”，也即衡量智能体对其他智能体的影响作?，指导作为内在激励信号，典型?作有EITI和 EDTI「14」等。
3、其他
除了上述两?类主流的探索算法，综述?还调研了其他?些分?的?法，从其他?度进?有效的探索。这些?法为如何在DRL中实现通?和有效的探索提供了不同的见解。
这主要包括以下三类，?是基于分布式的探索算法，也即使?具有不同探索行为的异构actor，以不同的?式探索环境，典型?作包括Ape-x「15」、R2D2「16」等。?是基于参数空间噪声的探索，不同于对策略输出增加噪声，采?噪声对策略参数进?扰动，可以使得探索更加多样化，同时保持?致性，典型?作包括NoisyNet「17」等。除了以上两类，综述还介绍了其他?种不同思路的探索?法，包括Go-Explore「18」，MAVEN「19」等。
四大挑战
综述重点总结了?效的探索策略主要?临的四?挑战。
- ?规模状态动作空间。状态动作空间的增加意味着智能体需要探索的空间变?，就?疑导致了探索难度的增加。
- 稀疏、延迟奖励信号。稀疏、延迟的奖励信号会使得智能体的学习?常困难，?探索机制合理与否直接影响了学习效率。
- 观测中的?噪声。现实世界的环境通常具有很?的随机性，即状态或动作空间中通常会出现不可预测的内容，在探索过程中避免?噪声的影响也是提升效率的重要因素。
- 多智能体探索挑战。多智能体任务下，除了上述挑战，指数级增长的状态动作空间、智能体间协同探索、局部探索和全局探索的权衡都是影响多智能体探索效率的重要因素。
综述中总结了这些挑战产?的原因，及可能的解决?法，同时在详细介绍?法的部分，针对现有?法对这些挑战的应对能?进?了详细的分析。如下图就分析了单智能体强化学习中基于不确定性的探索?法解决这些挑战的能?。
三个经典的benchmark
为了对不同的探索?法进?统?的实验评价，综述总结了上述?种有代表性的?法在三个代表性 benchmark上的实验结果: 《蒙特祖玛的复仇》，雅达利和Vizdoom。
蒙特祖玛的复仇由于其稀疏、延迟的奖励成为?个较难解决的任务，需要RL智能体具有较强的探索能?才能获得正反馈；?穿越多个房间并获得?分则进?步需要?类?平的记忆和对环境中事件的控制。
整个雅达利系列侧重于对提?RL 智能体学习性能的探索?法进?更全?的评估。
Vizdoom是另?个具有多种奖励配置(从密集到?常稀疏)的代表性任务。与前两个任务不同的是，Vizdoom是?款带有第??称视?的导航(和射击)游戏。这模拟了?个具有严重的局部可观测性和潜在空间结构的学习环境，更类似于?类?对的现实世界的学习环境。
基于上表所?的统?的实验结果，结合所提出的探索中的主要挑战，综述中详细分析了各类探索策略在这些任务上的优劣。
关于探索策略的开放问题和未来方向
尽管探索策略的研究取得了?常前沿的进展，但是仍然存在?些问题没有被完全解决。综述主要从以下五个?度讨论了尚未解决的问题。
- 在?规模动作空间的探索。在?规模动作空间上，融合表征学习、动作语义等?法，降低探索算法的计算复杂度仍然是?个急需解决的问题。
- 在复杂任务（时间步较长、极度稀疏、延迟的奖励设置）上的探索，虽然取得了一定的进展，?如蒙特祖玛的复仇，但这些解决办法代价通常较?，甚?要借助?量?类先验知识。这其中还存在较多普遍性的问题值得探索。
- ?噪声问题。现有的?些解决?案都需要额外估计动态模型或状态表征，这?疑增加了计算消耗。除此之外，针对?噪声问题，利?对抗训练等?式增加探索的鲁棒性也是值得研究的问题。
- 收敛性。在?向不确定性的探索中，线性MDP下认知不确定性是可以收敛到0的，但在深度神经?络下维度爆炸使得收敛困难。对于?向内在激励的探索，内在激励往往是启发式设计的，缺乏理论上合理性论证。
- 多智能体探索。多智能体探索的研究还处于起步阶段，尚未很好地解决上述问题，如局部观测、不稳定、协同探索等。
主要作者介绍
杨天培博?，现任University of Alberta博?后研究员。杨博?在2021年从天津?学取得博?学位，她的研究兴趣主要包括迁移强化学习和多智能体强化学习。杨博?致?于利?迁移学习、层次强化学习、对?建模等技术提升强化学习和多智能体强化学习的学习效率和性能。?前已在IJCAI、AAAI、ICLR、NeurIPS等顶级会议发表论??余篇，担任多个会议期刊的审稿?。
汤宏垚博?，天津?学博?在读。汤博?的研究兴趣主要包括强化学习、表征学习，其学术成果发表在AAAI、IJCAI、NeurIPS、ICML等顶级会议期刊上。
??甲博?，哈尔滨?业?学博?在读，研究兴趣包括探索与利?、离线强化学习，学术成果发表在ICML、NeurIPS等。
刘?毅，天津?学智能与计算学部硕?在读，研究兴趣主要包括强化学习、离线强化学习等。
郝建业博?，天津?学智能与计算学部副教授。主要研究?向为深度强化学习、多智能体系统。发表??智能领域国际会议和期刊论?100余篇，专著2部。主持参与国家基?委、科技部、天津市??智能重?等科研项?10余项，研究成果荣获ASE2019、DAI2019、CoRL2020最佳论?奖等，同时在游戏AI、?告及推荐、?动驾驶、?络优化等领域落地应?。
Reference
[1]P. Auer, N. Cesa-Bianchi, and P. Fischer, “Finite-time analysis of the multiarmed bandit problem,” Machinelearning, vol. 47, no. 2-3, pp. 235–256, 2002.
[2]I. Osband, B. V. Roy, and Z. Wen, “Generalization and exploration via randomized value functions,” inInternational Conference on Machine Learning, 2016, pp. 2377–2386.
[3]I. Osband, C. Blundell, A. Pritzel, and B. V. Roy, “Deep exploration via bootstrapped DQN,” in Advances inNeural Information Processing Systems 29, 2016, pp. 4026–4034.
[4]K. Ciosek, Q. Vuong, R. Loftin, and K. Hofmann, “Better exploration with optimistic actor critic,” inAdvances in Neural Information Processing Systems, 2019, pp. 1785–1796.
[5]C. Bai, L. Wang, L. Han, J. Hao, A. Garg, P. Liu, and Z. Wang, “Principled exploration via optimisticbootstrapping and backward induction,” in International Conference on Machine Learning, 2021.
[6]J. Kirschner and A. Krause, “Information directed sampling and bandits with heteroscedastic noise,” inConference On Learning Theory, 2018, pp. 358–384.
[7]B. Mavrin, H. Yao, L. Kong, K. Wu, and Y. Yu, “Distributional reinforcement learning for efficientexploration,” in International Conference on Machine Learning, 2019, pp. 4424–4434.
[8]D. Pathak, P. Agrawal, A. A. Efros, and T. Darrell, “Curiosity-driven exploration by self-supervisedprediction,” in International Conference on Machine Learning, 2017, pp. 2778–2787.
[9]H. Kim, J. Kim, Y. Jeong, S. Levine, and H. O. Song, “EMI: exploration with mutual information,” inInternational Conference on Machine Learning, 2019, pp. 3360–3369.
[10]Y. Burda, H. Edwards, A. J. Storkey, and O. Klimov, “Exploration by random network distillation,” inInternational Conference on Learning Representations, 2019.
[11]R. Y. Tao, V. Fran?ois-Lavet, and J. Pineau, “Novelty search in representational space for sample efficientexploration,” in Advances in Neural Information Processing Systems, 2020.
[12]Y. Du, L. Han, M. Fang, J. Liu, T. Dai, and D. Tao, “LIIR: learning individual intrinsic reward in multi-agentreinforcement learning,” in Advances in Neural Information Processing Systems, 2019, pp. 4405– 4416
[13]R. Houthooft, X. Chen, Y. Duan, J. Schulman, F. D. Turck, and P. Abbeel, “VIME: variational information maximizing exploration,” in Advances in Neural Information Processing Systems, 2016, pp. 1109–1117.
[14]T. Wang, J. Wang, Y. Wu, and C. Zhang, “Influence-based multi-agent exploration,” in International Conference on Learning Representations, 2020
[15]D. Horgan, J. Quan, D. Budden, G. Barth-Maron, M. Hessel, H. van Hasselt, and D. Silver, “Distributed prioritized experience replay,” in International Conference on Learning Representations, 2018.
[16]S. Kapturowski, G. Ostrovski, J. Quan, R. Munos, and W. Dabney, “Recurrent experience replay in distributed reinforcement learning,” in International Conference on Learning Representations, 2019.
[17]M. Fortunato, M. G. Azar, B. Piot, J. Menick, M. Hessel, I. Osband, A. Graves, V. Mnih, R. Munos, D. Hassabis, O. Pietquin, C. Blundell, and S. Legg, “Noisy networks for exploration,” in International Conference on Learning Representations, 2018.
[18]E. Adrien, H. Joost, L. Joel, S. K. O, and C. Jeff, “First return, then explore,” Nature, vol. 590, no. 7847, pp.580–586, 2021.
[19]A. Mahajan, T. Rashid, M. Samvelyan, and S. Whiteson, “MAVEN: multi-agent variational exploration,” inAdvances in Neural Information Processing Systems, 2019, pp. 7611–7622.