深度强化学习社区对DQN算法进行了多项独立改进。然而，目前尚不清楚这些扩展中哪些是互补的，可以有效地结合在一起。本文研究了DQN算法的六种扩展，并对其组合进行了实证分析。实验结果表明，这种组合在Atari 2600基准测试中表现出色，不仅在数据效率方面达到了最先进水平，最终性能也同样优异。此外，我们还提供了一项详细的消融研究结果，展示了每个组件对整体性能的贡献。