关系推理是普遍智能行为的核心组成部分，但对神经网络来说却难以掌握。在本文中，我们描述了如何使用关系网络（Relation Networks，简称RN）作为简单的即插即用模块来解决那些根本上依赖于关系推理的问题。我们对增强了RN的网络进行了三项测试任务：使用名为CLEVR的具有挑战性的数据集进行视觉问答，在该任务上我们达到了超越人类水平的最先进性能；使用bAbI任务套件进行基于文本的问答；以及对动态物理系统的复杂推理。此外，通过一个精心整理的数据集Sort-of-CLEVR，我们展示了强大的卷积网络并不具备解决关系问题的一般能力，但在增强了RN之后可以获得这种能力。我们的研究显示，配备RN模块的深度学习架构可以隐式地发现并学会对实体及其关系进行推理。