Weihua Hu; Yiwen Yuan; Zecheng Zhang; Akihiro Nitta; Kaidi Cao; Vid Kocijan; Jinu Sunil; Jure Leskovec; Matthias Fey

摘要

我们介绍了PyTorch Frame，这是一个基于PyTorch的框架，用于处理多模态表格数据的深度学习。PyTorch Frame通过提供一个基于PyTorch的数据结构来处理复杂的表格数据，引入模型抽象以实现表格模型的模块化实施，并允许外部基础模型（例如，大型语言模型（LLMs）用于文本列）的集成，从而简化了表格深度学习的过程。我们通过以模块化方式实现多种表格模型，成功将其应用于复杂的多模态表格数据，并将我们的框架与PyTorch Geometric（一个用于图神经网络（GNNs）的PyTorch库）集成，实现了在关系数据库上的端到端学习，展示了PyTorch Frame的实用性。