Command Palette
Search for a command to run...
无遗忘学习
无遗忘学习
Li Zhizhong Hoiem Derek
摘要
在构建统一的视觉系统或逐步为现有系统增加新功能时,通常假设所有任务的训练数据始终可用。然而,随着任务数量的增加,存储并重新训练所有数据变得不可行。此时出现了一个新问题:我们希望向卷积神经网络(CNN)添加新功能,但原有功能对应的训练数据已无法获取。为此,我们提出了“无遗忘学习”(Learning without Forgetting)方法,该方法仅使用新任务的数据进行网络训练,同时有效保留原有功能的能力。与常用的特征提取和微调适配技术相比,该方法表现更优;其性能也与需要原始任务数据的多任务学习相当——而后者在本研究中被假设为不可用。一个更为意外的发现是,无遗忘学习在面对相似的新旧任务数据集时,甚至可能取代传统微调策略,从而进一步提升新任务的性能。