本文提出，持续学习方法可通过将学习者的容量分布在多个模型上来获得提升。我们基于统计学习理论与实验分析，揭示了当单一模型同时学习多个任务时，这些任务之间可能以非平凡的方式相互作用：在与具有协同效应的任务共同训练时，某一特定任务的泛化误差可能降低；而当与存在竞争关系的任务共同训练时，泛化误差则可能恶化。这一理论启发我们提出一种名为“Model Zoo”的方法，该方法受提升（boosting）文献的启发，采用一种动态增长的微型模型集成策略，每个模型在持续学习的一个训练周期中独立训练。实验结果表明，Model Zoo在多种持续学习基准任务上均显著提升了模型精度。相关代码已公开，获取地址为：https://github.com/grasp-lyrl/modelzoo_continual。