本文研究了在测试阶段受计算资源限制条件下的图像分类问题。我们关注两种典型场景：1）任意时间分类（anytime classification），即网络对测试样本的预测结果可逐步更新，从而支持在任意时刻输出预测结果；2）预算批量分类（budgeted batch classification），即在对一组样本进行分类时，仅能使用固定总量的计算资源，且该资源可不均衡地分配给“较易”与“较难”的输入样本。与以往多数工作（如广为人知的Viola-Jones算法）不同，我们的方法基于卷积神经网络（CNN）。我们训练多个资源消耗不同的分类器，并在测试阶段根据实际情况自适应地选择使用。为最大程度复用各分类器之间的计算，我们将这些分类器作为“早期退出”（early-exits）结构整合进一个单一的深层卷积神经网络中，并通过密集连接（dense connectivity）实现它们之间的交互。为提升早期阶段的分类质量，我们采用一种二维多尺度网络架构，该架构在整个网络中持续保留粗粒度与细粒度特征表示。在三个图像分类任务上的实验表明，所提出的框架在上述两种设置下均显著优于现有最先进方法。