近年来，基于Transformer编码器的架构在单目3D人体网格重建任务中取得了最先进的性能，但这类模型通常需要大量参数和高昂的计算开销。由于内存占用大、推理速度慢，难以在实际场景中部署。本文提出一种新型的Transformer编码器-解码器架构，用于从单张图像重建3D人体网格，命名为FastMETRO。我们发现，基于编码器的Transformer性能瓶颈主要源于输入token的设计，该设计引入了token之间的高复杂度交互。通过采用编码器-解码器架构，我们解耦了这些交互关系，使得模型显著减少参数量并大幅缩短推理时间。此外，我们通过注意力掩码（attention masking）和网格上采样操作引入人体形态学先验知识，有效提升了模型的收敛速度与重建精度。实验结果表明，FastMETRO在准确率与效率的权衡（Pareto-front）上实现显著优化，在Human3.6M和3DPW数据集上明显优于现有基于图像的方法。同时，我们在FreiHAND数据集上验证了该方法的良好泛化能力。