基于Siamese网络的跟踪器将目标模板与搜索区域之间的特征交叉相关性作为跟踪的基础。然而，与最先进的算法相比，Siamese跟踪器在准确性上仍存在差距，并且无法充分利用来自深层网络（如ResNet-50或更深）的特征。在这项工作中，我们证明了核心原因在于缺乏严格的平移不变性。通过全面的理论分析和实验验证，我们通过一种简单而有效的空间感知采样策略打破了这一限制，并成功训练了一个由ResNet驱动的Siamese跟踪器，显著提升了性能。此外，我们提出了一种新的模型架构，以执行深度方向和层方向的聚合，这不仅进一步提高了准确性，还减少了模型的大小。我们进行了广泛的消融研究，以展示所提出的跟踪器的有效性，该跟踪器在四个大型跟踪基准数据集（包括OTB2015、VOT2018、UAV123和LaSOT）上获得了目前最佳的结果。我们的模型将对外发布，以促进针对此问题的进一步研究。