度量学习旨在将物体图像嵌入到一个嵌入空间中，使得该空间能够捕捉由类别定义的语义关系。然而，图像的差异性不仅源于不同物体类别，还受到其他潜在特征（如视角、光照条件）的影响。除了这些结构化属性外，随机噪声进一步干扰了我们关注的视觉关系。传统的度量学习方法通常要求学习到的表示对所有非目标因素保持不变，仅对目标因素敏感。与此不同，我们提出显式学习跨类别共享的潜在特征。通过这种方式，我们可以直接解释并消除结构化的视觉变异，而非将这些变异视为未知的随机噪声。为此，我们设计了一种新颖的代理任务，利用独立的编码器来学习跨类别的视觉特征。该编码器与用于类别信息的编码器联合训练，通过最小化两者之间的互信息实现。在五个标准的图像检索基准测试中，该方法显著优于当前最先进的技术。