摘要

文本嵌入（text embeddings）通常仅在单一任务的少量数据集上进行评估，而这些数据集无法涵盖其在其他任务中的潜在应用。目前尚不清楚在语义文本相似性（STS）任务上表现最先进的嵌入方法，是否同样适用于聚类或重排序等其他任务。这种评估局限性使得该领域的进展难以追踪，因为各类模型不断被提出，却缺乏系统性的评估验证。为解决这一问题，我们提出了大规模文本嵌入基准测试（Massive Text Embedding Benchmark, MTEB）。MTEB涵盖8类文本嵌入任务，覆盖总计58个数据集和112种语言。通过对33种模型在MTEB上的全面评测，我们建立了迄今为止最全面的文本嵌入基准体系。实验结果表明，没有任何一种文本嵌入方法能在所有任务上全面领先。这表明该领域尚未形成统一的通用文本嵌入方法，也尚未充分扩展和优化，以在所有嵌入任务上均达到最先进水平。MTEB提供开源代码及公开排行榜，访问地址为：https://github.com/embeddings-benchmark/mteb。