本文提出了一项新的多模态分类挑战任务，聚焦于多模态表情包中的仇恨言论检测。该数据集的构建方式使得单模态模型难以取得良好效果，唯有多模态模型才能成功：通过引入具有迷惑性的难例（“良性混淆因子”），使得依赖单一模态信号变得不可靠。该任务需要精细的推理能力，但其评估方式却十分直接，可简化为二分类问题。本文提供了单模态模型以及不同复杂程度的多模态模型的基线性能指标。实验结果表明，当前最先进方法的性能远低于人类水平（准确率分别为64.73% vs. 84.7%），充分体现了该任务的挑战性，也凸显了这一重要问题对学术界所构成的重大挑战。