Beno James P.

摘要

双向变压器在情感分析方面表现出色，而大型语言模型（LLM）则是有效的零样本学习器。它们是否能作为一个团队表现得更好？本文探讨了ELECTRA与GPT-4o之间在三分类情感分析中的协作方法。我们使用来自斯坦福情感树库（SST）和DynaSent的混合评论数据对四个模型（ELECTRA基础版/大版，GPT-4o/4o-mini）进行了微调（FT）。我们将ELECTRA的预测标签、概率和检索到的示例作为输入提供给GPT。实验结果显示，共享经过微调的ELECTRA基础版预测结果给GPT-4o-mini显著提升了性能（宏F1值为82.50，高于单独使用的ELECTRA基础版微调模型的79.14和GPT-4o-mini的79.41），并且实现了最低的成本/性能比（每提升一个F1点仅需0.12美元）。然而，当对GPT模型进行微调时，包含预测结果反而降低了性能。经过微调的GPT-4o FT-M表现最佳（宏F1值为86.99），紧随其后的是成本低得多的GPT-4o-mini FT（宏F1值为86.70，每提升一个F1点仅需0.38美元，而GPT-4o FT-M则需要1.59美元）。我们的研究结果表明，通过在提示中加入经过微调的编码器的预测结果可以有效提升性能，并且经过微调的GPT-4o-mini在成本降低76%的情况下几乎与GPT-4o FT的表现相当。这两种方案都是资源有限项目中的经济选择。