Command Palette
Search for a command to run...
Heyman Geert ; Van Cutsem Tom

摘要
在本研究中,我们提出并探讨了注释代码搜索:即通过自然语言查询检索带有简要意图描述的代码片段。我们在三个基准数据集上研究了如何利用描述来改进代码检索系统,以更好地捕捉代码片段的意图。基于近期在迁移学习和自然语言处理领域的进展,我们构建了一个特定领域的检索模型,用于带有自然语言描述的代码。研究结果表明,与现有的不使用描述而仅从未经注释的代码计算意图的先进代码检索方法相比,我们的模型能够显著提高搜索结果的相关性(平均互惠排名绝对提升高达20.6%)。
代码仓库
nokia/codesearch
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| annotated-code-search-on-pacs-conala | USE | MRR: 0.181 |
| annotated-code-search-on-pacs-conala | Ensemble:USE-tuned+NCS | MRR: 0.351 |
| annotated-code-search-on-pacs-conala | NCS | MRR: 0.167 |
| annotated-code-search-on-pacs-conala | USE-tuned | MRR: 0.340 |
| annotated-code-search-on-pacs-so-ds | USE-tuned | MRR: 0.304 |
| annotated-code-search-on-pacs-so-ds | USE | MRR: 0.244 |
| annotated-code-search-on-pacs-so-ds | Ensemble:USE-tuned+NCS | MRR: 0.323 |
| annotated-code-search-on-pacs-so-ds | NCS | MRR: 0.113 |
| annotated-code-search-on-pacs-staqc-py | USE-tuned | MRR: 0.117 |
| annotated-code-search-on-pacs-staqc-py | USE | MRR: 0.104 |
| annotated-code-search-on-pacs-staqc-py | NCS | MRR: 0.030 |
| annotated-code-search-on-pacs-staqc-py | Ensemble:USE-tuned+NCS | MRR: 0.126 |