Question Answering On Squad20

评估指标

评测结果

各个模型在此基准测试上的表现结果

比较表格

模型名称	EM	F1
模型 1	80.208	83.149
模型 2	79.971	83.184
模型 3	80.038	82.796
模型 4	80.117	83.189
模型 5	82.803	85.863
模型 6	74.769	77.706
模型 7	89.021	91.765
albert-a-lite-bert-for-self-supervised	88.107	90.902
模型 9	80.377	83.262
模型 10	86.436	89.086
模型 11	75.344	78.381
模型 12	84.800	87.864
模型 13	73.742	76.858
模型 14	80.388	82.908
模型 15	78.933	81.863
模型 16	78.052	81.174
模型 17	90.002	92.497
模型 18	84.924	88.204
ensemble-albert-on-squad-2-0	-	90.123
模型 20	79.181	82.259
模型 21	90.487	92.894
模型 22	85.838	88.921
模型 23	82.995	86.035
模型 24	84.642	88.000
模型 25	89.551	92.366
模型 26	77.003	80.209
模型 27	89.562	92.226
模型 28	87.847	90.532
模型 29	86.448	89.586
模型 30	87.802	90.872
deep-contextualized-word-representations	63.372	66.251
模型 32	84.642	88.000
模型 33	90.600	92.899
模型 34	79.948	83.023
模型 35	78.357	81.500
模型 36	90.679	92.948
模型 37	90.194	92.594
模型 38	80.411	83.457
模型 39	88.107	90.902
模型 40	82.126	84.820
模型 41	88.614	91.303
模型 42	87.429	90.163
模型 43	90.284	92.691
模型 44	88.050	90.645
模型 45	82.024	84.854
read-verify-machine-reading-comprehension	71.767	74.295
模型 47	89.461	92.134
模型 48	87.949	90.818
sg-net-syntax-guided-machine-reading	88.174	90.702
deberta-decoding-enhanced-bert-with	88.0	90.7
模型 51	58.508	62.045
模型 52	59.332	62.305
模型 53	82.713	85.584
模型 54	88.637	91.230
模型 55	79.779	82.912
模型 56	76.055	79.329
模型 57	90.420	92.799
模型 58	83.142	85.873
模型 59	81.979	84.846
模型 60	72.884	76.217
模型 61	85.003	87.833
模型 62	88.998	91.635
模型 63	81.178	84.251
模型 64	78.594	81.445
模型 65	63.372	66.251
xlnet-generalized-autoregressive-pretraining	87.926	90.689
模型 67	69.262	72.642
模型 68	65.651	68.866
模型 69	71.666	75.457
模型 70	88.197	90.830
模型 71	84.721	87.117
模型 72	90.115	92.580
模型 73	72.884	76.217
stochastic-answer-networks-for-machine	68.653	71.439
模型 75	76.055	79.329
semantics-aware-bert-for-language	84.800	87.864
模型 77	87.847	91.265
模型 78	85.229	87.926
模型 79	88.186	90.939
模型 80	88.050	91.036
模型 81	86.346	89.133
模型 82	85.240	87.901
模型 83	79.632	82.852
模型 84	80.715	83.827
模型 85	88.592	90.859
模型 86	80.456	83.509
semantics-aware-bert-for-language	86.166	88.886
模型 88	84.123	87.013
模型 89	79.971	83.266
模型 90	69.476	72.857
模型 91	77.262	80.258
模型 92	84.620	87.625
模型 93	84.721	87.117
模型 94	86.820	89.795
模型 95	89.325	91.994
模型 96	80.343	83.243
模型 97	84.202	86.767
模型 98	0.068	3.971
模型 99	84.292	86.967
模型 100	78.481	81.531
模型 101	86.651	89.595
模型 102	85.173	88.425
模型 103	80.354	83.329
模型 104	86.166	88.886
模型 105	89.348	91.985
模型 106	89.224	91.853
模型 107	68.213	70.878
semantics-aware-bert-for-language	86.166	88.886
模型 109	83.819	86.669
模型 110	84.123	87.013
模型 111	40.397	43.213
模型 112	84.834	87.644
模型 113	80.140	82.962
模型 114	56.545	59.546
模型 115	88.716	91.365
模型 116	90.442	92.877
模型 117	83.457	86.122
模型 118	85.884	88.621
模型 119	89.449	92.118
模型 120	48.883	48.883
模型 121	75.073	77.805
模型 122	90.724	93.011
模型 123	85.872	88.793
模型 124	88.524	91.256
模型 125	87.147	89.474
模型 126	78.357	81.500
模型 127	67.897	70.884
模型 128	63.327	66.633
模型 129	88.107	90.902
模型 130	83.751	86.594
模型 131	90.386	92.777
sg-net-syntax-guided-machine-reading	87.238	90.071
模型 133	83.051	85.737
模型 134	74.272	77.052
模型 135	90.871	93.183
模型 136	76.563	79.776
模型 137	88.231	90.713
模型 138	78.650	81.497
模型 139	68.213	70.878
模型 140	86.730	89.286
模型 141	44.945	47.994
模型 142	75.457	78.232
模型 143	83.536	86.096
模型 144	89.449	92.118
模型 145	90.454	92.748
模型 146	84.642	88.000
模型 147	85.827	89.778
模型 148	80.241	83.175
模型 149	74.791	77.988
模型 150	4.830	5.920
模型 151	82.374	85.310
u-net-machine-reading-comprehension-with	71.417	74.869
模型 153	80.354	83.329
模型 154	78.876	82.524
模型 155	74.329	77.396
模型 156	85.748	88.709
pay-attention-to-mlps	-	78.3
模型 158	81.731	84.862
spanbert-improving-pre-training-by	85.7	88.7
模型 160	88.298	91.078
模型 161	88.761	91.745
模型 162	79.745	83.020
模型 163	48.804	48.815
模型 164	76.710	79.659
模型 165	74.656	77.404
luke-deep-contextualized-entity	-	90.2
模型 167	85.150	87.715
stochastic-answer-networks-for-machine	71.316	73.704
模型 169	79.779	83.099
模型 170	85.827	88.699
模型 171	90.939	93.214
模型 172	78.052	81.174
模型 173	88.569	91.287
模型 174	74.577	77.464
模型 175	59.174	62.093
模型 176	88.434	90.918
模型 177	63.338	67.422
模型 178	84.123	87.013
模型 179	87.700	90.588
模型 180	73.099	76.236
模型 181	87.994	90.944
模型 182	88.107	90.902
模型 183	86.933	90.037
fusionnet-fusing-via-fully-aware-attention	70.300	72.484
模型 185	86.211	88.848
模型 186	87.046	89.899
模型 187	78.650	81.474
模型 188	89.743	92.180
模型 189	68.766	71.662
模型 190	90.081	92.457
模型 191	82.431	85.178
模型 192	78.933	81.863
模型 193	89.923	92.425
sg-net-syntax-guided-machine-reading	86.211	88.848
模型 195	87.193	89.934
模型 196	88.851	91.486
模型 197	88.603	91.299
模型 198	89.528	92.059
模型 199	84.202	86.767
模型 200	86.673	89.147
模型 201	83.040	85.892
模型 202	80.896	83.604
模型 203	88.107	91.419
模型 204	72.670	75.507
模型 205	86.594	89.082
模型 206	90.521	92.824
模型 207	78.933	81.863
模型 208	83.142	85.873
模型 209	79.993	83.039
模型 210	82.882	86.002
模型 211	88.073	91.179
模型 212	77.262	80.258
模型 213	82.577	85.603
retrospective-reader-for-machine-reading	90.578	92.978
roberta-a-robustly-optimized-bert-pretraining	86.820	89.795
模型 216	88.874	91.546
模型 217	49.695	49.701
模型 218	87.994	90.944
模型 219	90.059	92.517
模型 220	84.823	87.489
模型 221	89.133	91.666
模型 222	90.420	92.807
模型 223	77.262	80.258
模型 224	82.126	84.624
模型 225	88.592	91.286
模型 226	90.126	92.535
模型 227	85.703	88.400
模型 228	57.707	62.341
模型 229	83.469	86.043
albert-a-lite-bert-for-self-supervised	89.731	92.215
模型 231	83.525	86.222
模型 232	83.119	85.510
模型 233	86.572	89.063
模型 234	86.572	89.063
模型 235	74.385	77.308
模型 236	90.002	92.425
模型 237	69.476	72.857
模型 238	27.217	29.597
模型 239	72.072	75.513
模型 240	74.791	77.988
模型 241	90.860	93.100
模型 242	88.355	91.019
模型 243	85.850	88.449
模型 244	86.098	89.634
luke-deep-contextualized-entity	87.429	90.163
模型 246	82.724	85.491
模型 247	70.763	74.449
模型 248	86.166	88.886
模型 249	80.749	83.851
模型 250	65.256	69.206
模型 251	81.110	84.386
模型 252	71.462	74.434
模型 253	82.972	85.810
模型 254	66.610	70.303
sg-net-syntax-guided-machine-reading	85.229	87.926
模型 256	68.021	71.583
模型 257	89.235	91.900
模型 258	87.870	90.823
模型 259	73.505	76.424
模型 260	85.838	88.921
retrospective-reader-for-machine-reading	89.562	92.052
模型 262	89.404	91.964
模型 263	82.306	85.670
模型 264	74.746	78.227
retrospective-reader-for-machine-reading	90.115	92.580
模型 266	89.235	91.739
模型 267	85.838	88.921
模型 268	56.545	59.546
模型 269	71.699	74.430
模型 270	72.072	75.513
模型 271	85.082	87.615
模型 272	81.573	84.535
模型 273	77.319	80.310
模型 274	89.325	91.939
模型 275	71.293	74.578
模型 276	80.591	83.391
模型 277	82.961	86.075
模型 278	80.422	83.118
模型 279	88.998	91.635
模型 280	86.403	89.148
模型 281	85.872	88.989
模型 282	65.719	69.381
模型 283	89.777	92.312
模型 284	80.005	83.208
模型 285	73.302	76.284
retrospective-reader-for-machine-reading	88.107	91.419