Visual Dialog On Visual Dialog V1 0 Test Std

评估指标

MRR (x 100)

Mean

NDCG (x 100)

R@1

R@10

R@5

评测结果

各个模型在此基准测试上的表现结果

比较表格

模型名称	MRR (x 100)	Mean	NDCG (x 100)	R@1	R@10	R@5
multi-view-attention-networks-for-visual	64.84	3.97	59.37	51.45	90.65	81.12
模型 2	56.42	5.47	76.17	44.32	84.52	70.23
模型 3	64.43	4.13	58.19	50.7	90.18	80.83
模型 4	57.13	5.85	72.33	45.17	82.4	69.95
模型 5	64.79	3.98	58.25	51.32	90.38	81.0
模型 6	56.05	5.72	76.14	44.75	82.75	68.4
factor-graph-attention	69.3	3.14	57.20	55.65	94.05	86.73
recursive-visual-attention-in-visual-dialog	63.03	4.18	55.59	49.03	89.83	80.40
模型 9	48.37	7.05	73.08	34.65	77.53	62.98
模型 10	63.7	4.26	58.59	50.3	89.15	79.47
模型 11	53.19	11.96	47.51	41.4	74.15	65.85
模型 12	55.11	6.55	72.41	43.23	79.77	67.65
模型 13	56.35	5.79	76.43	45.17	82.17	68.12
模型 14	66.63	3.41	60.91	52.52	92.27	84.1
visual-dialog	54.2	6.41	45.5	39.93	81.50	70.45
模型 16	62.65	5.89	74.62	54.37	83.33	70.75
efficient-attention-mechanism-for-handling	52.14	6.53	74.88	38.92	80.65	66.6
模型 18	56.2	5.41	77.92	44.45	83.78	68.9
模型 19	61.09	4.65	52.57	46.83	87.42	78.22
模型 20	49.03	7.07	72.85	35.88	77.75	62.88
iterative-context-aware-graph-inference-for	63.49	4.11	56.64	49.85	90.15	80.63
模型 22	64.58	4.03	59.23	51.25	90.05	80.92
模型 23	66.53	3.4	60.33	52.62	92.5	84.12
模型 24	56.73	6.0	72.99	45.42	81.73	68.92
模型 25	45.75	6.54	78.7	29.5	82.45	65.7
dualvd-an-adaptive-dual-encoding-model-for	63.23	4.11	56.32	49.25	89.7	80.23
模型 27	43.07	7.42	73.15	27.82	76.55	60.38
image-question-answer-synergistic-network-for	62.20	4.17	57.32	47.90	-	80.43
visual-dialog	55.4	5.95	45.3	40.95	82.83	72.45
模型 30	62.65	4.5	59.0	49.48	88.35	78.1
模型 31	64.62	4.29	64.79	51.82	89.95	80.35
模型 32	62.56	3.82	55.21	47.45	92.0	81.55
模型 33	64.95	3.44	60.31	50.48	93.15	83.15
模型 34	63.3	4.2	55.94	49.18	89.6	81.0
模型 35	39.61	9.01	70.08	25.65	70.12	53.62
模型 36	58.57	5.13	64.48	44.27	86.42	76.15
模型 37	62.68	4.22	56.38	48.6	89.48	80.1
模型 38	49.26	7.0	73.36	36.35	78.12	62.42
模型 39	60.11	4.7	49.94	45.6	87.9	77.53
模型 40	63.31	4.31	58.14	49.68	89.25	80.45
模型 41	67.5	3.32	63.87	53.85	93.25	84.67
模型 42	57.19	6.04	72.35	45.3	82.38	70.15
模型 43	50.74	6.28	74.47	37.95	80.0	64.12
模型 44	63.92	4.28	68.08	50.78	89.6	79.53
模型 45	64.57	3.67	57.6	49.75	91.67	82.23
ensemble-of-mrr-and-ndcg-models-for-visual	69.92	3.84	72.83	58.3	89.6	81.55
dual-attention-networks-for-visual-reference	63.2	4.3	57.59	49.63	89.35	79.75
making-history-matter-gold-critic-sequence	64.22	4.20	57.17	50.88	89.45	80.63
模型 49	49.47	6.9	72.58	35.77	78.25	64.15
模型 50	51.17	6.69	75.35	38.9	77.98	62.82
模型 51	56.67	5.98	72.8	44.82	81.9	68.67
模型 52	47.03	13.3	57.39	36.93	65.8	56.47
模型 53	55.69	7.87	51.87	42.7	79.72	70.17
模型 54	64.3	4.07	57.82	50.58	90.03	81.25
模型 55	66.2	3.25	59.33	51.62	93.7	85.05
模型 56	45.84	20.71	53.19	35.9	61.7	54.97
visual-dialog	55.5	5.92	47.5	40.98	83.30	72.30
模型 58	7.25	49.61	11.84	3.02	12.22	7.22
模型 59	61.87	4.49	58.56	48.4	88.6	78.0
模型 60	68.16	3.3	63.94	54.67	93.1	84.95
learning-to-reason-end-to-end-module-networks	58.8	4.4	58.1	44.15	86.88	76.88
模型 62	47.54	7.14	72.33	33.5	77.33	63.28
模型 63	64.25	4.11	60.19	50.88	90.6	80.92
模型 64	67.5	3.32	63.87	53.85	93.25	84.67
模型 65	53.3	5.91	46.75	36.83	83.1	73.45
模型 66	41.66	8.3	71.91	25.85	74.67	60.12
模型 67	62.24	4.09	55.88	47.58	89.72	80.45
reasoning-visual-dialogs-with-structural-and	61.37	4.57	52.82	47.33	87.83	77.98
模型 69	64.14	4.18	59.69	50.62	89.83	80.77
模型 70	65.7	3.68	58.51	51.73	91.97	82.97
模型 71	56.03	5.98	73.07	44.2	81.62	68.45
模型 72	70.41	3.66	72.16	58.17	90.83	83.85
模型 73	71.24	2.96	64.04	58.27	94.45	87.55
模型 74	67.49	3.31	63.75	53.75	93.25	85.02
模型 75	59.96	5.12	53.2	46.35	86.48	76.78
模型 76	70.95	2.91	67.09	57.07	95.08	88.42
模型 77	56.34	6.04	71.82	44.22	81.7	69.65
模型 78	64.31	4.11	58.49	50.8	89.65	80.8
visual-coreference-resolution-in-visual	61.50	4.40	54.70	47.55	88.80	78.10
模型 80	29.97	22.05	23.0	16.62	53.05	43.58