Ranking Methods for Multicriteria Decision-Making: Application to Benchmarking of Solvers and Problems

Table 6

Problem ranking using the proposed methods.

	Ranking
	P1	24	25	25	25	27	25	24
P2	38	37	37	40	38	37	38
P3	42	43	42	43	43	41	42
P4	34	34	34	35	34	35	34
P5	26	26	26	27	26	26	25
P6	4	4	4	7	6	3	4
P7	7	7	7	5	5	7	7
P8	45	44	45	48	45	46	45
P9	25	24	24	24	23	23	26
P10	18	16	18	12	14	18	18
P11	47	47	47	47	47	45	47
P12	22	23	22	28	25	21	22
P13	20	20	20	18	17	22	20
P14	50	50	50	50	50	50	50
P15	33	32	33	31	32	32	33
P16	27	27	27	23	24	28	27
P17	37	38	38	36	36	38	37
P18	3	3	3	4	4	4	3
P19	9	12	9	15	13	11	9
P20	13	15	13	14	15	15	13
P21	29	30	29	26	30	29	29
P22	14	14	14	22	16	13	14
P23	23	21	23	21	22	24	23
P24	31	31	31	32	31	33	31
P25	2	2	2	2	2	2	2
P26	1	1	1	1	1	1	1
P27	36	36	36	38	37	36	36
P28	6	6	6	6	7	6	6
P29	48	48	48	44	48	48	48
P30	39	39	39	37	39	39	39
P31	8	8	8	11	10	8	8
P32	5	5	5	3	3	5	5
P33	44	40	44	49	42	42	44
P34	19	19	19	19	19	20	19
P35	17	13	17	8	11	17	17
P36	46	46	46	45	46	47	46
P37	32	33	32	33	33	27	32
P38	11	9	11	9	8	14	11
P39	49	49	49	46	49	49	49
P40	16	18	16	20	20	10	15
P41	21	22	21	16	21	19	21
P42	41	41	41	42	41	43	41
P43	43	45	43	41	44	44	43
P44	35	35	35	34	35	34	35
P45	40	42	40	39	40	40	40
P46	15	17	15	17	18	16	16
P47	28	28	28	30	29	31	28
P48	10	11	10	13	12	12	10
P49	30	29	30	29	28	30	30
P50	12	10	12	10	9	9	12

Note: the Pareto-optimal problems are gray marked.