Experiments for FSCD 2020 paper

Experiments on prepared examples

TRS procedure of [Radcliffe,Moraes,Verma, 2017] Proposed procedure
Result Time(s) Result Time(s)
r1.trs NO 0.003 NO 0.001
r2.trs NO 0.177 NO 0.002
r3.trs NO 0.001 NO 0.000
r4.trs YES 0.001 YES 0.001
r5.trs NO 0.000 NO 0.000
r6.trs YES 0.868 YES 0.000
r7.trs timeout ∞ YES 0.001
r8.trs timeout ∞ NO 0.014
r9.trs timeout ∞ NO 0.013
r10.trs YES 0.004 YES 0.001
r11.trs timeout ∞ YES 0.011
r12.trs NO 0.003 NO 0.001
r13.trs YES 0.900 YES 0.000

Experiments on examples from Cops

Cops Problem No. procedure of [Radcliffe,Moraes,Verma, 2017] Proposed procedure
Result Time(s) Result Time(s)
4.trs YES 0.000 YES 0.000
17.trs timeout ∞ timeout ∞
18.trs timeout ∞ YES 0.003
19.trs YES 1.887 YES 0.252
21.trs YES 0.008 YES 0.010
22.trs YES 0.033 YES 0.022
30.trs timeout ∞ YES 0.013
33.trs timeout ∞ YES 0.059
34.trs timeout ∞ YES 0.002
36.trs YES 0.004 YES 0.002
38.trs NO 0.000 NO 0.001
39.trs NO 0.004 NO 0.002
40.trs YES 0.003 YES 0.001
49.trs timeout ∞ YES 0.055
61.trs timeout ∞ YES 0.095
64.trs timeout ∞ YES 0.083
65.trs timeout ∞ YES 0.049
69.trs YES 0.001 YES 0.002
71.trs YES 0.002 YES 0.002
74.trs timeout ∞ YES 1.932
79.trs timeout ∞ YES 0.005
80.trs YES 0.331 YES 0.000
81.trs YES 0.103 YES 0.075
82.trs YES 0.001 YES 0.001
84.trs YES 0.001 YES 0.001
101.trs YES 0.270 YES 0.000
108.trs timeout ∞ YES 0.022
111.trs YES 0.081 YES 0.054
113.trs timeout ∞ YES 0.007
114.trs YES 0.177 YES 0.114
115.trs YES 5.831 YES 2.898
116.trs YES 0.443 YES 0.255
130.trs YES 0.036 YES 0.005
150.trs YES 0.001 YES 0.001
179.trs YES 0.000 YES 0.000
190.trs YES 0.010 YES 0.008
212.trs YES 0.003 YES 0.003
213.trs YES 0.024 YES 0.022
214.trs timeout ∞ timeout ∞
215.trs timeout ∞ timeout ∞
218.trs YES 0.366 YES 0.055
221.trs YES 0.365 YES 0.055
222.trs timeout ∞ YES 0.002
223.trs YES 0.005 YES 0.004
224.trs timeout ∞ YES 0.002
225.trs NO 0.003 NO 0.000
392.trs NO 0.100 NO 0.099
502.trs YES 0.001 YES 0.001
503.trs timeout ∞ timeout ∞
505.trs NO 0.287 NO 0.022
507.trs NO 0.315 NO 0.023
508.trs YES 0.158 YES 0.021
509.trs NO 0.234 NO 0.010
510.trs NO 0.094 NO 0.014
511.trs timeout ∞ NO 0.809
525.trs timeout ∞ YES 0.101
526.trs timeout ∞ NO 0.957
543.trs NO 0.001 NO 0.001
647.trs timeout ∞ YES 0.002
648.trs YES 0.000 YES 0.000
649.trs timeout ∞ YES 0.001
650.trs timeout ∞ YES 0.012
651.trs timeout ∞ YES 0.020
652.trs timeout ∞ YES 0.000
653.trs timeout ∞ NO 0.005
654.trs timeout ∞ YES 0.034
655.trs timeout ∞ NO 0.011
656.trs YES 0.000 YES 0.000
657.trs timeout ∞ timeout ∞
658.trs timeout ∞ timeout ∞
659.trs timeout ∞ YES 0.024
660.trs timeout ∞ YES 1.125
661.trs timeout ∞ YES 0.002
662.trs YES 0.002 YES 0.000
663.trs timeout ∞ YES 0.025
664.trs timeout ∞ NO 0.001
665.trs timeout ∞ NO 0.085
666.trs timeout ∞ YES 0.003
667.trs timeout ∞ NO 0.038
668.trs timeout ∞ YES 0.014
669.trs timeout ∞ NO 0.005
670.trs NO 0.004 NO 0.002
671.trs timeout ∞ YES 0.001
672.trs timeout ∞ YES 0.001
673.trs timeout ∞ NO 0.085
674.trs NO 0.005 NO 0.003
675.trs timeout ∞ NO 0.015
676.trs timeout ∞ YES 0.006
677.trs timeout ∞ YES 0.223
678.trs timeout ∞ timeout ∞
679.trs NO 0.003 NO 0.006
680.trs timeout ∞ NO 1.045
681.trs timeout ∞ YES 0.002
682.trs timeout ∞ NO 1.713
683.trs timeout ∞ YES 0.002
684.trs YES 0.001 YES 0.001
685.trs timeout ∞ YES 0.005
686.trs timeout ∞ YES 0.062
687.trs timeout ∞ NO 0.347
688.trs timeout ∞ YES 0.006
689.trs timeout ∞ YES 0.016
690.trs timeout ∞ YES 0.014
691.trs timeout ∞ YES 0.000
692.trs timeout ∞ YES 0.001
693.trs YES 0.002 YES 0.000
694.trs timeout ∞ NO 0.018
695.trs timeout ∞ NO 0.241
696.trs timeout ∞ NO 0.003
697.trs timeout ∞ YES 0.001
698.trs timeout ∞ NO 0.045
699.trs timeout ∞ YES 0.421
700.trs timeout ∞ YES 0.001
701.trs timeout ∞ YES 0.004
702.trs timeout ∞ NO 0.015
703.trs timeout ∞ YES 0.008
704.trs timeout ∞ YES 0.000
705.trs YES 0.075 YES 0.003
706.trs timeout ∞ YES 0.002
707.trs NO 0.003 NO 0.004
708.trs timeout ∞ NO 0.046
709.trs YES 0.000 YES 0.000
710.trs NO 0.001 NO 0.000
711.trs timeout ∞ YES 0.002
712.trs timeout ∞ NO 0.128
713.trs timeout ∞ NO 0.001
714.trs timeout ∞ NO 0.001
715.trs timeout ∞ YES 0.003
716.trs timeout ∞ YES 0.002
717.trs timeout ∞ YES 0.008
718.trs timeout ∞ YES 0.001
719.trs timeout ∞ NO 8.116
720.trs timeout ∞ NO 0.003
721.trs timeout ∞ YES 0.019
731.trs NO 0.166 NO 0.014
732.trs NO 0.181 NO 0.032
733.trs NO 0.179 NO 0.034
735.trs timeout ∞ NO 0.011
738.trs YES 0.288 YES 0.002
741.trs timeout ∞ YES 0.393
761.trs YES 0.001 YES 0.001
762.trs timeout ∞ NO 0.009
797.trs timeout ∞ YES 0.000
800.trs NO 0.005 NO 0.001
801.trs YES 0.857 YES 0.000
802.trs timeout ∞ NO 0.001
804.trs timeout ∞ YES 0.001