0
$\begingroup$

I want to see how similar two datasets are, as a way to justify that they can be used in similar contexts. In practice one dataset contains manually calculated data, and the other automatically approximated data. The sets contain floating-point numbers larger than zero.

The data. Each line is a dataset, consisting of an equal amount of numbers.

[1.5, 1.2, 2.0, 1.0, 2.0, 1.5, 1.5, 1.1666666666666667, 1.0, 1.1333333333333333, 1.064516129032258, 0.7307692307692307, 1.0625, 1.25, 1.1818181818181819, 1.0555555555555556, 1.125, 1.0625, 1.2, 1.0, 0.8, 0.8, 1.0, 1.0, 1.15625, 1.0, 1.2, 0.9411764705882353, 1.1904761904761905, 1.0434782608695652, 1.0625, 0.9230769230769231, 1.0, 0.8571428571428571, 1.4285714285714286, 1.0588235294117647, 1.0217391304347827, 1.0606060606060606, 0.9090909090909091, 1.1, 1.15, 0.8235294117647058, 1.0, 1.0, 1.1, 0.8205128205128205, 1.1666666666666667, 1.0256410256410255, 1.2222222222222223, 1.3636363636363635, 1.25, 1.0, 0.8333333333333334, 1.0, 1.2162162162162162, 1.1538461538461537, 1.1578947368421053, 1.0, 1.0714285714285714, 1.8, 1.2, 0.041666666666666664, 1.25, 1.0, 2.0, 1.0, 2.0, 1.1764705882352942, 1.0, 1.0, 1.1333333333333333, 1.064516129032258, 0.7692307692307693, 1.25, 1.0, 1.1428571428571428, 1.0, 1.3, 0.9565217391304348, 1.1428571428571428, 1.0625, 1.0416666666666667, 1.25, 0.9, 1.2, 1.2727272727272727, 1.0769230769230769, 1.1333333333333333, 0.967741935483871, 1.0476190476190477, 1.1142857142857143, 1.1071428571428572, 1.0666666666666667, 1.0, 1.0, 0.9705882352941176, 1.0476190476190477, 0.92, 0.975, 1.0, 0.9, 1.0, 1.103448275862069, 1.0625, 1.0444444444444445, 1.0, 1.2222222222222223, 1.1666666666666667, 1.0, 0.9, 1.25, 1.0, 1.2, 0.8037383177570093, 0.8823529411764706, 1.0416666666666667, 1.0, 1.0476190476190477, 1.0, 1.0638297872340425, 1.1071428571428572, 1.0769230769230769, 1.8, 0.859375, 1.2, 0.04, 1.0, 0.46153846153846156, 0.1, 2.0, 1.162162162162162, 0.7567567567567568, 1.0, 0.8775510204081632, 1.096774193548387, 1.03125, 0.9117647058823529, 0.9487179487179487, 0.9642857142857143, 0.9285714285714286, 1.0, 0.84375, 0.84, 1.2857142857142858, 1.2, 0.9545454545454546, 0.9696969696969697, 1.0555555555555556, 1.52, 1.0909090909090908, 0.9166666666666666, 0.8571428571428571, 1.0526315789473684, 1.0714285714285714, 0.7619047619047619, 0.1, 0.9, 0.9230769230769231, 1.0526315789473684, 1.1333333333333333, 0.9122807017543859, 0.975609756097561, 1.0, 0.75, 0.9047619047619048, 0.9166666666666666, 1.1428571428571428, 0.9245283018867925, 1.1764705882352942, 1.2, 1.0, 1.125, 0.875, 0.75, 1.0869565217391304, 1.2, 1.1666666666666667, 1.0909090909090908, 0.8148148148148148, 2.0, 0.3333333333333333, 0.1111111111111111, 2.0, 2.0, 0.8333333333333334, 1.5, 0.8333333333333334, 0.2, 0.8, 1.0, 1.032258064516129, 0.7777777777777778, 1.0888888888888888, 1.2857142857142858, 0.9285714285714286, 1.16, 1.0975609756097562, 1.0571428571428572, 1.0666666666666667, 0.7560975609756098, 1.3571428571428572, 0.9565217391304348, 0.9111111111111111, 0.95, 1.3157894736842106, 1.1875, 0.9142857142857143, 1.0256410256410255, 0.8292682926829268, 0.9130434782608695, 0.6785714285714286, 1.0740740740740742, 0.8947368421052632, 1.1428571428571428, 0.8611111111111112, 0.047619047619047616, 0.32, 0.78125, 1.45, 1.105263157894737, 1.0425531914893618, 0.034482758620689655, 2.0, 1.08, 1.2142857142857142, 0.9642857142857143, 0.72, 1.5, 0.5573770491803278, 0.7777777777777778, 1.1515151515151516, 0.9444444444444444, 1.048780487804878, 0.8367346938775511, 1.2916666666666667, 0.9642857142857143, 1.1428571428571428, 0.8627450980392157, 1.0434782608695652, 1.0, 1.0454545454545454, 1.0, 1.0, 1.12, 1.2727272727272727, 0.96, 0.8846153846153846, 1.0, 1.1904761904761905, 1.3076923076923077, 1.0, 0.9166666666666666, 1.0344827586206897, 1.2, 1.0, 0.8181818181818182, 1.0, 0.8888888888888888, 1.2, 0.3333333333333333, 0.043478260869565216, 1.6842105263157894, 2.0, 0.2, 1.4583333333333333, 0.9423076923076923, 1.1666666666666667, 1.0, 1.5, 0.8787878787878788, 1.2222222222222223, 1.0, 1.6521739130434783, 1.225, 2.2, 0.8387096774193549, 1.1333333333333333, 1.0, 0.9459459459459459, 1.0333333333333334, 0.8125, 1.125, 1.0714285714285714, 1.0, 1.15, 1.0769230769230769, 1.236842105263158, 1.1111111111111112, 1.1428571428571428, 0.9545454545454546, 0.2, 1.3, 1.1304347826086956, 1.1470588235294117, 1.75, 1.075, 1.1111111111111112, 1.1176470588235294, 1.2333333333333334, 1.025, 1.1304347826086956, 1.25, 1.1379310344827587, 1.3181818181818181, 0.7692307692307693, 1.1521739130434783, 1.0, 1.2325581395348837, 1.1388888888888888, 1.125, 0.9411764705882353, 1.125, 1.3333333333333333, 1.2571428571428571, 1.2307692307692308, 1.0, 1.2173913043478262, 1.25, 1.2222222222222223, 0.3333333333333333, 1.0, 0.7575757575757576, 1.4210526315789473, 0.9411764705882353, 1.0666666666666667, 0.7586206896551724, 1.2608695652173914, 1.3846153846153846, 0.9090909090909091, 1.0491803278688525, 1.0980392156862746, 1.0, 0.975609756097561, 1.0, 1.1891891891891893, 1.3333333333333333, 1.391304347826087, 1.0, 0.9354838709677419, 1.0666666666666667, 0.9047619047619048, 0.9166666666666666, 1.0625, 1.24, 1.0, 1.0, 1.1923076923076923, 1.0357142857142858, 1.206896551724138, 0.9, 0.7941176470588235, 0.9354838709677419, 1.162162162162162, 1.0208333333333333, 1.1111111111111112, 1.1111111111111112, 1.2222222222222223, 0.9285714285714286, 1.3333333333333333, 1.0869565217391304, 1.0634920634920635, 1.0731707317073171, 1.0555555555555556, 0.8765432098765432, 0.7647058823529411, 0.7647058823529411, 1.025, 1.0526315789473684, 1.0, 0.8695652173913043, 0.8780487804878049, 1.25, 1.0, 1.0975609756097562, 1.1428571428571428, 1.1612903225806452, 1.0285714285714285, 1.0, 1.0769230769230769, 1.1666666666666667, 0.9367088607594937, 1.1724137931034482, 1.0, 0.9565217391304348, 1.3157894736842106, 0.8666666666666667, 1.0526315789473684, 0.8703703703703703, 1.0625, 0.9, 1.0, 1.4210526315789473, 1.0, 1.04, 1.103448275862069, 1.16, 1.0666666666666667, 1.0434782608695652, 1.2, 1.3333333333333333, 1.25, 1.1, 0.9259259259259259, 1.0, 0.9411764705882353, 0.8947368421052632, 1.2727272727272727, 1.0833333333333333, 1.25, 0.8333333333333334, 0.7586206896551724, 1.0555555555555556, 0.9714285714285714, 0.6041666666666666, 0.9444444444444444, 1.0434782608695652, 0.7741935483870968, 1.0, 1.0, 1.0961538461538463, 1.411764705882353, 0.6825396825396826, 0.8823529411764706, 0.8666666666666667, 0.7777777777777778, 1.0, 1.0625, 1.0833333333333333, 1.0476190476190477, 0.9230769230769231, 0.9545454545454546, 1.0, 1.0666666666666667, 1.0833333333333333, 0.95, 1.1176470588235294, 0.92, 1.064516129032258, 1.0, 0.9375, 1.0, 0.9411764705882353, 0.8888888888888888, 1.2727272727272727, 1.0, 1.1, 1.1, 1.3076923076923077, 1.0135135135135136, 1.0833333333333333, 0.8181818181818182, 1.2222222222222223, 0.9545454545454546, 0.9583333333333334, 1.1818181818181819, 1.04, 1.0, 1.1333333333333333, 1.1363636363636365, 1.096774193548387, 1.0909090909090908, 1.0, 1.0, 1.0571428571428572, 1.173913043478261, 1.5, 1.0588235294117647, 1.1157894736842104, 0.96875, 1.0, 0.9411764705882353, 0.8888888888888888, 1.2727272727272727, 1.0833333333333333, 1.125, 0.75, 1.0, 1.1176470588235294, 2.0, 0.9333333333333333, 1.027027027027027, 0.967741935483871, 1.0357142857142858, 1.037037037037037, 0.9655172413793104, 1.0, 0.9032258064516129, 1.037037037037037, 1.0, 0.2, 1.0769230769230769, 0.9545454545454546, 0.8, 1.125, 1.0, 1.3333333333333333, 2.0, 0.8947368421052632, 0.8461538461538461, 1.3181818181818181, 1.36, 1.0526315789473684, 1.1111111111111112, 0.6, 1.0, 1.0, 0.8333333333333334, 0.42857142857142855, 1.1111111111111112, 1.1, 1.0, 1.0, 0.8823529411764706, 1.0952380952380953, 1.0, 0.625, 1.0454545454545454, 0.92, 1.3888888888888888, 0.8181818181818182, 1.0, 1.1428571428571428, 1.1111111111111112, 1.5, 1.0952380952380953, 1.0, 1.0, 1.0, 1.0, 1.1428571428571428, 1.3225806451612903, 0.8571428571428571, 1.0, 2.0, 1.0, 1.0, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 1.1, 1.0, 1.0588235294117647, 1.0, 1.1071428571428572, 1.0, 1.2380952380952381, 1.0, 0.8235294117647058, 0.8387096774193549, 1.3333333333333333, 1.2, 1.434782608695652, 0.8333333333333334, 0.7083333333333334, 1.0, 1.096774193548387, 2.0, 0.7692307692307693, 2.0, 1.1176470588235294, 1.1, 0.875, 0.8888888888888888, 0.9444444444444444, 1.3333333333333333, 0.7692307692307693, 1.1764705882352942, 1.0, 1.5, 2.0, 2.0, 1.5, 1.0, 1.2, 1.1, 0.6666666666666666, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0833333333333333, 0.9333333333333333, 1.1818181818181819, 0.9459459459459459, 1.0, 0.9, 0.9333333333333333, 1.2272727272727273, 1.096774193548387, 0.8461538461538461, 0.9, 1.0, 1.1176470588235294, 1.4166666666666667, 1.1142857142857143, 1.0, 1.0, 1.0, 0.85, 1.064516129032258, 0.8421052631578947, 0.8333333333333334, 1.8, 1.0, 0.9090909090909091, 0.6470588235294118, 1.3333333333333333, 0.8333333333333334, 0.9, 0.8666666666666667, 0.7692307692307693, 1.5, 0.9090909090909091, 1.1666666666666667, 1.0, 1.0, 1.1666666666666667, 1.0, 1.0, 1.2, 0.875, 1.25, 1.1111111111111112, 0.9, 2.0, 0.8518518518518519, 2.0, 1.0625, 1.5, 1.1, 1.0, 1.3636363636363635, 1.0952380952380953, 1.2857142857142858, 1.0384615384615385, 0.9090909090909091, 1.05, 1.0, 1.2619047619047619, 1.08, 1.2, 1.0714285714285714, 1.0689655172413792, 1.0, 1.0769230769230769, 0.9767441860465116, 1.1666666666666667, 1.1578947368421053, 0.9166666666666666, 1.0, 0.9375, 0.8823529411764706, 0.9411764705882353, 0.8947368421052632, 1.0555555555555556, 1.03125, 0.9, 1.2, 0.09090909090909091, 1.0277777777777777, 1.3636363636363635, 1.0833333333333333, 1.0, 1.1764705882352942, 0.8833333333333333, 1.0, 0.7692307692307693, 1.0, 1.0, 1.1071428571428572, 0.7837837837837838, 1.2222222222222223, 0.7948717948717948, 0.8181818181818182, 0.8235294117647058, 0.8387096774193549, 1.25, 1.25, 0.68, 0.8823529411764706, 1.0857142857142856, 0.7368421052631579, 1.0, 0.9423076923076923, 1.32, 1.2, 0.038461538461538464, 1.1111111111111112]
[1.0, 1.1, 1.0, 0.8571428571428571, 1.0, 1.0, 1.0, 1.2, 0.9333333333333333, 1.375, 1.6, 0.9, 1.1, 1.0, 1.0909090909090908, 1.0, 1.0, 1.1, 1.0, 0.8571428571428571, 0.7333333333333333, 0.7333333333333333, 0.8333333333333334, 0.8333333333333334, 1.2413793103448276, 0.8888888888888888, 1.0, 0.9393939393939394, 1.2, 1.0, 1.0, 0.9166666666666666, 0.8, 0.8095238095238095, 1.2857142857142858, 1.1333333333333333, 1.2105263157894737, 1.1333333333333333, 1.0, 1.0, 1.1, 0.8666666666666667, 0.8333333333333334, 0.95, 1.0666666666666667, 0.96875, 1.36, 1.0833333333333333, 1.1111111111111112, 1.380952380952381, 1.2857142857142858, 0.9, 0.7777777777777778, 0.9411764705882353, 1.2941176470588236, 1.1666666666666667, 1.3125, 0.8333333333333334, 1.0357142857142858, 1.8888888888888888, 1.0, 1.5, 1.125, 1.5, 1.0, 0.8571428571428571, 1.0, 1.1176470588235294, 0.8, 0.9333333333333333, 1.375, 1.5238095238095237, 0.9047619047619048, 1.0, 1.1875, 1.0, 0.8333333333333334, 1.2, 1.048780487804878, 1.0952380952380953, 1.1754385964912282, 1.2, 1.5555555555555556, 0.8888888888888888, 1.0, 1.35, 1.0384615384615385, 1.0666666666666667, 1.0357142857142858, 1.2285714285714286, 1.2258064516129032, 1.4285714285714286, 1.0, 1.0, 0.8, 0.9411764705882353, 1.048780487804878, 1.0476190476190477, 1.0, 0.9473684210526315, 0.8888888888888888, 0.8333333333333334, 1.1923076923076923, 1.0, 1.1794871794871795, 1.0, 1.1111111111111112, 1.0833333333333333, 1.0952380952380953, 1.0, 1.2857142857142858, 0.8571428571428571, 1.0, 1.0625, 0.8235294117647058, 1.0434782608695652, 1.1176470588235294, 1.1666666666666667, 0.8333333333333334, 1.2564102564102564, 1.22, 1.1224489795918366, 1.7, 1.255813953488372, 1.0, 0.3181818181818182, 1.5, 0.4166666666666667, 1.0, 6.0, 1.5, 0.9310344827586207, 0.8888888888888888, 1.2352941176470589, 1.2222222222222223, 1.103448275862069, 0.9375, 1.0285714285714285, 1.0, 1.0416666666666667, 0.9722222222222222, 0.896551724137931, 1.1764705882352942, 1.1428571428571428, 1.2105263157894737, 0.9523809523809523, 1.0689655172413792, 1.125, 1.6818181818181819, 1.0, 0.9090909090909091, 0.9444444444444444, 1.0555555555555556, 1.0769230769230769, 0.9117647058823529, 0.2, 1.0, 0.9166666666666666, 1.1176470588235294, 1.2307692307692308, 1.1333333333333333, 1.0263157894736843, 0.95, 0.7391304347826086, 0.9473684210526315, 1.05, 1.24, 1.0212765957446808, 1.2666666666666666, 1.4375, 1.08, 1.1333333333333333, 1.125, 1.0454545454545454, 1.263157894736842, 1.2777777777777777, 1.1818181818181819, 1.3529411764705883, 1.2352941176470589, 1.0, 0.3333333333333333, 0.5, 1.0, 1.0, 0.75, 1.0, 1.2142857142857142, 0.2, 0.7, 0.8, 1.1481481481481481, 1.0833333333333333, 1.0909090909090908, 1.3076923076923077, 0.8571428571428571, 1.2727272727272727, 1.2222222222222223, 1.2, 1.1923076923076923, 1.2, 1.3846153846153846, 1.0, 1.1111111111111112, 1.2857142857142858, 1.3333333333333333, 1.3703703703703705, 0.96875, 1.21875, 1.03125, 1.0, 1.2, 1.1666666666666667, 1.2307692307692308, 1.0, 0.8823529411764706, 0.047619047619047616, 0.3684210526315789, 1.0434782608695652, 1.5555555555555556, 1.2058823529411764, 1.2, 0.058823529411764705, 1.0, 1.04, 1.375, 1.368421052631579, 1.2142857142857142, 1.5384615384615385, 1.064516129032258, 1.0384615384615385, 1.2758620689655173, 1.1379310344827587, 1.2352941176470589, 1.0256410256410255, 1.3043478260869565, 1.0833333333333333, 1.3448275862068966, 1.162162162162162, 1.0454545454545454, 0.9473684210526315, 1.2222222222222223, 1.1428571428571428, 1.1111111111111112, 1.1956521739130435, 1.1818181818181819, 1.0, 1.1, 1.0, 1.263157894736842, 1.3333333333333333, 1.1666666666666667, 0.9545454545454546, 1.2083333333333333, 1.3181818181818181, 1.173913043478261, 0.9285714285714286, 1.12, 1.21875, 1.3181818181818181, 0.3333333333333333, 1.0, 2.066666666666667, 1.0, 0.2, 1.7, 1.1428571428571428, 1.25, 0.8333333333333334, 1.0, 0.9333333333333333, 1.1666666666666667, 1.0, 1.85, 1.5483870967741935, 2.3333333333333335, 1.0416666666666667, 1.25, 0.9230769230769231, 1.0, 1.0344827586206897, 1.0, 1.0, 1.0, 1.2564102564102564, 1.3636363636363635, 1.0833333333333333, 1.4375, 1.1875, 1.3636363636363635, 1.0526315789473684, 0.5, 1.3333333333333333, 1.275, 1.3571428571428572, 1.5, 1.135135135135135, 1.1142857142857143, 1.3846153846153846, 1.2413793103448276, 1.25, 1.2142857142857142, 1.3, 1.391304347826087, 1.4736842105263157, 1.0555555555555556, 1.4054054054054055, 0.8333333333333334, 1.4444444444444444, 1.3333333333333333, 1.1428571428571428, 1.119047619047619, 1.7, 1.3571428571428572, 1.5925925925925926, 1.24, 1.4090909090909092, 1.2857142857142858, 1.4615384615384615, 1.5925925925925926, 0.3333333333333333, 1.0714285714285714, 1.0434782608695652, 1.368421052631579, 1.205128205128205, 1.4090909090909092, 0.9545454545454546, 1.4, 1.3076923076923077, 0.8636363636363636, 1.4, 1.4102564102564104, 1.1935483870967742, 1.5, 0.8, 1.162162162162162, 1.2666666666666666, 1.55, 1.0666666666666667, 1.3333333333333333, 1.3478260869565217, 0.9473684210526315, 1.28, 1.1785714285714286, 1.2, 1.0833333333333333, 0.9375, 1.6666666666666667, 1.12, 1.619047619047619, 1.1428571428571428, 1.04, 1.1666666666666667, 1.6153846153846154, 1.3714285714285714, 1.1176470588235294, 1.0, 1.1111111111111112, 1.2258064516129032, 1.0, 1.3611111111111112, 1.5, 1.4333333333333333, 1.3214285714285714, 1.7735849056603774, 0.8, 1.25, 1.3793103448275863, 1.0, 1.5, 1.0, 1.09375, 1.263157894736842, 1.1764705882352942, 1.4193548387096775, 1.0, 1.5909090909090908, 1.25, 0.9285714285714286, 1.4864864864864864, 1.0833333333333333, 1.2372881355932204, 1.2692307692307692, 1.4705882352941178, 1.1025641025641026, 1.6, 0.8571428571428571, 1.0, 1.0952380952380953, 1.0, 0.9629629629629629, 1.4, 1.5294117647058822, 1.0, 1.0416666666666667, 1.1923076923076923, 1.1666666666666667, 1.0714285714285714, 1.0952380952380953, 1.2105263157894737, 1.2, 1.2857142857142858, 1.103448275862069, 1.0434782608695652, 0.9166666666666666, 1.0, 0.9411764705882353, 1.3, 1.0, 1.2857142857142858, 0.9714285714285714, 1.0, 1.088235294117647, 1.1, 1.037037037037037, 1.1428571428571428, 1.0454545454545454, 0.8518518518518519, 1.1363636363636365, 1.0714285714285714, 1.435897435897436, 1.4375, 1.1666666666666667, 0.8235294117647058, 0.8571428571428571, 1.2142857142857142, 1.170731707317073, 1.0, 1.0, 1.0, 1.0, 0.9090909090909091, 0.9375, 1.3636363636363635, 1.0869565217391304, 1.2857142857142858, 1.125, 1.0476190476190477, 1.032258064516129, 0.9444444444444444, 1.0357142857142858, 0.9166666666666666, 1.0, 0.8823529411764706, 1.3, 0.9333333333333333, 1.05, 1.105263157894737, 1.2307692307692308, 1.0422535211267605, 1.0, 0.8181818181818182, 1.1111111111111112, 0.9523809523809523, 0.9565217391304348, 1.3571428571428572, 1.0, 0.8333333333333334, 1.0666666666666667, 1.2, 1.1785714285714286, 1.0, 0.967741935483871, 0.9285714285714286, 1.0909090909090908, 1.2380952380952381, 1.0, 1.0, 1.1797752808988764, 1.0344827586206897, 0.9166666666666666, 1.0, 0.8823529411764706, 1.3, 1.0, 1.125, 0.7777777777777778, 1.0256410256410255, 1.125, 1.9, 1.0, 1.088235294117647, 1.0, 1.037037037037037, 1.0384615384615385, 1.0384615384615385, 1.05, 0.9642857142857143, 1.0, 1.0526315789473684, 0.8, 1.0, 0.9090909090909091, 0.9047619047619048, 1.0, 1.0, 1.0, 1.0, 0.9411764705882353, 0.7692307692307693, 1.5555555555555556, 1.434782608695652, 1.0, 1.2666666666666666, 1.2222222222222223, 0.5, 0.9285714285714286, 1.2666666666666666, 0.4, 1.1176470588235294, 1.2352941176470589, 0.875, 0.9285714285714286, 1.0, 1.1, 0.5, 0.9333333333333333, 1.375, 0.9166666666666666, 1.7142857142857142, 1.0625, 1.3125, 1.3529411764705883, 1.5, 1.0, 1.0476190476190477, 0.8, 1.0, 0.8, 1.0, 1.0, 1.5384615384615385, 0.85, 1.0, 1.0, 0.5, 0.5, 0.3333333333333333, 0.3333333333333333, 2.0, 1.1666666666666667, 0.9166666666666666, 1.0, 1.25, 1.25, 0.8571428571428571, 1.25, 1.0, 0.8125, 1.0869565217391304, 1.0, 1.2222222222222223, 1.5238095238095237, 1.0, 0.8421052631578947, 0.8, 1.375, 1.0, 0.6923076923076923, 1.0, 1.2, 1.05, 1.0, 0.7777777777777778, 1.1428571428571428, 1.2222222222222223, 1.0555555555555556, 1.1875, 0.8, 1.0, 1.0, 1.0, 1.0, 0.5, 1.0, 1.0, 0.3333333333333333, 0.5, 0.5, 0.9333333333333333, 0.5, 0.5, 1.0, 0.8666666666666667, 1.0909090909090908, 1.0, 1.0833333333333333, 0.8, 0.8666666666666667, 1.368421052631579, 1.375, 1.1111111111111112, 0.8, 1.1818181818181819, 1.125, 1.4545454545454546, 1.1176470588235294, 0.5, 0.9333333333333333, 0.5, 0.8421052631578947, 1.5238095238095237, 1.0689655172413792, 0.75, 1.6, 1.0, 0.8181818181818182, 0.9230769230769231, 1.1666666666666667, 0.9230769230769231, 0.9, 0.8, 0.9047619047619048, 1.25, 1.125, 1.0, 0.9230769230769231, 0.8333333333333334, 1.1818181818181819, 1.2, 1.25, 1.1, 0.8125, 1.0, 1.0, 0.8, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.2727272727272727, 1.0476190476190477, 1.1428571428571428, 1.0, 1.0740740740740742, 1.0, 1.2727272727272727, 1.4444444444444444, 1.1304347826086956, 1.0, 1.2285714285714286, 1.2, 0.8333333333333334, 1.1818181818181819, 1.1388888888888888, 1.0, 1.105263157894737, 0.8333333333333334, 1.0, 1.0769230769230769, 0.875, 0.9375, 0.9411764705882353, 1.088235294117647, 1.5238095238095237, 0.8888888888888888, 1.0, 0.9090909090909091, 1.0588235294117647, 1.2727272727272727, 1.0, 0.8, 1.2666666666666666, 1.1304347826086956, 1.0454545454545454, 0.9047619047619048, 0.8333333333333334, 0.9166666666666666, 1.1538461538461537, 0.8235294117647058, 1.1111111111111112, 1.1111111111111112, 1.0, 0.7647058823529411, 0.8620689655172413, 1.125, 1.0, 0.64, 0.8235294117647058, 1.088235294117647, 0.8709677419354839, 0.8333333333333334, 1.0212765957446808, 1.5238095238095237, 1.0, 0.30434782608695654, 1.5]

I am not sure which statistic would prove well here, so I have some basic set information:

Data set size: 689
========================
        Set i   Set j
min     0.0345  0.0476
max     2.2000  6.0000
mean    1.0517  1.0891
median  1.0278  1.0500
std     0.2814  0.3198

Apart from the max value in the second set, these values seem relatively close to each other.

I then did a Pearson correlation as well, expecting that a coefficient around 1 indicates a good linear mapping between the two sets.

Pearson r:
        - correlation: 0.4766
        - p-value < .01

This result is kind of disappointing, but I expect that the correlation is low because of some of the outliers.

Finally, I also ran a cosine similarity test, RMSE, and MAE, to get an idea of what's in the data.

Cosine similarity: 0.9616
Root mean square error: 0.3116
Mean absolute error: 0.1828

But now I am confused as to how to interpret these values. The cosine similarity is high, which I take to mean that the list are very similar. But then the RMSE and MAE are relatively high as well considering the mean value of the sets.

My question, then, is: how do I interpret this. Which of these statistics is best used to get some similarity intuition between two lists? And why is cosine similarity so high when MAE is ~0.18 on a mean of ~1.1? Or in short, is the similarity between these lists high or low?

$\endgroup$
1
$\begingroup$

Try plotting your data and looking at the distributions of Set iand Set j.

There is no single answer to your question "is the similarity between these lists high or low?"; that can only be addressed in terms of how you wish to use these data.

Although you have a wide range of values in both Set i and Set j from nearly 0 to 2 or more, about 90% of values in both sets are in a restricted range of about 0.75 to 1.5. The 19 cases (out of 689 total) with Set i=2 are in the top 0.2% of Set i cases, but with most having an associated Set j=1 and one having an associated Set j=6 they alone account for almost half (0.219) of the RMSE and 15% (0.031) of the MAE.

The cosine similarity is high if you use (0,0) for the origins of the associated vectors, but if you use the means of Set i and Set j instead as the origins you necessarily get the Pearson correlation coefficient as the cosine similarity.

So: how much do you care about the extreme outliers? Do you care about the cosine similarity with respect to the (0,0) origin, or with respect to the mean values of Set i and Set j? Once you answer those questions you can determine whether the similarity between the Sets is adequate for your purposes.

$\endgroup$

Your Answer

By clicking “Post Your Answer”, you agree to our terms of service, privacy policy and cookie policy

Not the answer you're looking for? Browse other questions tagged or ask your own question.