4
$\begingroup$

I want to predict a continuous criterion with 10 predictors with lm-function.

After checking whether the assumptions for a linear regression are violated, I detected outliers. Now I am trying to remove three problematic outliers which are troubling me in several diagnostic plots. I have a logical rationale for removing them (bad data quality for those points).

Here goes the data frame (df), I used dput for it:

structure(list(Criterion = c(6, 4, 6, 5, 6, 5, 5, 6, 5, 4, 4,  5, 5, 5, 5, 6, 4, 5, 6, 6, 5, 5, 4, 5, 6, 6, 5, 6, 4, 5, 6, 5,  6, 4, 5, 6, 6, 6, 6, 2, 5, 4, 5, 3, 6, 3, 5, 4, 5, 5, 4, 6, 4,  4, 6, 4, 6, 5, 5, 5, 5, 5, 4, 5, 5, 4, 4, 5, 5, 3, 5, 5, 4, 5,  4, 5, 5, 6, 4, 6, 3, 5, 5, 6, 4, 6, 5, 6, 5, 5, 5, 5, 6, 5, 6,  5, 5, 6, 4, 5, 4, 6, 4, 5, 4, 5, 6, 5, 6, 4, 4, 5, 5, 6, 5, 5,  4, 6, 5, 4, 6, 5, 6, 5, 5, 5, 6, 6, 4, 6, 2, 6, 5, 5, 5, 4, 5,  6, 5, 5, 4, 4, 4, 6, 5, 5, 5, 6, 4, 6, 5, 4, 5, 4, 4, 6, 5, 5,  5, 6, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 6, 4, 5, 6, 5, 5, 4, 6, 4,  6, 5, 6, 6, 3, 6, 5, 4, 6, 5, 3, 6, 5, 5, 5, 5, 5, 6, 5, 6, 5,  5, 5, 5, 5, 6, 4, 5, 4, 6, 5, 2, 3, 2, 2, 2, 2, 1, 1, 3, 3, 3,  2, 4, 2, 3, 2, 3, 3, 1, 1, 3, 2, 3, 3, 2), Pred1 = c(4, 5, 4.75,  4, 4.75, 4, 4, 3, 3.75, 3.75, 3.5, 4.25, 4.25, 3.5, 3, 3, 4.5,  4,
4.5, 3.75, 4, 4.5, 5, 4, 5, 4, 4, 3, 3.75, 3, 4, 3, 5, 4.75, 
3.5, 3, 3, 3, 3.5, 3.5, 4.5, 3.75, 4.25, 2.75, 4, 4, 3.25, 3, 
3.75, 3, 3, 3.75, 4, 1, 4.5, 3.5, 4.75, 3.5, 3.75, 4, 4, 3.5, 
2.75, 3, 2.75, 3.75, 3, 4, 4.25, 3, 3.5, 3.25, 4, 3.75, 3.75,  3, 3.5, 4.5, 4, 3.75, 4.75, 3.5, 3.75, 3.5, 4, 4.5, 4.5, 3.25,  4, 3.75, 4, 5, 4.5, 4.5, 3.75, 4, 3.75, 4, 4.5, 5, 3.75, 3, 3.25,  3, 3.75, 3.25, 4, 4, 4, 3.5, 4, 3, 3.75, 3, 3.25, 4, 3, 4, 3.5, 
3.25, 4, 4, 3.25, 3.75, 3.75, 3.75, 4, 3.5, 3.5, 4.25, 4.5, 4, 
2.5, 3, 4, 3.75, 4.25, 3, 3.5, 4.75, 3.5, 3.75, 4.75, 4, 4, 3, 
3.75, 4, 5, 4, 4.25, 4.25, 4, 1, 4, 4, 3.75, 3.5, 5, 4, 3.5, 
3.25, 3, 4, 3.5, 3.5, 3.5, 4.25, 3.5, 3, 4.5, 3.75, 3.25, 5,  3, 4, 3, 4, 3.5, 5, 3.25, 3.25, 3, 3, 4.5, 3.25, 3.25, 3, 4.25, 
2.75, 5, 3.25, 4, 3, 3.75, 3, 2.75, 4.25, 3.25, 4, 3.5, 3.75, 
3.25, 5, 3, 5, 3.25, 4.75, 3.25, 3.5, 3.75, 3, 3.5, 3, 3.25,  3, 4.25, 3.25, 3.25, 3.75, 3, 3, 3, 3, 5, 3, 4.75, 4.5, 2.75,  5, 3, 3.5, 3, 3, 4.25), Pred2 = c(3, 1.5, 4.5, 5, 3, 2, 4, 3, 
3.5, 3.5, 3, 4.5, 2, 4, 3.5, 4, 4.5, 4, 2, 2, 3, 3, 5, 4, 4.5,  5, 2.5, 4, 3, 4, 2.5, 3.5, 5, 3, 2.5, 5, 5, 3, 3, 4.5, 5, 4.5,  4, 5, 4.5, 3, 3.5, 5, 5, 4, 4, 3, 3, 4.5, 4, 1.5, 2.5, 5, 2,  2, 2, 4, 3.5, 4, 3, 4, 2.5, 5, 4, 3.5, 5, 3, 2.5, 3, 3, 2.5,  4, 2.5, 3, 5, 4, 3, 4,
4.5, 4.5, 3.5, 2, 2.5, 2.5, 5, 1.5, 5,  5, 2.5, 2.5, 2, 4, 3.5, 4, 4, 3, 3, 2, 4, 3, 3.5, 3, 2, 2.5,  4, 3.5, 3, 4.5, 3.5, 2, 4.5, 4.5, 5,
2.5, 3.5, 4.5, 4, 1, 4, 
4.5, 3.5, 2.5, 5, 4, 4, 1.5, 5, 3, 4.5, 4.5, 4.5, 5, 4, 3, 4, 
3.5, 2, 3, 4, 3.5, 4.5, 1.5, 5, 4.5, 4, 5, 2.5, 4, 3, 3.5, 4,  3, 4, 5, 5, 4, 3.5, 4, 5, 4, 3.5, 3, 3, 3, 3.5, 4.5, 2.5, 4.5, 
3.5, 4.5, 4.5, 5, 2.5, 4, 4.5, 5, 5, 4, 5, 4.5, 4, 5, 4.5, 3.5, 
3.5, 5, 4, 4.5, 5, 3, 4, 5, 3.5, 4, 2.5, 4.5, 3.5, 3, 4, 3, 3.5, 
3.5, 5, 4, 2.5, 1.5, 3, 3.5, 3, 2.5, 5, 2.5, 3.5, 4, 3.5, 3.5,  4, 5, 3, 2, 2.5, 4, 4.5, 3, 3, 4, 4.5, 3, 3.5, 3), Pred3 = c(3.9375, 
4.1875, 3.75, 3.9375, 2.75, 3.6875, 4.1875, 4.625, 2.625, 4.1875, 
3.125, 3.375, 4.1875, 4.125, 3.375, 3.5625, 2.4375, 3.625, 3.8125, 
4.5, 2.6875, 4.25, 4.5625, 4, 4.625, 2.375, 3.25, 4.5625, 3.4375, 
3.5625, 3.75, 3.375, 4.625, 3.8125, 3.375, 4.4375, 4.125, 4.0625, 
3.6875, 4.0625, 4, 2.25, 3.8125, 3.75, 3.5, 3.75, 3.8125, 3.0625, 
3.5625, 4.0625, 3.875, 4.4375, 2.75, 4.0625, 3.75, 3.625, 3.75, 
3.9375, 3.3125, 4.3125, 3.5, 4.4375, 3.625, 3.5625, 2.8125, 3.6875, 
2.9375, 3, 3.9375, 2.8125, 4.0625, 4, 2.5, 3.75, 3.625, 4.25, 
3.6875, 4.1875, 2.4375, 3.6875, 4.25, 4, 4.6875, 4.1875, 4, 4.375, 
4.125, 4.25, 3.0625, 4, 4, 4.625, 2.625, 3.25, 3.875, 4.0625, 
3.6875, 2.75, 3.6875, 4, 3.5, 3.625, 3, 4.8125, 3.625, 4.4375, 
3.5, 4.1875, 3.4375, 3.5625, 3, 2.6875, 4.8125, 4.5, 3.3125, 
3.6875, 4, 4.1875, 3.4375, 3.75, 3.9375, 3.9375, 4.75, 3.5625, 
4.0625, 3.5, 3.625, 4.6875, 3.8125, 4.75, 4.375, 4.375, 3.75, 
4.125, 3.5, 4.5625, 4.5, 3.125, 3.3125, 3.375, 3, 3.875, 3.9375, 
2.5625, 4.25, 3.0625, 3.875, 4.625, 4.5, 3.9375, 4, 3.9375, 2.1875,  3, 4.0625, 4.5, 4.4375, 3.625, 3.375, 4, 4.375, 4.1875, 2.875, 
4.1875, 4.125, 4.0625, 4.25, 4.5625, 3.625, 4.375, 2.9375, 4.25, 
4.125, 3.5, 4.3125, 4.3125, 2.3125, 3.4375, 4.1875, 4, 3.375, 
3.6875, 4.375, 2.75, 4.5, 4.1875, 3.875, 4.6875, 3.6875, 4, 4, 
4.125, 3.75, 4.6875, 3.0625, 3.625, 4.4375, 3.875, 4.625, 3.875, 
3.5625, 4.0625, 3.125, 3.9375, 3.5, 4.4375, 4.4375, 4.125, 3.9375, 
4.375, 1.9375, 3.3125, 3.0625, 2.625, 3.375, 3.8125, 3.0625, 
3.6875, 3.9375, 3.875, 3.5, 2.5625, 4.125, 3.3125, 3, 2.9375, 
4.125, 3.875, 2.3125, 3, 3.8125, 3.5625, 2.5625, 3.875, 4.1875 ), Pred4 = c(1.66666666666667, 1.83333333333333, 4, 2, 1.33333333333333, 
2.83333333333333, 4, 4.66666666666667, 3.83333333333333, 1.16666666666667,  3, 1.83333333333333, 2.66666666666667, 4, 2, 4.66666666666667, 
2.33333333333333, 2.16666666666667, 3, 4.16666666666667, 2.66666666666667, 
3.5, 2.5, 5, 3.33333333333333, 2.33333333333333, 3, 1.83333333333333, 
3.83333333333333, 2.33333333333333, 4, 2, 1.83333333333333, 1.5, 
1.33333333333333, 5, 2.66666666666667, 2.66666666666667, 2.5, 
1.83333333333333, 3.66666666666667, 1.83333333333333, 1.66666666666667, 
2.16666666666667, 1, 1.83333333333333, 1.33333333333333, 3.5, 
3.16666666666667, 1.5, 4.16666666666667, 3.83333333333333, 3.83333333333333,  4, 4, 2.16666666666667, 3.83333333333333, 4.83333333333333, 2, 
1.33333333333333, 1.33333333333333, 2.66666666666667, 2.5, 4.33333333333333,  2, 3.5, 4.83333333333333, 3.33333333333333, 4.5, 1, 1.83333333333333,  2, 3.66666666666667, 2, 2.66666666666667, 3, 2, 4.16666666666667,  1, 2.5, 1.66666666666667, 4.33333333333333, 1.5, 2.66666666666667, 
4.16666666666667, 4.16666666666667, 2.16666666666667, 4.16666666666667, 
1.16666666666667, 4.33333333333333, 1.16666666666667, 2.83333333333333, 
3.33333333333333, 3.33333333333333, 3.33333333333333, 1.33333333333333,  5, 3.83333333333333, 4.16666666666667, 1, 1.5, 3.66666666666667,  1, 2, 1.66666666666667, 1.5, 1.5, 3.83333333333333, 2.83333333333333, 
2.83333333333333, 1, 5, 3.16666666666667, 2, 1.16666666666667,  5, 1.16666666666667, 2.33333333333333, 2, 1.66666666666667, 5, 
2.66666666666667, 2, 1.83333333333333, 5, 1.5, 3.33333333333333, 
2.16666666666667, 3.16666666666667, 2.66666666666667, 1.16666666666667, 
1.83333333333333, 2.83333333333333, 2.33333333333333, 1.33333333333333, 
2.16666666666667, 4, 2.66666666666667, 2.66666666666667, 1, 1.66666666666667, 
1.66666666666667, 1, 1.66666666666667, 4.66666666666667, 1.66666666666667, 
1.5, 3.33333333333333, 2, 2.66666666666667, 2.16666666666667, 
1.5, 3.33333333333333, 2.66666666666667, 2.16666666666667, 4.5, 
2.83333333333333, 4.83333333333333, 3.66666666666667, 2.83333333333333, 
1.33333333333333, 3.83333333333333, 1, 2.83333333333333, 1.5, 
4.5, 4.33333333333333, 3.66666666666667, 3.16666666666667, 3.16666666666667, 
4.83333333333333, 2.83333333333333, 2.66666666666667, 2.16666666666667, 
4.16666666666667, 2.66666666666667, 2.5, 2.16666666666667, 4.66666666666667,  1, 1.5, 5, 1.83333333333333, 2.66666666666667, 2, 1.5, 3.83333333333333, 
3.5, 2.33333333333333, 2.66666666666667, 1.66666666666667, 2.5, 
2.5, 4.5, 3.33333333333333, 3, 4, 2.83333333333333, 2.16666666666667, 
1.16666666666667, 4.66666666666667, 2.33333333333333, 3.33333333333333, 
2.33333333333333, 3.5, 2, 2.16666666666667, 1.16666666666667, 
3.83333333333333, 3, 1.33333333333333, 4, 2.66666666666667, 2.33333333333333, 
1.16666666666667, 1.83333333333333, 4.83333333333333, 1.66666666666667, 
1.83333333333333, 1.83333333333333, 1.16666666666667, 2.33333333333333, 
3.5, 2, 1.5, 2.16666666666667, 3, 5, 1.5, 4.16666666666667, 3.16666666666667, 
2.83333333333333, 1.66666666666667, 2.83333333333333, 2.16666666666667 ), Pred5 = c(2.75, 2.75, 4, 3.5, 2, 4.25, 3.5, 4, 1.5, 2.25, 
3.25, 3.75, 3.25, 4, 2.5, 3.25, 2.5, 2.25, 3.5, 4.5, 4, 3.75, 
3.75, 5, 4.25, 2.25, 3.25, 2.75, 5, 3.5, 3.75, 3.25, 5, 2.5, 
2.5, 5, 3.5, 3.75, 3.25, 3.5, 4, 3.25, 2.5, 3.25, 3.25, 2.25, 
2.5, 3.75, 3, 2.75, 4.25, 4, 4.5, 4.25, 4.75, 2.25, 4.25, 4.25, 
3.25, 3, 1.75, 4, 3.5, 4.25, 2, 3.5, 5, 4.75, 3.75, 1.75, 1.75,  2, 4.25, 4, 2.75, 4, 1.5, 3.75, 1, 3.25, 3.75, 3.75, 2.25, 3.5,  4, 4.5, 2.75, 5, 2.25, 4, 2, 4.25, 4, 4.25, 4, 3, 4.25, 2, 3.5, 
3.25, 4.25, 3.75, 1, 3, 3, 2.5, 3, 4.25, 2.75, 2.75, 1, 2.75, 
3.25, 1.75, 1.75, 5, 2.25, 2.75, 4, 2.25, 5, 3.75, 3.75, 3.5,  4, 2.75, 4, 3.25, 3.75, 2.75, 3, 2.5, 4, 4, 2.25, 3.25, 3.75, 
4.25, 3.25, 2.25, 2, 2, 2, 3.5, 3.75, 2.5, 2.75, 3, 2.75, 3.75, 
4.75, 2, 3, 3.5, 3, 4.75, 3, 3.75, 4.25, 3.5, 1.75, 4, 1, 3.25,  2, 4.5, 5, 5, 3.25, 3.5, 4.75, 3, 3.25, 3, 4.75, 1.75, 2.5, 3.75, 
4.5, 1, 2, 5, 4.25, 3.75, 3.75, 3.75, 3.75, 5, 2.25, 2.5, 4.5,  4, 3.5, 4, 3.75, 4, 4.75, 3.75, 3.75, 3.5, 5, 3.75, 3.25, 3.5, 
4.25, 3, 2.5, 1.25, 5, 4.5, 1.75, 3.75, 1.75, 2.5, 1.25, 2.25,  5, 2.5, 1.5, 3.5, 1.75, 2.75, 3.25, 2.5, 1.25, 2.5, 3.25, 5, 
1.5, 4.25, 2.75, 2.5, 2.5, 3.75, 2.75), Pred6 = c(7, 5, 9, 8,  7, 5, 5, 7, 2, 3, 3, 5, 8, 9, 4, 8, 6, 11, 3, 9, 3, 2, 5, 3,  6, 11, 6, 6, 0, 6, 6, 3, 5, 4, 5, 2, 5, 6, 6, 0, 6, 3, 5, 7,  2, 9, 2, 7, 5, 5, 2, 11, 11, 6, 5, 4, 7, 11, 6, 6, 6, 11, 2,  5, 5, 7, 8, 9, 6, 4, 3, 5, 9, 7, 7, 5, 6, 2, 3, 8, 9, 5, 5, 7,  7, 7, 2, 6, 2, 5, 4, 3, 7, 5, 7, 6, 7, 9, 10, 6, 6, 2, 2, 7,  0, 2, 5, 2, 4, 5, 4, 5, 5, 11, 8, 7, 9, 8, 8, 5, 2, 3, 5, 5,  2, 11, 11, 7, 6, 2, 5, 5, 2, 2, 8, 3, 5, 8, 3, 3, 8, 5, 5, 2,  4, 2, 4, 6, 6, 6, 8, 3, 7, 7, 2, 6, 8, 6, 5, 6, 5, 6, 2, 5, 5,  7, 7, 7, 5, 3, 5, 10, 6, 3, 1, 6, 5, 2, 8, 5, 7, 9, 7, 7, 6,  3, 11, 7, 3, 5, 11, 4, 8, 4, 3, 4, 8, 4, 9, 3, 7, 8, 11, 6, 8,  6, 3, 5, 2, 10, 6, 8, 3, 7, 5, 4, 3, 3, 6, 3, 4, 7, 10, 5, 3,  3, 7, 8, 2, 8, 2, 4, 8, 3, 6), Pred7 = c(5, 4, 4, 5, 4, 4, 4, 
4.66666666666667, 3, 3.66666666666667, 4, 4.66666666666667, 3.66666666666667, 
4.33333333333333, 3, 3.66666666666667, 4.33333333333333, 4, 4, 
4.33333333333333, 4, 4, 4, 4, 4, 4, 3.66666666666667, 4, 4, 4,  5, 5, 4, 3.66666666666667, 4, 3.66666666666667, 3, 5, 3.66666666666667, 
4.33333333333333, 4.33333333333333, 4, 3.66666666666667, 4.33333333333333,  4, 4, 4, 5, 4.33333333333333, 4, 3.33333333333333, 3.33333333333333,  3, 3.66666666666667, 4, 5, 4.66666666666667, 4, 4, 3, 4, 4, 3.66666666666667, 
3.66666666666667, 4, 4.66666666666667, 3.66666666666667, 4.33333333333333,  4, 5, 3.66666666666667, 3.66666666666667, 4, 2.66666666666667,  4, 5, 4, 3.33333333333333, 3.66666666666667, 4.33333333333333,  3, 3.66666666666667, 4, 4, 4, 3.33333333333333, 4, 4.66666666666667, 
3.66666666666667, 3.66666666666667, 3.66666666666667, 4.33333333333333,  4, 4, 3.66666666666667, 4.33333333333333, 4, 4, 3, 3, 4.33333333333333,  4, 2.66666666666667, 4.33333333333333, 5,
2.66666666666667, 5,  5, 4, 4, 4, 4, 3.66666666666667, 4, 4, 4, 4, 4, 4, 4, 3.33333333333333,  4, 3.66666666666667, 3.66666666666667, 4, 4,
3.66666666666667, 
3.33333333333333, 4.33333333333333, 4.66666666666667, 4.66666666666667, 
3.33333333333333, 3.66666666666667, 3, 4, 4, 4, 3, 3.66666666666667,  3, 4.66666666666667, 3.33333333333333, 4, 4, 3.66666666666667, 
3.66666666666667, 5, 3.66666666666667, 3, 4, 4.66666666666667,  2, 4.33333333333333, 3, 3, 4, 4, 4, 3.33333333333333, 4, 4.66666666666667, 
3.66666666666667, 4, 3.66666666666667, 3.66666666666667, 4, 4,  4, 4, 4, 3.33333333333333, 4, 4, 3, 4.33333333333333, 3.33333333333333, 
4.33333333333333, 4, 4, 5, 4, 5, 4, 5, 4, 4, 4.33333333333333, 
3.66666666666667, 4.33333333333333, 4, 4, 4.66666666666667, 4.33333333333333, 
4.66666666666667, 5, 4.66666666666667, 4, 3.33333333333333, 1, 
3.33333333333333, 5, 3.66666666666667, 4, 4.66666666666667, 4, 
2.66666666666667, 3.66666666666667, 5, 4, 3, 4, 4.66666666666667,  4, 4, 3.33333333333333, 4.33333333333333, 4.33333333333333,
4.66666666666667,  4, 4, 4, 4.66666666666667, 4, 5, 4, 3.66666666666667, 4, 4, 5,  4, 4.66666666666667, 4.66666666666667, 4, 3.33333333333333, 4 ), Pred8 = c(1.88888888888889, 3.22222222222222, 3, 3.44444444444444, 
1.11111111111111, 2.33333333333333, 2.22222222222222, 1.44444444444444, 
1.88888888888889, 2.77777777777778, 2.88888888888889, 1.11111111111111, 
3.11111111111111, 1.44444444444444, 2.44444444444444, 2.55555555555556, 
1.88888888888889, 2.44444444444444, 2.11111111111111, 2.55555555555556, 
2.77777777777778, 1.44444444444444, 2.44444444444444, 1.44444444444444, 
2.44444444444444, 2.55555555555556, 2.55555555555556, 1.33333333333333, 
2.11111111111111, 3.33333333333333, 1.44444444444444, 2.44444444444444, 
2.55555555555556, 2.55555555555556, 1.88888888888889, 2.33333333333333, 
1.77777777777778, 1.55555555555556, 2.22222222222222, 3.22222222222222, 
1.33333333333333, 3.44444444444444, 2, 1.22222222222222, 1.77777777777778, 
3.66666666666667, 2.44444444444444, 2, 2, 1.44444444444444, 2.44444444444444,  3, 3.44444444444444, 1.77777777777778, 2.22222222222222, 3.77777777777778, 
2.44444444444444, 2, 3, 3.55555555555556, 3, 1.66666666666667, 
1.77777777777778, 2, 3.11111111111111, 2.88888888888889, 1.55555555555556, 
1.55555555555556, 1.77777777777778, 3.33333333333333, 1.22222222222222, 
2.22222222222222, 3.55555555555556, 2.88888888888889, 2.88888888888889, 
1.88888888888889, 1.77777777777778, 2.22222222222222, 3.44444444444444, 
4.22222222222222, 1.44444444444444, 3.33333333333333, 3.66666666666667, 
2.77777777777778, 3.33333333333333, 2.77777777777778, 1.88888888888889, 
2.22222222222222, 2.11111111111111, 2.33333333333333, 3.33333333333333, 
2.22222222222222, 1.88888888888889, 3.11111111111111, 2.33333333333333, 
2.88888888888889, 2.55555555555556, 2.77777777777778, 1, 3.11111111111111, 
3.44444444444444, 2.44444444444444, 3.22222222222222, 2.22222222222222,  1, 1.22222222222222, 1.66666666666667, 1, 3.11111111111111, 3, 
4.66666666666667, 2.77777777777778, 1.88888888888889, 1, 2.55555555555556, 
2.55555555555556, 1.22222222222222, 2.44444444444444, 3.44444444444444, 
2.66666666666667, 2.11111111111111, 1.55555555555556, 1.88888888888889,  2, 1.77777777777778, 1.66666666666667, 2.77777777777778, 1.77777777777778, 
2.11111111111111, 2.33333333333333, 3.55555555555556, 1.88888888888889, 
2.66666666666667, 1.11111111111111, 2.77777777777778, 1.33333333333333,  3, 2.66666666666667, 2.11111111111111, 2.55555555555556, 2.66666666666667, 
3.22222222222222, 2.88888888888889, 2.44444444444444, 2.88888888888889, 
2.88888888888889, 2.44444444444444, 1.88888888888889, 2.22222222222222, 
1.77777777777778, 1.77777777777778, 2.77777777777778, 3, 3.44444444444444, 
1.88888888888889, 2, 2.11111111111111, 2.77777777777778, 2.55555555555556,  3, 2.22222222222222, 2.22222222222222, 3.66666666666667, 2.55555555555556, 
1.11111111111111, 2.66666666666667, 2, 2.33333333333333, 2.11111111111111,  2, 2.11111111111111, 2.11111111111111, 2, 2.11111111111111, 2.44444444444444, 
2.22222222222222, 1.66666666666667, 2.33333333333333, 3.44444444444444, 
3.88888888888889, 1.11111111111111, 1.88888888888889, 1.55555555555556, 
2.11111111111111, 1.77777777777778, 1.55555555555556, 2.11111111111111, 
1.77777777777778, 2, 3.11111111111111, 1.22222222222222, 2, 2.11111111111111, 
2.11111111111111, 1, 3.22222222222222, 2.66666666666667, 1.77777777777778, 
3.44444444444444, 2.66666666666667, 2.88888888888889, 2.22222222222222, 
2.77777777777778, 2.11111111111111, 1.22222222222222, 2.44444444444444, 
1.22222222222222, 3.22222222222222, 1.22222222222222, 1.11111111111111, 
3.77777777777778, 3, 3.44444444444444, 4.44444444444444, 2.44444444444444, 
3.44444444444444, 3.55555555555556, 3.11111111111111, 2.55555555555556,  3, 2, 3, 1.66666666666667, 2.44444444444444, 3.44444444444444, 
2.22222222222222, 1.77777777777778, 1.66666666666667, 4.22222222222222, 
3.11111111111111, 4.55555555555556, 3, 2.55555555555556, 2, 3.22222222222222 ), Pred9 = c(2.625, 2.6875, 2.3125, 2.9375, 1.375, 2.9375, 2.75, 
1.8125, 2.3125, 2.1875, 4, 1.5, 1.6875, 1.375, 2.4375, 3.125, 
3.375, 2.75, 2.0625, 2.4375, 3.3125, 2.875, 1.3125, 2.6875, 1.3125, 
4.5625, 1.3125, 2, 2.375, 2.6875, 1.625, 2.0625, 2.75, 1.875, 
2.5625, 2, 1.4375, 2.1875, 1.5625, 2.875, 1.875, 4.0625, 1.0625, 
2.5625, 1.125, 4.1875, 2.75, 3.875, 3.1875, 2.25, 3.5, 2.0625, 
4.875, 2.5, 1.75, 2.125, 1.5625, 2.0625, 3.5, 1.4375, 2.625, 
1.125, 1.5, 2.125, 3.875, 3.375, 2.3125, 1.375, 2.375, 2.5625, 
2.625, 1.625, 4, 2.625, 3.25, 1.375, 3.3125, 1.75, 3.125, 2.0625, 
1.4375, 3.1875, 1.25, 3.0625, 1.625, 3.375, 2.4375, 3.6875, 3.0625, 
2.3125, 2, 1.625, 2.125, 3.75, 1.5625, 2.625, 3.5625, 3.8125, 
1.5625, 1.3125, 2.9375, 3.3125, 3.5625, 1, 1, 1.875, 2.25, 1.875, 
3.25, 2.5625, 3.75, 2.25, 1.375, 1, 1.9375, 2, 3.1875, 1.3125, 
2.75, 1.9375, 1.6875, 1.9375, 2.25, 2.6875, 1.0625, 2.1875, 2, 
1.8125, 3.125, 1.75, 2.4375, 1.5, 1.125, 1.0625, 1.9375, 1.25, 
2.9375, 3.3125, 2.3125, 2.375, 3.5, 2.5625, 1.9375, 3.0625, 3.125, 
3.3125, 3.5, 2.3125, 1, 1.375, 1.8125, 3.125, 5.3125, 4.75, 1.1875, 
1.1875, 2.1875, 4.8125, 2.3125, 2.125, 2.0625, 1.25, 2.25, 1.5, 
1.6875, 2.4375, 4.4375, 2.25, 1.4375, 1.625, 4.0625, 1.6875, 
2.1875, 2.4375, 2.125, 2.9375, 3, 2.6875, 1, 1.5, 2.0625, 2.3125, 
1.25, 2.1875, 1.1875, 1.75, 2.75, 1, 2.8125, 2.75, 1.75, 2, 1.6875, 
1.9375, 3, 4, 1.6875, 1.8125, 1, 2.375, 1.625, 1.625, 2.3125,  2, 2.25, 1.875, 1.4375, 2.25, 2.8125, 1.6875, 5.0625, 3.5625, 
4.625, 3.625, 3.875, 3.125, 3.4375, 3.125, 1.8125, 1.9375, 4.3125, 
3.3125, 1.75, 3.1875, 3.875, 4.5, 1.9375, 1.8125, 4.5, 3.25, 
4.25, 1.9375, 2.3125, 2.9375, 2.8125), Pred10 = c(3.33333333333333,  2, 2.33333333333333, 2.66666666666667, 3.66666666666667,
2.33333333333333, 
2.66666666666667, 2.66666666666667, 4.33333333333333, 3, 2.33333333333333,  3, 2.66666666666667, 2, 3, 3, 3, 3, 2.66666666666667, 1, 2.33333333333333, 
1.33333333333333, 2, 2, 2, 2, 2.33333333333333, 2.66666666666667, 
2.33333333333333, 2, 2.33333333333333, 2.33333333333333, 2.66666666666667,  3, 2.33333333333333, 1.66666666666667, 1, 2, 2, 3, 2, 2.66666666666667,  3, 2.66666666666667, 2.66666666666667,
3.33333333333333, 4, 2.66666666666667, 
2.66666666666667, 2.66666666666667, 2, 3, 2.33333333333333, 3,  1, 2.66666666666667, 1.33333333333333, 2, 3.33333333333333, 3,  3, 2.33333333333333, 2, 1.66666666666667, 2.66666666666667, 2.66666666666667, 
2.66666666666667, 2.33333333333333, 3, 2.66666666666667, 4.66666666666667, 
3.33333333333333, 2.66666666666667, 3.33333333333333, 2.66666666666667,  2, 3, 1, 3, 2, 1.66666666666667, 2, 3.33333333333333, 3, 2.33333333333333,  3, 2, 1, 2.33333333333333, 1.33333333333333, 3, 2.33333333333333, 
1.66666666666667, 2.33333333333333, 2.66666666666667, 3.33333333333333,  1, 2.66666666666667, 3.33333333333333, 2, 2.33333333333333, 2, 
3.66666666666667, 3.33333333333333, 2.66666666666667, 3.33333333333333, 
3.33333333333333, 2, 2, 2.66666666666667, 4, 3, 3, 2, 3, 1.33333333333333, 
3.66666666666667, 2.66666666666667, 3.33333333333333, 3.33333333333333,  1, 3, 2.33333333333333, 3.33333333333333, 3, 2.66666666666667, 
2.33333333333333, 3.33333333333333, 2.66666666666667, 2.66666666666667, 
3.66666666666667, 2.66666666666667, 2.33333333333333, 2.33333333333333, 
3.66666666666667, 3, 2.33333333333333, 1.33333333333333, 3.66666666666667, 
3.33333333333333, 3.66666666666667, 3, 3.33333333333333, 3, 2.33333333333333, 
3.66666666666667, 3, 3.33333333333333, 3, 4, 2.66666666666667,  3, 3, 2.66666666666667, 2.66666666666667, 2, 2.66666666666667,  3, 3.33333333333333, 2.66666666666667, 3.33333333333333, 3, 3.33333333333333,  2, 4, 2.66666666666667, 1, 3, 2.33333333333333, 3, 2.66666666666667, 
2.33333333333333, 2.66666666666667, 3.33333333333333, 1, 3, 2.66666666666667, 
2.66666666666667, 2, 2.66666666666667, 2.66666666666667, 2, 1.66666666666667, 
2.66666666666667, 2, 3, 2.66666666666667, 1, 3.33333333333333,  3, 2.33333333333333, 3, 2.66666666666667, 1.66666666666667, 2, 
2.66666666666667, 2.33333333333333, 3.33333333333333, 1.33333333333333, 
2.66666666666667, 2, 2, 3, 1, 3, 2, 2.33333333333333, 3.33333333333333,  1, 2.66666666666667, 3, 2.33333333333333, 3.66666666666667, 3, 
3.66666666666667, 2.66666666666667, 2, 3.33333333333333, 3, 2.66666666666667,  4, 2.66666666666667, 2.33333333333333, 3, 2.66666666666667, 4, 
2.66666666666667, 3, 4, 1, 2, 3.33333333333333, 3, 3.33333333333333, 
3.66666666666667)), variable.labels = structure(character(0), .Names = character(0)), codepage = 65001L, row.names = c(1L,  2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L, 13L, 14L, 15L,  16L, 17L, 18L, 19L, 20L, 21L, 22L, 23L, 24L, 25L, 26L, 27L, 28L,  29L, 30L, 31L, 32L, 33L, 34L, 35L, 36L, 37L, 38L, 39L, 40L, 41L,  42L, 43L, 44L, 45L, 46L, 47L, 48L, 49L, 50L, 51L, 52L, 53L, 54L,  55L, 56L, 57L, 58L, 59L, 60L, 61L, 62L, 63L, 64L, 65L, 66L, 67L,  68L, 69L, 70L, 71L, 72L, 73L, 74L, 75L, 76L, 77L, 78L, 79L, 80L,  81L, 82L, 83L, 84L, 85L, 86L, 87L, 88L, 89L, 90L, 91L, 92L, 93L,  94L, 95L, 96L, 97L, 98L, 99L, 100L, 101L, 102L, 103L, 104L, 105L,  106L, 107L, 108L, 109L, 110L, 111L, 112L, 113L, 114L, 115L, 116L,  117L, 118L, 119L, 120L, 121L, 122L, 123L, 124L, 125L, 126L, 127L,  128L, 129L, 130L, 131L, 132L, 133L, 134L, 135L, 136L, 137L, 138L,  139L, 140L, 141L, 142L, 143L, 144L, 145L, 146L, 147L, 148L, 149L,  150L, 151L, 152L, 153L, 154L, 155L, 156L, 157L, 158L, 159L, 160L,  161L, 162L, 163L, 164L, 165L, 166L, 167L, 168L, 169L, 170L, 171L,  172L, 173L, 174L, 175L, 176L, 177L, 178L, 179L, 180L, 181L, 182L,  183L, 184L, 185L, 186L, 187L, 188L, 189L, 190L, 191L, 192L, 193L,  194L, 195L, 196L, 198L, 199L, 200L, 201L, 202L, 203L, 204L, 205L,  206L, 207L, 208L, 209L, 210L, 211L, 212L, 213L, 214L, 215L, 216L,  217L, 218L, 219L, 220L, 221L, 222L, 223L, 224L, 225L, 226L, 227L,  228L, 229L, 230L, 231L, 232L, 233L, 234L, 235L, 236L), class = "data.frame")

Then:

res.lm <- lm(Criterion ~., data = df)
summary(res.lm)

autoplot(res.lm)

enter image description here

Attempt to remove those three outliers, refitting new model with df2, diagnostic plots:

df2<-df[-c(81,218,231), ]

res.lm2 <- lm(Criterion ~., data = df2)
summary(res.lm2)

autoplot(res.lm2)

enter image description here

To sum it up, pruning my original matrix and refitting the lm with df2 (now called res.lm2) ...the problematic points are still there (identical plot, identical numbers).

So am doing something wrong - any idea, what is going wrong here?

$\endgroup$
5
  • 3
    $\begingroup$ The three outliers seem to be much smaller problems then your residuals, they are clearly not "random", there are clear patterns. $\endgroup$
    – Tim
    May 27, 2020 at 7:14
  • $\begingroup$ Thanks - how can I fix this? (can I go for log-transformation?) And which impact does it have on my model if this assumption is violated? $\endgroup$
    – Jens
    May 27, 2020 at 7:15
  • 1
    $\begingroup$ The function you called, github.com/sinhrks/ggfortify/blob/master/R/fortify_stats_lm.R, by default it labels the 3 data points with the highest residuals, the option is label.n = 3. Its the same with base R plots $\endgroup$
    – StupidWolf
    May 27, 2020 at 7:30
  • 1
    $\begingroup$ The residuals do look weird, maybe you need to see whats with it..but just to let you know, there will always be 3 points labelled $\endgroup$
    – StupidWolf
    May 27, 2020 at 7:31
  • 1
    $\begingroup$ In view of comments on answers below, describing the criterion as continuous is not justified, The main assumption -- I prefer to say ideal condition -- for regression I regard as being that $Y = Xb$ is a good match for the relationship, in my view not the case here. $\endgroup$
    – Nick Cox
    May 27, 2020 at 9:01

3 Answers 3

4
$\begingroup$

Thanks for posting the data. I've nothing against R, which is great software, but I don't use it routinely. For anyone else like me, the data listing at the end of this answer may be helpful.

The major issues raised by your data and their analysis are not outliers at all, because you don't really have any such.

The major issue is that plain regression is unlikely to be a good idea for your criterion, response or outcome variable. What is a good idea depends on what it is, say a count that is bounded (as the criterion data are negatively skewed but 5 and 6 are common, it seems that 7 is impossible) or a graded variable of some kind.

Setting that aside, simpler diagnostic plots are ... simpler, easy to understand and easier to think about.

Here is a plot of observed versus fitted or predicted, sometimes called a calibration plot. The regression isn't outrageous, but it can't do an outstanding job with these data. I get a maximum predicted value of 6.031, which is disturbing in principle. In general, the regression can't know which values are possible.

enter image description here

Here is a plain residual versus fitted plot, orthodox except that the values of the criterion variable have been used as symbols to flag the (should be) obvious point that the points lie on lines of the form residual $=$ observed $-$ predicted for distinct integer values of the observed.

enter image description here

Your diagnostic plots are clearly folded around residual $= 0$ and otherwise transformed given the standardization. Although those are good plots for thinking about heteroscedasticity, they also distract attention from the more important structure.

In essence, your regression has most trouble with fitting low values of the criterion. That doesn't make any such points bad data points to be omitted, as the fault lies in the model, not the data.

As skewness has been mentioned, here is a histogram. I wouldn't call skewness a big enough deal here to warrant a transformation. It's the relationship between criterion and predictors that needs attention.

enter image description here

I didn't explore whether a simpler model with fewer predictors would be a good idea, as that choice can't tackle the fundamentals here.

ID Criterion Pred1 Pred2 Pred3 Pred4 Pred5 Pred6 Pred7 Pred8 Pred9 Pred10
  1 6    4   3 3.9375 1.666667 2.75  7        5 1.888889  2.625 3.333333
  2 4    5 1.5 4.1875 1.833333 2.75  5        4 3.222222 2.6875        2
  3 6 4.75 4.5   3.75        4    4  9        4        3 2.3125 2.333333
  4 5    4   5 3.9375        2  3.5  8        5 3.444444 2.9375 2.666667
  5 6 4.75   3   2.75 1.333333    2  7        4 1.111111  1.375 3.666667
  6 5    4   2 3.6875 2.833333 4.25  5        4 2.333333 2.9375 2.333333
  7 5    4   4 4.1875        4  3.5  5        4 2.222222   2.75 2.666667
  8 6    3   3  4.625 4.666667    4  7 4.666667 1.444444 1.8125 2.666667
  9 5 3.75 3.5  2.625 3.833333  1.5  2        3 1.888889 2.3125 4.333333
 10 4 3.75 3.5 4.1875 1.166667 2.25  3 3.666667 2.777778 2.1875        3
 11 4  3.5   3  3.125        3 3.25  3        4 2.888889      4 2.333333
 12 5 4.25 4.5  3.375 1.833333 3.75  5 4.666667 1.111111    1.5        3
 13 5 4.25   2 4.1875 2.666667 3.25  8 3.666667 3.111111 1.6875 2.666667
 14 5  3.5   4  4.125        4    4  9 4.333333 1.444444  1.375        2
 15 5    3 3.5  3.375        2  2.5  4        3 2.444444 2.4375        3
 16 6    3   4 3.5625 4.666667 3.25  8 3.666667 2.555556  3.125        3
 17 4  4.5 4.5 2.4375 2.333333  2.5  6 4.333333 1.888889  3.375        3
 18 5    4   4  3.625 2.166667 2.25 11        4 2.444444   2.75        3
 19 6  4.5   2 3.8125        3  3.5  3        4 2.111111 2.0625 2.666667
 20 6 3.75   2    4.5 4.166667  4.5  9 4.333333 2.555556 2.4375        1
 21 5    4   3 2.6875 2.666667    4  3        4 2.777778 3.3125 2.333333
 22 5  4.5   3   4.25      3.5 3.75  2        4 1.444444  2.875 1.333333
 23 4    5   5 4.5625      2.5 3.75  5        4 2.444444 1.3125        2
 24 5    4   4      4        5    5  3        4 1.444444 2.6875        2
 25 6    5 4.5  4.625 3.333333 4.25  6        4 2.444444 1.3125        2
 26 6    4   5  2.375 2.333333 2.25 11        4 2.555556 4.5625        2
 27 5    4 2.5   3.25        3 3.25  6 3.666667 2.555556 1.3125 2.333333
 28 6    3   4 4.5625 1.833333 2.75  6        4 1.333333      2 2.666667
 29 4 3.75   3 3.4375 3.833333    5  0        4 2.111111  2.375 2.333333
 30 5    3   4 3.5625 2.333333  3.5  6        4 3.333333 2.6875        2
 31 6    4 2.5   3.75        4 3.75  6        5 1.444444  1.625 2.333333
 32 5    3 3.5  3.375        2 3.25  3        5 2.444444 2.0625 2.333333
 33 6    5   5  4.625 1.833333    5  5        4 2.555556   2.75 2.666667
 34 4 4.75   3 3.8125      1.5  2.5  4 3.666667 2.555556  1.875        3
 35 5  3.5 2.5  3.375 1.333333  2.5  5        4 1.888889 2.5625 2.333333
 36 6    3   5 4.4375        5    5  2 3.666667 2.333333      2 1.666667
 37 6    3   5  4.125 2.666667  3.5  5        3 1.777778 1.4375        1
 38 6    3   3 4.0625 2.666667 3.75  6        5 1.555556 2.1875        2
 39 6  3.5   3 3.6875      2.5 3.25  6 3.666667 2.222222 1.5625        2
 40 2  3.5 4.5 4.0625 1.833333  3.5  0 4.333333 3.222222  2.875        3
 41 5  4.5   5      4 3.666667    4  6 4.333333 1.333333  1.875        2
 42 4 3.75 4.5   2.25 1.833333 3.25  3        4 3.444444 4.0625 2.666667
 43 5 4.25   4 3.8125 1.666667  2.5  5 3.666667        2 1.0625        3
 44 3 2.75   5   3.75 2.166667 3.25  7 4.333333 1.222222 2.5625 2.666667
 45 6    4 4.5    3.5        1 3.25  2        4 1.777778  1.125 2.666667
 46 3    4   3   3.75 1.833333 2.25  9        4 3.666667 4.1875 3.333333
 47 5 3.25 3.5 3.8125 1.333333  2.5  2        4 2.444444   2.75        4
 48 4    3   5 3.0625      3.5 3.75  7        5        2  3.875 2.666667
 49 5 3.75   5 3.5625 3.166667    3  5 4.333333        2 3.1875 2.666667
 50 5    3   4 4.0625      1.5 2.75  5        4 1.444444   2.25 2.666667
 51 4    3   4  3.875 4.166667 4.25  2 3.333333 2.444444    3.5        2
 52 6 3.75   3 4.4375 3.833333    4 11 3.333333        3 2.0625        3
 53 4    4   3   2.75 3.833333  4.5 11        3 3.444444  4.875 2.333333
 54 4    1 4.5 4.0625        4 4.25  6 3.666667 1.777778    2.5        3
 55 6  4.5   4   3.75        4 4.75  5        4 2.222222   1.75        1
 56 4  3.5 1.5  3.625 2.166667 2.25  4        5 3.777778  2.125 2.666667
 57 6 4.75 2.5   3.75 3.833333 4.25  7 4.666667 2.444444 1.5625 1.333333
 58 5  3.5   5 3.9375 4.833333 4.25 11        4        2 2.0625        2
 59 5 3.75   2 3.3125        2 3.25  6        4        3    3.5 3.333333
 60 5    4   2 4.3125 1.333333    3  6        3 3.555556 1.4375        3
 61 5    4   2    3.5 1.333333 1.75  6        4        3  2.625        3
 62 5  3.5   4 4.4375 2.666667    4 11        4 1.666667  1.125 2.333333
 63 4 2.75 3.5  3.625      2.5  3.5  2 3.666667 1.777778    1.5        2
 64 5    3   4 3.5625 4.333333 4.25  5 3.666667        2  2.125 1.666667
 65 5 2.75   3 2.8125        2    2  5        4 3.111111  3.875 2.666667
 66 4 3.75   4 3.6875      3.5  3.5  7 4.666667 2.888889  3.375 2.666667
 67 4    3 2.5 2.9375 4.833333    5  8 3.666667 1.555556 2.3125 2.666667
 68 5    4   5      3 3.333333 4.75  9 4.333333 1.555556  1.375 2.333333
 69 5 4.25   4 3.9375      4.5 3.75  6        4 1.777778  2.375        3
 70 3    3 3.5 2.8125        1 1.75  4        5 3.333333 2.5625 2.666667
 71 5  3.5   5 4.0625 1.833333 1.75  3 3.666667 1.222222  2.625 4.666667
 72 5 3.25   3      4        2    2  5 3.666667 2.222222  1.625 3.333333
 73 4    4 2.5    2.5 3.666667 4.25  9        4 3.555556      4 2.666667
 74 5 3.75   3   3.75        2    4  7 2.666667 2.888889  2.625 3.333333
 75 4 3.75   3  3.625 2.666667 2.75  7        4 2.888889   3.25 2.666667
 76 5    3 2.5   4.25        3    4  5        5 1.888889  1.375        2
 77 5  3.5   4 3.6875        2  1.5  6        4 1.777778 3.3125        3
 78 6  4.5 2.5 4.1875 4.166667 3.75  2 3.333333 2.222222   1.75        1
 79 4    4   3 2.4375        1    1  3 3.666667 3.444444  3.125        3
 80 6 3.75   5 3.6875      2.5 3.25  8 4.333333 4.222222 2.0625        2
 81 3 4.75   4   4.25 1.666667 3.75  9        3 1.444444 1.4375 1.666667
 82 5  3.5   3      4 4.333333 3.75  5 3.666667 3.333333 3.1875        2
 83 5 3.75   4 4.6875      1.5 2.25  5        4 3.666667   1.25 3.333333
 84 6  3.5 4.5 4.1875 2.666667  3.5  7        4 2.777778 3.0625        3
 85 4    4 4.5      4 4.166667    4  7        4 3.333333  1.625 2.333333
 86 6  4.5 3.5  4.375 4.166667  4.5  7 3.333333 2.777778  3.375        3
 87 5  4.5   2  4.125 2.166667 2.75  2        4 1.888889 2.4375        2
 88 6 3.25 2.5   4.25 4.166667    5  6 4.666667 2.222222 3.6875        1
 89 5    4 2.5 3.0625 1.166667 2.25  2 3.666667 2.111111 3.0625 2.333333
 90 5 3.75   5      4 4.333333    4  5 3.666667 2.333333 2.3125 1.333333
 91 5    4 1.5      4 1.166667    2  4 3.666667 3.333333      2        3
 92 5    5   5  4.625 2.833333 4.25  3 4.333333 2.222222  1.625 2.333333
 93 6  4.5   5  2.625 3.333333    4  7        4 1.888889  2.125 1.666667
 94 5  4.5 2.5   3.25 3.333333 4.25  5        4 3.111111   3.75 2.333333
 95 6 3.75 2.5  3.875 3.333333    4  7 3.666667 2.333333 1.5625 2.666667
 96 5    4   2 4.0625 1.333333    3  6 4.333333 2.888889  2.625 3.333333
 97 5 3.75   4 3.6875        5 4.25  7        4 2.555556 3.5625        1
 98 6    4 3.5   2.75 3.833333    2  9        4 2.777778 3.8125 2.666667
 99 4  4.5   4 3.6875 4.166667  3.5 10        3        1 1.5625 3.333333
100 5    5   4      4        1 3.25  6        3 3.111111 1.3125        2
101 4 3.75   3    3.5      1.5 4.25  6 4.333333 3.444444 2.9375 2.333333
102 6    3   3  3.625 3.666667 3.75  2        4 2.444444 3.3125        2
103 4 3.25   2      3        1    1  2 2.666667 3.222222 3.5625 3.666667
104 5    3   4 4.8125        2    3  7 4.333333 2.222222      1 3.333333
105 4 3.75   3  3.625 1.666667    3  0        5        1      1 2.666667
106 5 3.25 3.5 4.4375      1.5  2.5  2 2.666667 1.222222  1.875 3.333333
107 6    4   3    3.5      1.5    3  5        5 1.666667   2.25 3.333333
108 5    4   2 4.1875 3.833333 4.25  2        5        1  1.875        2
109 6    4 2.5 3.4375 2.833333 2.75  4        4 3.111111   3.25        2
110 4  3.5   4 3.5625 2.833333 2.75  5        4        3 2.5625 2.666667
111 4    4 3.5      3        1    1  4        4 4.666667   3.75        4
112 5    3   3 2.6875        5 2.75  5        4 2.777778   2.25        3
113 5 3.75 4.5 4.8125 3.166667 3.25  5 3.666667 1.888889  1.375        3
114 6    3 3.5    4.5        2 1.75 11        4        1      1        2
115 5 3.25   2 3.3125 1.166667 1.75  8        4 2.555556 1.9375        3
116 5    4 4.5 3.6875        5    5  7        4 2.555556      2 1.333333
117 4    3 4.5      4 1.166667 2.25  9        4 1.222222 3.1875 3.666667
118 6    4   5 4.1875 2.333333 2.75  8        4 2.444444 1.3125 2.666667
119 5  3.5 2.5 3.4375        2    4  8        4 3.444444   2.75 3.333333
120 4 3.25 3.5   3.75 1.666667 2.25  5        4 2.666667 1.9375 3.333333
121 6    4 4.5 3.9375        5    5  2 3.333333 2.111111 1.6875        1
122 5    4   4 3.9375 2.666667 3.75  3        4 1.555556 1.9375        3
123 6 3.25   1   4.75        2 3.75  5 3.666667 1.888889   2.25 2.333333
124 5 3.75   4 3.5625 1.833333  3.5  5 3.666667        2 2.6875 3.333333
125 5 3.75 4.5 4.0625        5    4  2        4 1.777778 1.0625        3
126 5 3.75 3.5    3.5      1.5 2.75 11        4 1.666667 2.1875 2.666667
127 6    4 2.5  3.625 3.333333    4 11 3.666667 2.777778      2 2.333333
128 6  3.5   5 4.6875 2.166667 3.25  7 3.333333 1.777778 1.8125 3.333333
129 4  3.5   4 3.8125 3.166667 3.75  6 4.333333 2.111111  3.125 2.666667
130 6 4.25   4   4.75 2.666667 2.75  2 4.666667 2.333333   1.75 2.666667
131 2  4.5 1.5  4.375 1.166667    3  5 4.666667 3.555556 2.4375 3.666667
132 6    4   5  4.375 1.833333  2.5  5 3.333333 1.888889    1.5 2.666667
133 5  2.5   3   3.75 2.833333    4  2 3.666667 2.666667  1.125 2.333333
134 5    3 4.5  4.125 2.333333    4  2        3 1.111111 1.0625 2.333333
135 5    4 4.5    3.5 1.333333 2.25  8        4 2.777778 1.9375 3.666667
136 4 3.75 4.5 4.5625 2.166667 3.25  3        4 1.333333   1.25        3
137 5 4.25   5    4.5        4 3.75  5        4        3 2.9375 2.333333
138 6    3   4  3.125 2.666667 4.25  8        3 2.666667 3.3125 1.333333
139 5  3.5   3 3.3125 2.666667 3.25  3 3.666667 2.111111 2.3125 3.666667
140 5 4.75   4  3.375        1 2.25  3        3 2.555556  2.375 3.333333
141 4  3.5 3.5      3 1.666667    2  8 4.666667 2.666667    3.5 3.666667
142 4 3.75   2  3.875 1.666667    2  5 3.333333 3.222222 2.5625        3
143 4 4.75   3 3.9375        1    2  5        4 2.888889 1.9375 3.333333
144 6    4   4 2.5625 1.666667  3.5  2        4 2.444444 3.0625        3
145 5    4 3.5   4.25 4.666667 3.75  4 3.666667 2.888889  3.125 2.333333
146 5    3 4.5 3.0625 1.666667  2.5  2 3.666667 2.888889 3.3125 3.666667
147 5 3.75 1.5  3.875      1.5 2.75  4        5 2.444444    3.5        3
148 6    4   5  4.625 3.333333    3  6 3.666667 1.888889 2.3125 3.333333
149 4    5 4.5    4.5        2 2.75  6        3 2.222222      1        3
150 6    4   4 3.9375 2.666667 3.75  6        4 1.777778  1.375        4
151 5 4.25   5      4 2.166667 4.75  8 4.666667 1.777778 1.8125 2.666667
152 4 4.25 2.5 3.9375      1.5    2  3        2 2.777778  3.125        3
153 5    4   4 2.1875 3.333333    3  7 4.333333        3 5.3125        3
154 4    1   3      3 2.666667  3.5  7        3 3.444444   4.75 2.666667
155 4    4 3.5 4.0625 2.166667    3  2        3 1.888889 1.1875 2.666667
156 6    4   4    4.5      4.5 4.75  6        4        2 1.1875        2
157 5 3.75   3 4.4375 2.833333    3  8        4 2.111111 2.1875 2.666667
158 5  3.5   4  3.625 4.833333 3.75  6        4 2.777778 4.8125        3
159 5    5   5  3.375 3.666667 4.25  5 3.333333 2.555556 2.3125 3.333333
160 6    4   5      4 2.833333  3.5  6        4        3  2.125 2.666667
161 5  3.5   4  4.375 1.333333 1.75  5 4.666667 2.222222 2.0625 3.333333
162 5 3.25 3.5 4.1875 3.833333    4  6 3.666667 2.222222   1.25        3
163 5    3   4  2.875        1    1  2        4 3.666667   2.25 3.333333
164 5    4   5 4.1875 2.833333 3.25  5 3.666667 2.555556    1.5        2
165 5  3.5   4  4.125      1.5    2  5 3.666667 1.111111 1.6875        4
166 5  3.5 3.5 4.0625      4.5  4.5  7        4 2.666667 2.4375 2.666667
167 5  3.5   3   4.25 4.333333    5  7        4        2 4.4375        1
168 5 4.25   3 4.5625 3.666667    5  7        4 2.333333   2.25        3
169 5  3.5   3  3.625 3.166667 3.25  5        4 2.111111 1.4375 2.333333
170 5    3 3.5  4.375 3.166667  3.5  3        4        2  1.625        3
171 6  4.5 4.5 2.9375 4.833333 4.75  5 3.333333 2.111111 4.0625 2.666667
172 4 3.75 2.5   4.25 2.833333    3 10        4 2.111111 1.6875 2.333333
173 5 3.25 4.5  4.125 2.666667 3.25  6        4        2 2.1875 2.666667
174 6    5 3.5    3.5 2.166667    3  3        3 2.111111 2.4375 3.333333
175 5    3 4.5 4.3125 4.166667 4.75  1 4.333333 2.444444  2.125        1
176 5    4 4.5 4.3125 2.666667 1.75  6 3.333333 2.222222 2.9375        3
177 4    3   5 2.3125      2.5  2.5  5 4.333333 1.666667      3 2.666667
178 6    4 2.5 3.4375 2.166667 3.75  2        4 2.333333 2.6875 2.666667
179 4  3.5   4 4.1875 4.666667  4.5  8        4 3.444444      1        2
180 6    5 4.5      4        1    1  5        5 3.888889    1.5 2.666667
181 5 3.25   5  3.375      1.5    2  7        4 1.111111 2.0625 2.666667
182 6 3.25   5 3.6875        5    5  9        5 1.888889 2.3125        2
183 6    3   4  4.375 1.833333 4.25  7        4 1.555556   1.25 1.666667
184 3    3   5   2.75 2.666667 3.75  7        5 2.111111 2.1875 2.666667
185 6  4.5 4.5    4.5        2 3.75  6        4 1.777778 1.1875        2
186 5 3.25   4 4.1875      1.5 3.75  3        4 1.555556   1.75        3
187 4 3.25   5  3.875 3.833333 3.75 11 4.333333 2.111111   2.75 2.666667
188 6    3 4.5 4.6875      3.5    5  7 3.666667 1.777778      1        1
189 5 4.25 3.5 3.6875 2.333333 2.25  3 4.333333        2 2.8125 3.333333
190 3 2.75 3.5      4 2.666667  2.5  5        4 3.111111   2.75        3
191 6    5   5      4 1.666667  4.5 11        4 1.222222   1.75 2.333333
192 5 3.25   4  4.125      2.5    4  4 4.666667        2      2        3
193 5    4 4.5   3.75      2.5  3.5  8 4.333333 2.111111 1.6875 2.666667
194 5    3   5 4.6875      4.5    4  4 4.666667 2.111111 1.9375 1.666667
195 5 3.75   3 3.0625 3.333333 3.75  3        5        1      3        2
196 5    3   4  3.625        3    4  4 4.666667 3.222222      4 2.666667
198 6 2.75   5 4.4375        4 4.75  8        4 2.666667 1.6875 2.333333
199 5 4.25 3.5  3.875 2.833333 3.75  4 3.333333 1.777778 1.8125 3.333333
200 6 3.25   4  4.625 2.166667 3.75  9        1 3.444444      1 1.333333
201 5    4 2.5  3.875 1.166667  3.5  3 3.333333 2.666667  2.375 2.666667
202 5  3.5 4.5 3.5625 4.666667    5  7        5 2.888889  1.625        2
203 5 3.75 3.5 4.0625 2.333333 3.75  8 3.666667 2.222222  1.625        2
204 5 3.25   3  3.125 3.333333 3.25 11        4 2.777778 2.3125        3
205 5    5   4 3.9375 2.333333  3.5  6 4.666667 2.111111      2        1
206 6    3   3    3.5      3.5 4.25  8        4 1.222222   2.25        3
207 4    5 3.5 4.4375        2    3  6 2.666667 2.444444  1.875        2
208 5 3.25 3.5 4.4375 2.166667  2.5  3 3.666667 1.222222 1.4375 2.333333
209 4 4.75   5  4.125 1.166667 1.25  5        5 3.222222   2.25 3.333333
210 6 3.25   4 3.9375 3.833333    5  2        4 1.222222 2.8125        1
211 5  3.5 2.5  4.375        3  4.5 10        3 1.111111 1.6875 2.666667
212 2 3.75 1.5 1.9375 1.333333 1.75  6        4 3.777778 5.0625        3
213 3    3   3 3.3125        4 3.75  8 4.666667        3 3.5625 2.333333
214 2  3.5 3.5 3.0625 2.666667 1.75  3        4 3.444444  4.625 3.666667
215 2    3   3  2.625 2.333333  2.5  7        4 4.444444  3.625        3
216 2 3.25 2.5  3.375 1.166667 1.25  5 3.333333 2.444444  3.875 3.666667
217 2    3   5 3.8125 1.833333 2.25  4 4.333333 3.444444  3.125 2.666667
218 1 4.25 2.5 3.0625 4.833333    5  3 4.333333 3.555556 3.4375        2
219 1 3.25 3.5 3.6875 1.666667  2.5  3 4.666667 3.111111  3.125 3.333333
220 3 3.25   4 3.9375 1.833333  1.5  6        4 2.555556 1.8125        3
221 3 3.75 3.5  3.875 1.833333  3.5  3        4        3 1.9375 2.666667
222 3    3 3.5    3.5 1.166667 1.75  4        4        2 4.3125        4
223 2    3   4 2.5625 2.333333 2.75  7 4.666667        3 3.3125 2.666667
224 4    3   5  4.125      3.5 3.25 10        4 1.666667   1.75 2.333333
225 2    3   3 3.3125        2  2.5  5        5 2.444444 3.1875        3
226 3    5   2      3      1.5 1.25  3        4 3.444444  3.875 2.666667
227 2    3 2.5 2.9375 2.166667  2.5  3 3.666667 2.222222    4.5        4
228 3 4.75   4  4.125        3 3.25  7        4 1.777778 1.9375 2.666667
229 3  4.5 4.5  3.875        5    5  8        4 1.666667 1.8125        3
230 1 2.75   3 2.3125      1.5  1.5  2        5 4.222222    4.5        4
231 1    5   3      3 4.166667 4.25  8        4 3.111111   3.25        1
232 3    3   4 3.8125 3.166667 2.75  2 4.666667 4.555556   4.25        2
233 2  3.5 4.5 3.5625 2.833333  2.5  4 4.666667        3 1.9375 3.333333
234 3    3   3 2.5625 1.666667  2.5  8        4 2.555556 2.3125        3
235 3    3 3.5  3.875 2.833333 3.75  3 3.333333        2 2.9375 3.333333
236 2 4.25   3 4.1875 2.166667 2.75  6        4 3.222222 2.8125 3.666667

EDIT 28 May 2020. A closer examination of the data shows up 4 data points that are odd in predictor space but not in terms of the criterion.

enter image description here

$\endgroup$
4
$\begingroup$

As mentioned already in the comments, you successfully deleted the three rows from the data frame, so the labelled points from df2 are new "outliers" (if you want to call them that) after having removed the previous three. You should have a clear goal and strategy in mind for outlier exclusion and reasonable justifications, because it can easily become a highly iterative and arbitrary process. Good references are for example:

  • Barbato, G., Barini, E. M., Genta, G., & Levi, R. (2011). Features and performance of some outlier detection methods. Journal of Applied Statistics, 38(10), 2133-2149.

  • McClelland, G. H. (2014). Nasty data: Unruly, ill-mannered observations can ruin your analysis.

Your residuals look far from random because your dependent variable is all-positive, only has discrete values from 1 to 6, and is highly left-skewed. This looks like a situation where a linear regression in not well suited. Are the outcomes of the Criterion variable categories? Then you could try multinomial regression instead, potentially after clustering some of the low Criterion values with small N together. Are they ordered categories (e.g., ratings or severity scores)? Then ordinal logistic regression should do a good job here.

A suitable transformation if you really want and need to stay on the numerical scale (e.g., if these were counts which can also have values > 6) could be a log-transformation after inverting the variable and thereby the skew (but if the Criterion data are indeed fixed nominal categories this is of course not sensible):

df$Criterion_log <- log(7 - df$Criterion)
$\endgroup$
6
  • 1
    $\begingroup$ This was a nice answer until the last paragraph. It's hard to see that log $y$ or log $[c - y$ could ever be a good idea for categories. $\endgroup$
    – Nick Cox
    May 27, 2020 at 8:22
  • 1
    $\begingroup$ Yes, this why I added the "if you really want and need to stay on the numerical scale", but it certainly is a bad choice if these indeed are categories. They could however also be count measurements for example, and then it might be sensible to allow the model to predict other counts > 6 as well. I added a qualifier to the response, thanks! $\endgroup$
    – stefgehrig
    May 27, 2020 at 8:27
  • 2
    $\begingroup$ Definitely ordinal regression. See the r package ordinal for example. You should also consult a theoretical resource to learn about interpretation and model assumptions. $\endgroup$
    – stefgehrig
    May 27, 2020 at 8:44
  • 1
    $\begingroup$ I agree with ordinal regression as a good idea on this extra information. Sorry about typo in my first comment: should be log $[c - y]$. I was already drafting my answer, $\endgroup$
    – Nick Cox
    May 27, 2020 at 8:49
  • 2
    $\begingroup$ McClelland, G. H. 2014. Nasty data: Unruly, ill-mannered observations can ruin your analysis. In H. T. Reis & C. M. Judd (Eds.) Handbook of Research Methods in Social and Personality Psychology. Cambridge University Press, 608–626. is a fuller reference. I have not read it to be able to endorse it, or otherwise. $\endgroup$
    – Nick Cox
    May 27, 2020 at 9:04
2
$\begingroup$

(This is an R programming issue, not a statistical issue. You need to run this in R and examine the dataset to see what happened.)

The 'outliers' are labelled "81", "218", "231"; however, the rows in the data frame with those names are not the 81st, 218th, and 231st rows in the data frame. That's because there is no row named "197", so the row named "198" is the 197th row in the dataset. When you dropped the 218th and 231st rows, you dropped the rows named "219" and "232". Since the latter two outliers were not dropped, they show up in the subsequent model.

$\endgroup$
2
  • 1
    $\begingroup$ (I wasted a few minutes wondering why I had only 235 observations when the identifiers ran from 1 to 236. Trivial once understood, but....) $\endgroup$
    – Nick Cox
    May 27, 2020 at 16:24
  • $\begingroup$ Sorry folks, my mistake $\endgroup$
    – Jens
    May 27, 2020 at 16:48

Your Answer

By clicking “Post Your Answer”, you agree to our terms of service and acknowledge you have read our privacy policy.

Not the answer you're looking for? Browse other questions tagged or ask your own question.