I am trying to calculate the Fleiss' Kappa of the following data and I got the result:
[[0 0 3]
[0 1 2]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 1 2]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 1 2]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]
[0 0 3]]
3 raters.
27 subjects.
3 categories.
p = [0.0, 0.037037037037037035, 0.9629629629629629]
P = [1.0, 0.3333333333333333, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.3333333333333333, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.3333333333333333, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0]
Pbar = 0.925925925926
PbarE = 0.928669410151
kappa = -0.0384615384615
However, the ratings of the 3 raters obviously have huge agreement: nearly all of the 27 items got rating "3".
I am really confused...Can someone explain this to me please?