STATISTIK-FORUM.de

[mejorixx2]

Ich habe eine Frage zur Reliabilitätsanalyse. Wäre super, wenn mir jemand helfen könnte.


100 Rater (Lehrer) bewerteten eine Schülerpräsentation anhand von 5 Kriterien (Einleitung, Blickkontakt usw.). Jeder Rater bewertete jedes Kriterium. Jedes Kriterium wurde auf einer 5er-Intervall-Skala bewertet.

Ich möchte nun die Inter-Rater-Reliabilität für jedes einzelne Kriterium berechnen. Mit anderen Worten: Inwieweit stimmen die Lehrer bei der Bewertung des Kriteriums Blickkontakt überein, zum Beispiel?

Da ich nur die Reliabilität von 1 Item analysieren möchte, glaube ich, dass viele gängige Reliabilitätsmethoden nicht anwendbar sind (Krippendorfs Alpha, ICC).

Meine Frage wäre also, wie ich diese Übereinstimmung/Zuverlässigkeit berechnen könnte? Ich danke Ihnen sehr für eure Hilfe.

[bele]

Da kenne ich mich nicht aus. Eine erste Google-Suche fördert wiederholt Kendalls W und ein gewichtetes Fleiss' kappa zutage.
Eine etwas ausführlichere aber noch überschaubare Darstellung vielleicht in der ersten Antwort auf dieser Seite: https://stats.stackexchange.com/questio ... erval-data

Wer es ganz ausführlich und vor allem zitierfähig haben möchte, dem hilft bestimmt das hier (tl;dr;):
https://link.springer.com/article/10.10 ... 21-09386-5 (de Raadt, A., Warrens, M.J., Bosker, R.J. et al. A Comparison of Reliability Coefficients for Ordinal Rating Scales. J Classif 38, 519–543 (2021). https://doi.org/10.1007/s00357-021-09386-5)

[strukturmarionette]

Hi,

Inwieweit stimmen die Lehrer bei der Bewertung des Kriteriums Blickkontakt überein

- bei 100 Zahlen von 1 bis 5 Standardabweichung mit gfs Mittelwert
(das wäre die Antwort)

Gruß
S.