Reliabilitätsanalyse (100 Rater, 1 Item)

Reliabilitätsanalyse (100 Rater, 1 Item)

Beitragvon mejorixx2 » Do 17. Okt 2024, 11:17

Ich habe eine Frage zur Reliabilitätsanalyse. Wäre super, wenn mir jemand helfen könnte.


100 Rater (Lehrer) bewerteten eine Schülerpräsentation anhand von 5 Kriterien (Einleitung, Blickkontakt usw.). Jeder Rater bewertete jedes Kriterium. Jedes Kriterium wurde auf einer 5er-Intervall-Skala bewertet.

Ich möchte nun die Inter-Rater-Reliabilität für jedes einzelne Kriterium berechnen. Mit anderen Worten: Inwieweit stimmen die Lehrer bei der Bewertung des Kriteriums Blickkontakt überein, zum Beispiel?

Da ich nur die Reliabilität von 1 Item analysieren möchte, glaube ich, dass viele gängige Reliabilitätsmethoden nicht anwendbar sind (Krippendorfs Alpha, ICC).

Meine Frage wäre also, wie ich diese Übereinstimmung/Zuverlässigkeit berechnen könnte? Ich danke Ihnen sehr für eure Hilfe.
mejorixx2
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Mi 25. Sep 2024, 22:43
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Reliabilitätsanalyse (100 Rater, 1 Item)

Beitragvon bele » Do 17. Okt 2024, 13:02

Da kenne ich mich nicht aus. Eine erste Google-Suche fördert wiederholt Kendalls W und ein gewichtetes Fleiss' kappa zutage.
Eine etwas ausführlichere aber noch überschaubare Darstellung vielleicht in der ersten Antwort auf dieser Seite: https://stats.stackexchange.com/questio ... erval-data

Wer es ganz ausführlich und vor allem zitierfähig haben möchte, dem hilft bestimmt das hier (tl;dr;):
https://link.springer.com/article/10.10 ... 21-09386-5 (de Raadt, A., Warrens, M.J., Bosker, R.J. et al. A Comparison of Reliability Coefficients for Ordinal Rating Scales. J Classif 38, 519–543 (2021). https://doi.org/10.1007/s00357-021-09386-5)
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5908
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1397 mal in 1383 Posts

Re: Reliabilitätsanalyse (100 Rater, 1 Item)

Beitragvon strukturmarionette » Do 17. Okt 2024, 15:34

Hi,

Inwieweit stimmen die Lehrer bei der Bewertung des Kriteriums Blickkontakt überein

- bei 100 Zahlen von 1 bis 5 Standardabweichung mit gfs Mittelwert
(das wäre die Antwort)

Gruß
S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 4352
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 32
Danke bekommen: 586 mal in 583 Posts


Zurück zu Reliabilitätsanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste