STATISTIK-FORUM.de

Guten Morgen,

ich habe eine Frage zur Berechnung der Interrater-Reliabilität.
Ich habe einen Fragebogen (eine Kurzversion eines anderen Fragebogens, der bisher nicht validiert wurde), der aus 5 Sektionen besteht. Nun möchte ich die Übereinstimmung zweier unabhängiger Rater berechnen. Ursprünglich dachte ich, ich könne dazu einfach Cohens Kappa verwenden; nun glaube ich aber gelesen zu haben, dass das nur möglich ist, wenn alle verwendeten Items die selbe Anzahl an Antwortmöglichkeiten haben (also man beispielsweise jedes Item mit ja oder nein beantworten kann). In meinem Fall gibt es jedoch unterschiedliche Antwortformate: offene Antworten (die müsste ich dann eventuell in Kategorien umkodieren), viele "trifft zu - trifft nicht zu - unbekannt" - Formate (also 3 Kategorien) und teilweise auch bis zu 10 Auswahlmöglichkeiten (beispielsweise "Art der Ausbildung").
Ist es trotzdem möglich, die IRR mit Cohens Kappa zu berechnen und schlichtweg zu schauen, ob die beiden Rater die gleiche Antwort oder eine unterschiedliche Antwort gegeben haben?

Falls ich relevante Infos vergessen haben sollte, entschuldige ich mich schon im Voraus - vielen Dank für eure Antwort!

Liebe Grüsse,
Sofie

Hi,

nun glaube ich aber gelesen zu haben

- hmm? ja glaube oder nicht glaube? wo denn? was denn?

Ist es (...) möglich, die IRR mit Cohens Kappa zu berechnen

- wahrsch nein.

Falls ich relevante Infos vergessen haben

- das übliche: Variablen- und Stichprobenbeschreibungen und s.o.

Gruß
S.