Seite 1 von 1

Interrater-Reliabilität für einzelne Items, kategorial

BeitragVerfasst: Fr 8. Feb 2019, 19:03
von Ann1.0
Hallo Alle,
schon einmal vielen Dank für eure Hilfe.
Ich habe folgende Frage: Ich lasse ca. 100 Items von 5 Beobachtern in jeweils eine von sechs Kategorien einteilen. Das Skalenniveau ist also Nominalskala. Danach möchte ich für jedes Item entscheiden zu welcher Kategorie es am wahrscheinlichsten passt. Wie gut es passt würde ich gerne mit einem statistischen Kennwert angeben. Items, die nicht gut in eine Kategorie passen sollen dann nämlich aussortiert werden.

Eine Tabelle könnte folgendermaßen aussehen:

________Person 1__Person 2__Person 3__Person 4__Person 5__Beurteilerübereinstimmung____Kategorie
Item 1______1_______6________1________1________2______________60%?_______________1? oder keine?
Item 2______3_______4________3________3________3______________80%?_______________3
Item 3______5_______2________2________5________4______________40%?_______________2 oder 5 -> keine
Item 4______1_______1________1________1________1______________100%?______________1
...

In dem Fall würde ich Item 2 und 4 auf jeden Fall aufnehmen. Item 3 wird auf jeden Fall rausgeschmissen. Bei Item 1 weiß ich es nicht genau (vielleicht gibt es einen Normwert dafür?).

Weitere Infos:
- Das Ziel soll letztendlich die Zuordnung von Items zu übergeordneten Faktoren für einen Fragebogen sein.
- Ich gehe davon aus, dass die Kategorien/Faktoren alle etwas miteinander korrelieren, da sie gemeinsam in meinem Fall pychopathologische Symptome erfassen. Aber Faktor 1 und 2 stehen sich nicht näher als Faktor 2 und 5.
- Ich versuch theoriegeleitet Items eines Fragebogens für die Erstellung eines neuen Fragebogens zu verwenden. Das Rating ist ein Expertenrating. Die Experten entscheiden also welches Item wahrscheinlich welches Konstrukt (Faktor) erfasst. Oder auch ob das Items keines der 5 Konstrukte erfasst. Nachdem das Rating erfolgt ist und ich die Items einem Faktor zugeordnet habe, werde ich dann eine Konfirmatorische Faktorenanalyse (KFA) machen. Allerdings nur mit den Items, die eindeutig einem Konstrukt zugeordnet werden konnten. Dadurch kann ich schauen wie gut das Modell passt, oder ob ein Item gar nicht auf dem Faktor lädt.
- Vielleicht könnte man auch für jedes einzelne Item Krippendorffs Alpha zum Beispiel berechnen? Ich suche nach Konventionen, mit denen ich meine Entscheidung begründen kann, damit sie nicht subjektiv entschieden erscheint.

Re: Interrater-Reliabilität für einzelne Items, kategorial

BeitragVerfasst: Do 23. Mai 2019, 12:00
von Andre76
Hallo Ann,

ich bin hier mit einer fast gleichen Fragestellung unterwegs. Schade, dass dir noch niemand geantwortet hat.
Bei meiner Expertenbefragung ist zusätzlich das Problem, es gibt kaum Varinaz innerhalb der Expertenbewertungen. Die Reliabilitätsanalysen bei SPSS reagieren also nicht.
Wie hast du dein Problem bislang gelöst. Ist ja schon ein paar Tage her...

Grüße André