Übereinstimmung mehrere Rater, eine dichotome Kategorien

Übereinstimmung mehrere Rater, eine dichotome Kategorien

Beitragvon julio » Mi 31. Jan 2018, 13:54

Hallo zusammen,

ich habe im Rahmen meiner Bachelorarbeit 32 Versuchspersonen 8 Animationen bewerten lassen ob sie für bestimmte Anwendungsfälle in Frage kommen (10 Anwendungsfälle).
Ich habe also 32 Rater, die jeweils 80 Fälle mit "kommt in Frage" oder "kommt nicht in Frage" bewertet haben.
Nun möchte ich herausfinden, ab welchem Prozentsatz für "kommt in Frage" die Eignung einer Animation berichtenswert ist.
Wie kann ich dazu herausfinden, wie hoch jeweils die Raterübereinstimmung für "kommt in Frage" ist?
Cohens bzw. Fleiss' Kappa scheinen für mich nicht in Frage zu kommen.

Besten Dank und viele Grüße
julio
julio
Einmal-Poster
Einmal-Poster
 
Beiträge: 1
Registriert: Mi 31. Jan 2018, 13:35
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Übereinstimmung mehrere Rater, eine dichotome Kategorien

Beitragvon bele » Mi 31. Jan 2018, 14:39

Hallo Julio,

julio hat geschrieben:Nun möchte ich herausfinden, ab welchem Prozentsatz für "kommt in Frage" die Eignung einer Animation berichtenswert ist.


das ist aber doch keine Frage nach einem Übereinstimmungsmaß. Das ist doch eine inhaltliche Frage: Wem will ich was berichten und was will der Hören? Wenn das 32 Werbefirmen sind und eine will die Animation kaufen, dann ist das eine für den Animationsmacher berichtenswerte Information. Wenn es darum geht, dass alle 32 Rater sich am Ende auf eine Animation einigen und ein einstimmiges Urteil fällen müssen, dann sollte man vielleicht nur die drei Animationen mit den besten Ergebnissen berichten.

Vielleicht willst Du die Fragestellung nochmal überdenken?

Zweite Frage: Was spricht gegen Fleiss' ?

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 2870
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 10
Danke bekommen: 600 mal in 592 Posts

folgende User möchten sich bei bele bedanken:
julio


Zurück zu Reliabilitätsanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste