Fleiss-Kappa
Verfasst: Di 8. Aug 2017, 19:50Guten Abend!
Ich habe in meiner Masterarbeit mehrere Studenten Beweisversuche mit einem Schema bewerten lassen und möchte jetzt gucken, wie hoch die Übereinstimmung in den jeweils einzelnen Teilen/Kriterien des Beweisschemas ist. Da ich 8 Studierende befragt habe, verwende ich das Fleiss-Kappa, da dieses für mehrere Rater geeignet ist.
Ich berechne das Kappa nach den gültigen Formeln, bekomme aber Probleme bzw. unpassende Werte, wenn die Übereinstimmung zu hoch ist.
Jetzt habe ich gelesen, dass man durch Permutation der Stimmverhältnisse / Bewertungsergebnisse das Ergebnis bereinigen oder verbessern kann. Dazu müsste ich aber alle möglichen Permutationen durchgehen und den Mittelwert der jeweiligen Kappas berechnen.
Ist das zunächst richtig? Und wichtiger: Gibt es eine einfachere Möglichkeit das Maß der Übereinstimmung zu berechnen?
Dankeschön im Voraus
Lea
Ich habe in meiner Masterarbeit mehrere Studenten Beweisversuche mit einem Schema bewerten lassen und möchte jetzt gucken, wie hoch die Übereinstimmung in den jeweils einzelnen Teilen/Kriterien des Beweisschemas ist. Da ich 8 Studierende befragt habe, verwende ich das Fleiss-Kappa, da dieses für mehrere Rater geeignet ist.
Ich berechne das Kappa nach den gültigen Formeln, bekomme aber Probleme bzw. unpassende Werte, wenn die Übereinstimmung zu hoch ist.
Jetzt habe ich gelesen, dass man durch Permutation der Stimmverhältnisse / Bewertungsergebnisse das Ergebnis bereinigen oder verbessern kann. Dazu müsste ich aber alle möglichen Permutationen durchgehen und den Mittelwert der jeweiligen Kappas berechnen.
Ist das zunächst richtig? Und wichtiger: Gibt es eine einfachere Möglichkeit das Maß der Übereinstimmung zu berechnen?
Dankeschön im Voraus
Lea