Seite 1 von 2

Rater-Übereinstimmung

BeitragVerfasst: Mi 9. Apr 2014, 15:19
von vogel1701
Hallo, ich brauche einmal eure Hilfe und zwar habe ich einen Datensatz bei dem 6 standardisierte Patienten jeweils einen Studierenden hinsichtlich seiner Empathie bewertet haben. Insgesamt waren es 30 Studis also insgesamt 180 Bewertungen (10 Items). Diese Studis habe ich mit dem gleichen Bogen ebenfalls aus Situation der Patienten auch bewertet (also noch einmal 180 Bewertungen). Nun möchte ich wissen, ob sich meine Bewertungen von denen der standardisierten Patienten unterscheiden. Welches Verfahren ist dafür am besten anzuwenden? Ich hoffe, Ihr könnt mir antworten, bin nämlich gerade ziemlich verzweifelt und unter Zeitdruck. Bis Sonntag Vormittag muss das Abstract fertig sein.
Viele Grüße

Re: Rater-Übereinstimmung

BeitragVerfasst: Mi 9. Apr 2014, 18:55
von PonderStibbons
180 Bewertungen (10 Items).

Was für Antwortskalen, binär, ordinal, intervall?
Und die 6 Patienten haben sich jeweils auf eine gemeinsame Bewertung geeinigt?

Mit freundlichen Grüßen

P.

Re: Rater-Übereinstimmung

BeitragVerfasst: Mi 9. Apr 2014, 23:07
von vogel1701
Intervall-skaliert (10 Items - 1 trifft voll und ganz zu bis 5 trifft überhaupt nicht zu). Nein die 6 Patienten haben jeweils nach der Konsultation ihr eigenes Urteil abgegeben und sich nicht vorher geeinigt.
Bin gespannt auf Ihre Antwort.


Viele Grüße

D.

Re: Rater-Übereinstimmung

BeitragVerfasst: Do 10. Apr 2014, 09:29
von PonderStibbons
http://www-users.york.ac.uk/~mb55/meas/ba.htm
Der einzelne Beurteiler ist je eine method of clinical measurement.

Mit freundlichen Grüßen

P.

Re: Rater-Übereinstimmung

BeitragVerfasst: Do 10. Apr 2014, 11:43
von vogel1701
Vielen Dank für Ihre Antwort. Diese Methode kenne ich so gar nicht und wenn ich das richtig sehe, dann ist es eine ausschließlich graphische Methode. Würde sich auch ein ICC anbieten?

Viele Grüße

Re: Rater-Übereinstimmung

BeitragVerfasst: Do 10. Apr 2014, 12:03
von PonderStibbons
Die im OP beschriebene Fragestellung war ein Vergleich
von jeweils 2 Beurteilern, ICC sind für k > 2 Beurteiler.

Mit freundlichen Grüßen

P.

Re: Rater-Übereinstimmung

BeitragVerfasst: Do 10. Apr 2014, 12:26
von vogel1701
Im Prinzip sind es aber ja 7 Beurteiler. 6 Patienten und ich. Würde ICC dann in Frage kommen?

Re: Rater-Übereinstimmung

BeitragVerfasst: Do 10. Apr 2014, 12:50
von PonderStibbons
Die initiale Frage war
Nun möchte ich wissen, ob sich meine Bewertungen von denen der standardisierten Patienten unterscheiden

Das ist keine Fragestellung für einen ICC, zumindest soweit ich sehe.
Bei dem geht es darum, wie hoch der Grad der Übereinstimmung über
alle 7 Beurteiler hinweg ist.

Mit freundlichen Grüßen

P.

Re: Rater-Übereinstimmung

BeitragVerfasst: Do 10. Apr 2014, 12:58
von vogel1701
Ah ok jetzt verstehe ich den Unterschied. Ja die initiale Frage war und ist weiterhin die oben angegebene. Gibt es noch ein anderes Verfahren?

Viele Grüße

Re: Rater-Übereinstimmung

BeitragVerfasst: Do 10. Apr 2014, 13:37
von PonderStibbons
Signifikanztests sind hier fehl am Platz. Dass der Unterschied
zwischen Beurteilern exakt = 0.00 ist, das ist keine ernstlich in Betracht
zu ziehende Hypothese. Sie durch einen Test zu verwerfen, ist lediglich
eine Frage ausreichender Stichprobengröße/Datenmenge. Von Interesse
ist dagegen meist das Ausmaß von Unterschiede (nicht, wie gesagt,
OB systematische Unterschiede bestehen). Wie man dies erfasst, steht in
dem verlinkten Dokument. Man kann solche paarweisen Vergleiche auch
6mal machen und dann einen Überblick geben über die Ergebnisse
dieser 6 paarweisen Vergleiche. Warum die Frage überhaupt lautet,
inwieweit 1 Untersucher und die 6 ursprünglichen Beurteiler übereinstimmen,
weiß ich nota bene nicht. Wenn die ominöse Chefin aber Mittelwertvergleiche
möchte, kann man das ja durchaus machen und ein Effektstärkemaß
angeben (Cohen's d zum Beispiel), um die Mittelwertunterschiede
zu charakterisieren.

Mit freundlichen Grüßen

P.