STATISTIK-FORUM.de

[Matrix]

Hallo liebes Forum,

ich stehe gerade vor folgendem Problem: Ich möchte einen Test konstruieren, der zur Bewertung eines Objekts verwendet werden soll. Das heißt: Mehrere Versuchspersonen beantworten einen Fragebogen mit verschiednen Items, um damit das Objekt zu bewerten (z.B. "Das Objekt sieht gut aus" - Antwortmöglichkeiten auf einer fünfstufigen Skala von "trifft überhaupt nicht zu" bis "trifft völlig zu"). Von Interesse ist am Ende also nicht der Testwert des einzelnen Testteilnehmers, sondern der Gesamtmittelwert der Urteile, die alle Testteilnehmer für das Objekt abgegeben haben.

Nun würde ich gerne eine Reliabilität ermitteln, um damit ein Konfidenzintervall für die Bewertung des Objekts anzugeben. Allerdings habe ich den Eindruck, dass mir die herkömmlichen Reliabilitätsmaße hierbei nicht weiterhelfen, da mich ja nicht der wahre Wert der einzelnen Personen interessiert, sondern ich nur den Gruppenmittelwert schätzen möchte. Hinzu kommt, dass der Fragebogen aus sehr unterschiedlichen Items besteht, sodass beispielsweise eine Berechnung mit Cronbach's Alpha kaum sinnvoll wäre.

Meine Überlegung war nun: Ich würde den Fragebogen einer mittelgroßen Stichprobe vorlegen und beispielhafte Objekte bewerten lassen. Die Daten würde ich dann so auswerten, dass nicht jede Person mehrere Items beantwortet, um ein Konstrukt zu erfassen, sonder dass das Items selbst das Konstrukt ist, das von mehreren Personen beantwortet wird, um erfasst zu werden. Mit anderen Worten wären in meinem Fall also die Objekte die "Testteilnehmer", deren wahren Wert ich ermitteln will, während die Testfehler dadurch entstehen, dass verschiedene Testteilnehmer das Objekt "falsch" einschätzen. Meiner Idee nach könnte ich dann die Reliabilität eines einzelnen Items berechnen, indem ich die Testwerte aller Testteilnehmer in zwei randomisierte Hälften zerlege und ihre Korrelation berechne. Also: nicht den Test in zwei Item-Hälften, sondern in zwei Probanden-Hälften teilen.

Bin ich gerade vollkommen auf dem Holzweg oder wäre das Vorgehen eurer Meinung nach sinnvoll? Und falls es so nicht funktioniert, kennt ihr dann eine andere Methode?

Vielen Dank Euch im Voraus!
Matrix

[PonderStibbons]

Wenn mehrere Personen mehrere Objekte bewerten, dann ist vielleicht der Intraclass Correlation Coefficient das was Du suchst. Kann mich aber auch irren.

Mit freundlichen Grüßen

PonderStibbons