STATISTIK-FORUM.de

Hallo ihr Lieben,

ich habe eine Prä-Post-Studie (n = 199) durchgeführt und dabei einen von einer Doktorandin entwickelten Test verwendet. Der Test besteht aus 5 Skalen mit 7-12 Items. Die Reliabilitätsanalyse gibt mir jedoch sehr niedrige Werte für Cronbachs Alpha aus (alles unter .50, teilweise .20). Was kann ich in diesem Fall tun?

Noch etwas: Ich habe die Antworten mit 0 (= falsch) und 1 (= richtig) kodiert sowie fehlende Antworten mit 99. Definiere ich diese fehlenden Werte jedoch nicht als solche, habe ich super Reliabilitäten. Wie kommt das?

Vielen Dank für Eure Hilfe!
Isa

Definiere ich diese fehlenden Werte jedoch nicht als solche,

Was meinst Du damit? Dass "99" als echter Wert behandelt wird?

habe ich super Reliabilitäten.

Was heißt das konkret?

Nebenbei, wieviele von n=199 Probanden haben mindestens 1 fehlenden Wert?

Mit freundlichen Grüßen

PonderStibbons

Genau, wenn 99 als echter Wert behandelt wird, ist Cronbachs Alpha über .99.

Zu Zeitpunkt T1 n = 44, zu T2 n = 37.

Liebe Grüße und danke für Deine Hilfe!

Da 99 ein fehlender Wert ist, sind Betrachtungen über alpha
unter Einschluss von 99 doch müßig.

Was das Problem zu niedriger interner Konsistenz angeht, so
hängt dessen Behandlung vom Hintergrund und den Fragestellungen
der Studie ab. Man kann natürlich versuchen, höhere Werte zu basteln,
indem man Items aus den Skalen entfernt, welche den alpha-Wert
verringern; allerdings ist es im Allgemeinen nicht sinnvoll, das
Messinstrument anhand genau derselben Stichprobe zu entwickeln
bzw. zu modfizieren, mit deren Hilfe man die inhaltlichen
Studienfragen klären will.

Wie sieht denn die retest-Reliabilität aus bzw. wie hoch sind
die Korrelationen der einzelnen Skalen von t1 mit t2?

Mit freundlichen Grüßen

PonderStibbons

Vielen Dank für Deine erneute Antwort!

Die Retest-Reliabilität ist auch unterdurchschnittlich (unter .40). Dies kann aber auch damit zu tun haben, dass meine Probanden*innen unterschiedliche Wissensentwicklungen zwischen t1 und t2 durchgemacht haben, oder?

Wenn die Gruppe sich nicht insgesamt gleichmäßig verändert hat, senkt das den Korrelationskoeffizienten, richtig.

Ich weiß ja nun nicht, woran die niedrige interne Konsistenz liegt. Es könnte sein,
dass Deine Stichprobe zu wenig Varianz hat und das die Koeffizienten runterdrückt.
Oder die Skalen sind tatsächlich nix. In letzterem Fall wäre zu überlegen, ob Du
Deine Studienfragen auch Item-weise bearbeiten kannst.

Mit freundlichen Grüßen

PonderStibbons

Ich hoffe, das kommt jetzt nicht falsch rüber: Hast Du geprüft, ob Items umgekehrt gepolt sind und umkodiert werden müssen? Sowas kann einem auch das Alpha verhageln.

JMTC,
Bernhard

Lieber Bernhard,

vielen Dank für Deinen Beitrag! Nein, kein Ding! Ich habe die Items alle umkodiert. Meine durchschnittlichen Leistungswerte sind sogar noch höher als die Mittelwerte in der Pilotstudie. Das kann es also leider nicht sein

Besten Dank trotzdem!

Lieber PonderStibbons,

vielen, lieben Dank für die nützlichen Hinweise! Das war wirklich sehr hilfreich!