STATISTIK-FORUM.de

[PeterPan1995]

Hallo zusammen,

ich bitte um Hilfe in diesem konkreten Fall:

Für meine Master-Thesis habe ich einen Fragebogen erstellt. Ein Kompetenzkonstrukt weist mehrere Dimensionen auf (z. B. Einstellungen, Fertigkeiten, Wissen),
welche unabhängig voneinander gemessen werden sollen, vorwiegend über Ratingskalen.

Zur Erstellung des Fragebogens habe ich größtenteils auf erprobte Skalen aus der Literatur zurückgegriffen, welche ich allerdings großteils vom Englischen ins Deutsche
übersetzt habe. Der Pretest wurde an einer kleinen Stichprobe n=12 durchgeführt. Die Grundgesamt umfasst lediglich ca. 120 Personen.

Für 3 Skalen konnte ich nach Eliminierung einzelner, nicht trennscharfer Items relativ gute Werte für Cronbachs alpha ermitteln (> 0.8).

Eine Skala ("Einstellungen") weist bei mir jedoch nur ein alpha von .2 auf.
Die Skala (14 Items) hat im Original 2 invertierte Items. Sie geht von 1= hohe Zustimmung bis 5= keine Zustimmung.
12 Items sind mit einem - versehen, d. h. es wird erwartet, dass diesen Items nicht zugestimmt wird.
2 Items sind mit einem + versehen, d. h. es wird erwartet, dass diesen zugestimmt wird.
Der Autor ermittelte an der Normstichprobe ein noch akzeptables Cronbachs alpha von .66.

Jetzt habe ich aber bemerkt, dass ich in meinem Fragebogen die Skalenbeschriftungen vertauscht habe, d. h. 1=keine Zustimmung bis 5= hohe Zustimmung.

Muss ich nun die 2 Items (+) oder die 12 Items (-) invertieren? Ich habe beide Varianten probiert, bekomme jedoch kein befriedigendes Ergebnis für alpha.
Teilweise ist das Ergebnis sogar negativ.

Was mir auch nicht so ganz klar ist:

Macht es überhaupt Sinn, bei Skalen, die aus der Literatur übernommen werden, eine Itemanalyse vorzunehmen? Schließlich wurden diese Skalen ja bereits
erprobt und in verschiedenen Studien eingesetzt. Einige Autoren übernommen diese dann unreflektiert für die eigene Untersuchung. Ist es überhaupt sinnvoll,
diese Skalen durch Auslassung einzelner Items zu verändern?

[PonderStibbons]

Macht es überhaupt Sinn, bei Skalen, die aus der Literatur übernommen werden, eine Itemanalyse vorzunehmen? Schließlich wurden diese Skalen ja bereits erprobt und in verschiedenen Studien eingesetzt.

Einerseits ergibt es sehr viel Sinn, weil die Kennzahlen populationsabhängig sind.
Andererseits ergibt es meist dann wenig Sinn, wenn man ein bereits erprobtes
Instrument verwendet, weil man nicht immer das Rad neu erfinden muss.

Ist es überhaupt sinnvoll, diese Skalen durch Auslassung einzelner Items zu verändern?

Auf Basis von n=12? Das ist sehr heroisch. Zumal dadurch jedwede Vergleichbarkeit
mit anderen Studien und Referenzwerten entfällt.

Mit freundlichen Grüßen

PonderStibbons

[PeterPan1995]

Zunächst einmal vielen Dank für deine schnelle Antwort.

Okay, ich glaube, ich habe hier einen Denkfehler gemacht...

Meine Untersuchung ist eine Vollerhebung, d. h. alle 120 Probanden werden befragt. In der Arbeit habe ich so argumentiert, dass
aufgrund der relativ kleinen Grundgesamtheit keine Stichprobe gezogen wird, sondern gleich alle Untersuchungsobjekte einbezogen werden.

Ich habe meinen Fragebogen (Kombination aus Leistungstest und verschiedener Rating-Skalen) im Rahmen eines Pretests von den Teilnehmern n=12
im Hinblick auf verschiedene qualitative Merkmale hin (z. B. Verständlichkeit, Bearbeitungsdauer) bewerten lassen ("Kognitives Pretesting light", quasi).
Es handelt sich hier nur um eine Gelgenheitsstichprobe, keine Zufallsauswahl.

Jetzt habe ich (naiv wie ich bin) angenommen, dass ich mit dieser Gelegenheitsstichprobe die verwendeten Skalen auch auf Reliabilität prüfen kann...
Ich habe 2 Skalen mithilfe von Items aus der Literatur gebildet, eine Skala direkt übernommen (aber übersetzt aus dem Englischen!)
und ca. 50% der Items eines normierten Leistungstests einbezogen (der Verfasser schreibt, dass man den Test auch teilweise verwenden kann).

Müsste ich dann die Vollerhebung quasi doppelt durchführen, um aussagekräftige Werte zu erhalten? Das ginge ja gar nicht, weil die Teilnehmer dann bereits
alle Wissensfragen kennen würden... -> Verzerrung der Ergebnisse.

Oder sollte ich im Rahmen des Pretests einfach gar keine psychometrische Daten ermitteln und diese Werte stattdessen erst auf Basis der Hauptuntersuchung N=120
in der Arbeit angeben? Dann hätte ich bis auf die o. g. qualitative Aspekte jedoch keine Möglichkeit, den Fragebogen zu verbessern.

Jetzt bin ich leicht überfragt.

[PeterPan1995]

PS: Habe mich hier an Döring / Bortz (2016) gehalten:

"Die letzte Stufe der Fragebogen-Überprüfung ist der quantitative Pretest. Hier füllt eine kleine Teilmenge (z. B. n = 40) der Zielpopulation, die später nicht an der Hauptuntersuchung teilnimmt, den Fragebogen aus." [...] "Enthält der Fragebogen Itembatterien, die zu Skalengesamtwerten zusammengefasst werden sollen, so können psychometrische Kennwerte wie z. B. Item-Trennschärfen etc. geprüft werden."

Ich dachte n=12 wäre bei N=120 diese "kleine Teilmenge".

[PonderStibbons]

Persönlich würde ich auf der Basis von n=12 keine Messinstrumente anhand von Kennwerten basteln.
Ich würde das auch als Gutachter nicht akzeptieren. Die Standardmessfehler sind zu groß. Anhand der
Untersuchungsstichprobe, die man zur Beantwortung der substanziellen Fragen benutzt, kann man nicht
zugleich die Messinstrumente entwickeln bzw. revidieren, wie auch Bortz/Döring meinen. Meines
Erachtens bietet sich an, die Messinstrumente zwar an der Gesamtstichprobe zu überprüfen mit
Verfahren wie Cronbachs alpha, um sich ein Bild über die Qualität der Messungen zu machen, sie aber
eben so zu belassen, wie man sie übernommen hat.

Mit freundlichen Grüßen

PonderStibbons

[PeterPan1995]

Herzlichen Dank!

Ich werde es nun so machen, dass sich die Daten (Rückmeldungen der Teilnehmer) aus dem Pretest nur für eine qualitative Validierung des Instruments verwende
und erst im Rahmen der Hauptuntersuchung quantitative Daten auswerte.

[PeterPan1995]

Ich habe jetzt nochmals Cronbachs Alpha berechnet auf Basis von bislang n=70 Teilnehmern (hoffe am Ende ca. 100 zu erreichen).

Skala 1: alpha=0.87
Skala 2: alpha=0.78
Skala 3: alpha=0.55

Bei der dritten Skala berichtet aber auch der Autor in der Literatur von einer relativ geringen Reliabilität. Er wies ca. alpha=0.65 aus.