STATISTIK-FORUM.de

[mejorixx2]

Ich möchte die Validität eines entwickelten Beurteilungsraster mit 9 Kriterien testen, indem ich eine Faktorenanalyse mache. Es ist ein Beurteilungsraster, um Präsentationen zu beurteilen.

Was habe ich für Daten:
50 Personen beurteilten mit dem Raster jeweils 4 Präsentationen

Meine Frage:
Ich möchte nun eben eine Faktorenanalyse machen, um die zugrundeliegende Faktorenstruktur zu sehen. Muss ich nun aber für jede Präsentation einzeln eine Faktorenanalye machen oder darf ich die 4 Präsentationen zusammennehmen.

Ich würde sie natürlich gerne zusammennehmen, weil ich dadurch mehr Datenpunkte habe. Aber ich weiss nicht, ob das bezüglich Vorgehen legitim wäre. Wenn ich sie zusammenfügen würde, würde ich die Daten in SPSS so aufbereiten (siehe Bild/Link). Aber eben, bin nicht sicher, ob das bezüglich Vorgehen überhaupt korrekt wäre. Wäre super, wenn jemand helfen könnte.

[PonderStibbons]

Ich bin kein Fachmann für Faktorenanalysen, aber nach allem, was ich bisher gelesen habe, ist es nicht
möglich, eine exploratorische Faktoranalyse mit Messwiederholungsdaten durchzuführen. Angeblich lassen
sich damit konfirmatorische Faktoranalysenrechnen.

Was nahe läge, ich aber noch nie gesehen habe, wäre die Durchführung von mehreren (hier: 4) EFAs
und dann Darstellung, ob die Ergebnisse stabil bleiben, also z.B. die Itemzuordnungen zu den
Faktoren gleich bleiben.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hallo!

https://stats.oarc.ucla.edu/spss/output ... -analysis/ schreibt

Factor analysis is a technique that requires a large sample size. Factor analysis is based on the correlation matrix of the variables involved, and correlations usually need a large sample size before they stabilize. Tabachnick and Fidell (2001, page 588) cite Comrey and Lee’s (1992) advise regarding sample size: 50 cases is very poor, 100 is poor, 200 is fair, 300 is good, 500 is very good, and 1000 or more is excellent. As a rule of thumb, a bare minimum of 10 observations per variable is necessary to avoid computational difficulties.

Mit anderen Worten: Je nachdem für welche Daumenregel man sich entscheidet sind die 50 Beobachtungen für 9 Kriterien entweder richtig schlecht ("very poor") oder einfach zu wenig (9x10 > 50). Deshalb überzeugt mich PonderStibbons' Idee, mit vier viel zu kleinen Stichproben zu rechnen und dann die Ergebnisse zu vergleichen, diesmal nicht. Was ist denn unser Problem ? Wir haben Angst, dass es bei einigen Personen einen Zusammenhang zwischen Kriterium 2 und 3 gibt der dann in einer Faktorenanalyse mit allen Beobachtungen fälschlich eine Faktorenstruktur mit Zusammengehörigkeit von Kriterium 2 und 3 ergibt. Bessert sich dass, wenn wir vier Analysen rechnen, aber die Personen die gleichen bleiben und damit auch der Scheinzusammenhang zwischen Kriterium 2 und 3 bleibt?

Getreu dem alten Satz "Alle Modelle sind falsch, aber manche sind nützlich" würde ich angesichts der kleinen Stichprobe dazu neigen, den Fehler bewusst zu begehen und das als Einschränkung im Ergebnis zu diskutieren. Eine fragwürdige Auswertung mit ausreichend Beobachtungen scheint mir persönlich die bessere Datenverwertung als sich von vorneherein mit zu wenig Beobachtungen in die Analyse zu stürzen.

Wenn die Faktorenstruktur verwaschen und unklar ist, dann wird man mit n = 50 nichts erreichen können und wenn sie ganz deutlich ist, dann kann man sie vielleicht auch vorhersehen und mit einer Konfirmatorischen Faktorenanalyse bestätigen. Dazu weiß ich nichts, aber "confirmatory factor analysis reapeated measures" führt bei Google zu einigen Treffern.

Viele Grüße,
Bernhard

[mejorixx2]

Vielen Dank für eure hilfreichen Antworten.

Noch eine Nachfrage. Wenn ich jetzt ein anderes, umgekehrtes Design hätte: 4 Rater beurteilen 60 Präsentationen.
Das wäre dann nicht ein Fall für eine Faktorenanaylse mit "repeated measures", oder? Hier würde ich ja auch alle Präsentationen zusammennehmen und nicht einzeln betrachten. Weshalb wäre das bei diesem Fall machbar, was ist der Unterschied?

[bele]

Hallo mejorixx2,

für die meisten statistischen Verfahren unterstellst Du, dass Deine Beobachtungen "i. i. d." sind. das steht für "independend" und "identically distributed". "Independend" bedeutet: Wenn ich ein Element aus der Grundgesamtheit ziehe, dann ist das Ergebnis unabhängig davon, welches Element ich vorher gezogen habe. "Identically distributed" heißt, die Grundgesamtheit hat eine gewisse Verteilung und jedes neu gezogene Element wird aus genau dieser Verteilung gezogen. Wenn ein Rater 60 Präsentationen schaut und jede dieser Präsentationen ist eine Zufallsauswahl aus den unendlich vielen denkbaren Präsentationen, dann kann das eine i.i.d. Auswahl sein. Wenn der Rater aber 60 Mal die gleiche Präsentation ratet, dann habe ich den Raum der unendlich vielen denkbaren Präsentationen viel weniger ausgeleuchtet. Seine Ratings werden viel ähnlicher sein, viel weniger streuen, wenn er 60x die gleiche Präsentation ratet als wenn er 60 voneinander unabhängig gezogene Präsentationen ratet und weil die Ratings alle so ähnlich sind, wirst Du dem Durchschnittsrating viel zu sehr vertrauen.

In Deinem Fall, 50 Personen bewerten 4 Präsentationen, rechnet der Computer so, als ob Du Informationen von 200 Personen hättest, obwohl Du den Raum denkbarer Personen nur mit 50 und nicht mit 200 Stichproben ausgeleuchtet hast. Wenn jetzt alle Menschen der Grundgesamtheit die gleiche Faktorenstruktur in Deinen Ratings befolgen, dann macht es keinen Unterschied. Wenn das Befolgen der Faktorenstruktur sich aber zwischen den Menschen unterscheidet, dann ist Deine Stichprobe mit 50 halt sehr viel kleiner als mit 200 und daher wirst Du Deinen Beobachtungen unangemessen viel Bedeutung beimessen. Es kann Dir also keiner so genau sagen, ob Du mit den 4x50 wirklich einen Fehler machst, aber Du hast eine Voraussetzung des Verfahrens vernachlässigt, ohne die dessen Ergebnisse nicht mehr valide sein müssen.

Ist kompliziert. Hat diese Erklärung geholfen?

GLG,
Bernhard

[mejorixx2]

Nochmals vielen Dank. Ich glaube ich verstehe.

Ich hätte nochmals eine Frage, zur ähnlichen Thematik "Darf ich die 4 Präsentationen zusammenfügen oder muss ich sie einzeln betrachten?"

Dieses Mal möchte ich aber die interne Konsistenz von meinem Raster anschauen (= Cronbach's Alpha). Ich nehme an, dass es hier das gleiche "Problem" ist. Oder wäre es hier problemlos möglich, alle Präsentationen zusammenzufügen, um so die interne Konsistenz des Rasters zu eruieren?

Liebe Grüsse