STATISTIK-FORUM.de

[Nanina]

Hallo zusammen,

ich habe in dem Sinne kein Rechenproblem, sondern eher ein Rechtfertigungsproblem...

Ein Paper von mir ist gerade in der zweiten Revision, 2 von 3 Reviewern sind jetzt mit allem einverstanden, nur der Dritte hat noch einmal tief in die statistische Trickkiste gegriffen.

Unser Vorgehen: Wir haben einen psychologischen Fragebogen erstmalig in einer deutschen Übersetzung validiert (Original: Englisch). Dazu haben wir u.A. eine PCA mit Promax-Rotation gerechnet und danach die Eigenwerte und den Screeplot ausgewertet. Die Daten deckten sich mit den zuvor in anderen Studien für die englische Originalversion des Fragebogens errechnete Faktorenstruktur ideal (sogar alle Items!), und entsprachen in der Faktorenanordnung auch den Übersetzungen in andere Sprachen.

Der dritte Reviewer wollte erst, dass wir nicht exploratorisch rechnen, sondern konfirmatorisch (CFA). Wir haben argumentiert, dass ein exploratives Vorgehen (EFA/PCA) bei einer Erstvalidierung einer Übersetzung eine gute Idee ist und dass wir daran festhalten wollen.

Nun möchte derselbe Reviewer in der zweiten Revision, dass wir eine PAF rechnen statt einer PCA. Ich frage mich jetzt, ob das wirklich nötig ist (vor allem, weil wir dann alles nochmal rechnen und das Paper quasi neu schreiben müssten, ich geb's ja zu...). Außerdem sollen wir noch eine Parallelanalyse einfügen, und das werde ich auch machen, das scheint sich arbeitsmäßig in Grenzen zu halten, und wenn er es unbedingt will...

Meine Frage ist also: Ist eine PAF wirklich zwingend notwendig (oder profiliert sich da vielleicht jemand mit seinen Kenntnissen)? Können wir unsere PCA noch besser verteidigen?

LG und danke!
Nanina

[Lenzo]

Zum Verhältnis und der Notwendigkeit konfirmatorischer vs. explorativer FA's siehe folgende Quelle:
Andreas Hinz (2014). Sind konfirmatorische Faktorenanalysen wirklich konfirmatorisch?
Psychother Psych Med 2014; 64(01): 41-42; DOI: 10.1055/s-0033-1359982

[Albrecht]

Unser Vorgehen: Wir haben einen psychologischen Fragebogen erstmalig in einer deutschen Übersetzung validiert (Original: Englisch). Dazu haben wir u.A. eine PCA mit Promax-Rotation gerechnet und danach die Eigenwerte und den Screeplot ausgewertet. Die Daten deckten sich mit den zuvor in anderen Studien für die englische Originalversion des Fragebogens errechnete Faktorenstruktur ideal (sogar alle Items!), und entsprachen in der Faktorenanordnung auch den Übersetzungen in andere Sprachen.

Es stellt sich schon die Frage, wieso man eine PCA macht. Es gibt da sicherlich unterschiedliche Ansichten. Eine ist aber, dass es im Grunde kaum eine Rechtfertigung gibt, eine PCA durchzuführen.

Der dritte Reviewer wollte erst, dass wir nicht exploratorisch rechnen, sondern konfirmatorisch (CFA). Wir haben argumentiert, dass ein exploratives Vorgehen (EFA/PCA) bei einer Erstvalidierung einer Übersetzung eine gute Idee ist und dass wir daran festhalten wollen.

Eine gute Idee? Wenn das ausreicht, dann war der Reviewer milde gestimmt. Eigentlich ist eine CFA zwingend erforderlich, gerade wenn man eine Faktorenstruktur bestätigen möchte. (Wird aber trotzdem oft nicht gemacht.)

Nun möchte derselbe Reviewer in der zweiten Revision, dass wir eine PAF rechnen statt einer PCA. Ich frage mich jetzt, ob das wirklich nötig ist (vor allem, weil wir dann alles nochmal rechnen und das Paper quasi neu schreiben müssten, ich geb's ja zu...). Außerdem sollen wir noch eine Parallelanalyse einfügen, und das werde ich auch machen, das scheint sich arbeitsmäßig in Grenzen zu halten, und wenn er es unbedingt will...

Strenggenommen identifiziert man mit einer PCA keine latenten Faktoren. Eine PAF ist aber theoretisch dazu geeignet, latente Faktoren zu identifizieren. (nicht zu bestätigen!). Das ist eben der kleine theoretische Unterschied zwischen den beiden, auch wenn in der Praxis die Ergebnisse die gleichen sind.

Meine Frage ist also: Ist eine PAF wirklich zwingend notwendig (oder profiliert sich da vielleicht jemand mit seinen Kenntnissen)? Können wir unsere PCA noch besser verteidigen?

Die PCA stammt aus einer Zeit, in der Faktorenanalysen noch mit Lochkarten gerechnet wurden. Das ist der eigentliche Grund für die Existenz der PCA. Ihr könntet also euer Vorgehen mit einem extremen, unvorhergesehen und unüberbrückbaren Engpass an Rechner-Kapazitäten rechtfertigen

Nein, im Ernst. Eigentlich fällt mir da nicht viel ein. Es gibt manche Folgeverfahren die einfacher mit einer PCA gelingen, wenn ihr bspw. mit den Faktorwerten weiterrechnen möchtet. Ich weiß aber nicht, ob das ausreichen kann.

Im Grunde ist die PCA in diesem Zusammenhang ein überholtes Vorgehen.

[Nanina]

Lenzo, danke für die Quelle. Die werde ich mir anschauen, vielleicht gibt's da noch was Brauchbares

Ich bin inzwischen auch tiefer in das Thema eingestiegen und bin im Moment auf dem Stand, dass es nur bei bestimmten Voraussetzungen einen praktischen (!) Unterschied zwischen PCA und PAF gibt: Bei unkorrelierten Faktoren und niedrigen Kommunalitäten. Unsere Faktoren sind korreliert und die Kommunalitäten der einzelnen Items hoch, bis auf einige wenige (die sich bei einer PAF dann aber tatsächlich auch minimal verschlechtern). Eine Neurechnung mit PAF brachte dasselbe Ergebnis, was die Faktoren angeht, und so ziemlich dasselbe Ergebnis, was die Itemverteilung angeht (wäre so oder so ok, man müsste bei dem PAF-Ergebnis nur mehr erklären, kommt aber im Endeffekt auf dasselbe Ergebnis heraus). Natürlich möchte ich nicht das Paper neu schreiben, und hoffe nun, den Reviewer mit dem Argument der Kommunalitäten und Korrelation der Faktoren überzeugen zu können, sein OK zu geben, da das Ergebnis dasselbe bleibt. Die Preisfrage ist ja auch: Jetzt sind 2 von 3 Reviewern und der Associate Editor mit dem Paper zufrieden und geben grünes Licht, was sagen die wohl, wenn wir alles umschmeissen und neu machen?

Und grundsätzlich ist das ja auch noch so etwas: Es scheint beim Thema PCA/PAF zwei Lager zu geben: Die einen sagen, es ist nicht so wichtig, welches Verfahren man nimmt, wichtiger sind andere Entscheidungen auf dem Weg zum Ergebnis. Und es macht nur einen Unterschied bei niedrigen Kommunalitäten und unkorrelierten Faktoren. Andere sagen, dass die PAF besser ist, Punkt. Also wenn die Literatur da keine klare Linie fährt, dann suche ich mir das PCA-Lager aus, rechtfertige das damit und fertig ^^ (hoffentlich)

LG Nanina

[Albrecht]

"Natürlich möchte ich nicht das Paper neu schreiben, und hoffe nun, den Reviewer mit dem Argument der Kommunalitäten und Korrelation der Faktoren überzeugen zu können, sein OK zu geben, da das Ergebnis dasselbe bleibt."

Kann ich mir kaum vorstellen, da dieses Argument keine Standardmeinung ist - zumindest kannte ich es bisher nicht. Theoretisch dürfte es schwer sein, dagegen zu argumentieren. Aber praktisch schon!

Vielleicht lässt sich das abmildern, wenn man eine Anmerkung am Ende setzt nach dem Motto:
"* wie der Gutachter richtigerweise anmerkt, deckt eine PCA eigentlich keine latenten Faktoren auf. Trotzdem wird sie oft für diesen Zweck verwendet. Eine PAF ergab ähnliche Ergebnisse. (Vielleicht kann man da noch den Abfall der Eigenwerte vergleichen.)"

[Holgonaut]

Hallo Nanina et al.

Die primäre Frage, die bei der Verwendung der verschiedenen Methoden beantwortet werden muss, ist, was EURE Vorstellung von den Konstrukten und vom Verhältnis von Konstrukten und ihren Indikatoren ist.

Eine PCA ist ein rein technisches Datenreduktionsverfahren, bei dem aus vielen items wenige Komponenten gemacht werden sollen. Das "Sortierungskriterium" ist dabei die Inter-Korrelation der items - d.h. items werden dann auf einen Haufen geworfen, wenn sie hoch inter-korrelieren und so mit irgendwelche Informationen teilen. Wenn Eure Skala also lediglich ein Haufen von items sein soll, ohne jegliche Existenzannahme, dann ist die PCA eine praktische Möglichkeit, diesen Haufen zu bilden.Genauso gut (ich plädiere bei solchen "composites" eher dafür) könnte / sollte man items auf theoretischer Basis zusammenwürfeln.

Da diese composites - wie gesagt - aus den items zusammengewürfelt wurden und damit auch keine Existenz außerhalb dieses Zusammenwürfel-Prozesses haben, ist der Begriff "Validität" und "Messung" schlicht nicht anwendbar. Validität bedeutet, dass a) das Attribut existiert und b) einen kausalen Effekt auf seine Indikatoren hat. Das Impliziert das "Messung" nicht zusammenwürfeln ist, siehe

Borsboom, Denny, Mellenbergh, Gideon J., & van Heerden, Jaap. (2004). The concept of validity. Psychological Review, 111(4), 1061-1071.

Faktormodelle - im Gegensatz, wie sie exploratorisch der EFA oder konformatorisch der CFA unterliegen, implizieren die Annahme von latenten Variablen, die den Indikatoren kausal zugrundeliegen. Es ist also eine Frage der Konstruktdefinition.

DARÜBER gibt es keine zwei Lager! Es ist einfach so (wie Albrecht sagt), dass die Psychologie seit Hundert Jahren häufig ziemlichen Käse veranstaltet und auch vor kurzem Leute dachten, eine PCA ist eine Faktorenanalyse, weil sie in SPSS im selben Menü ist! Daher ist es nicht verwunderlich, dass da auch eine Menge Literatur existiert. Hier ein sehr schöner Artikel, der diesbezüglich die Big 5 kritisiert:

Borsboom, Denny. (2006). The attack of the psychometricians. Psychometrika, 71(3), 425-440.

Wenn du also eine Skala validieren willst und eine Vorstellung von "Messen", hast, hast du ein latentes Faktorenmodell. Wenn du keine Vorstellung hast, welche Faktoren gemessen werden sollen, dann mach eine PAF. Wenn du eine Vorstellung von den Faktoren hast (was ebenso wiederum der Begriff Validität impiziert), dann mach ein latentes Variablenmodell und TESTE es.

Ein latentes Variablenmodell muss aber hier nicht unbedingt ein Faktormodell sein. Die Möglichkeiten für die Beziehung zwischen latenten Variablen und ihren Indikatoren sieht weitreichender und mannifaltiger, als ein simples und etwas stupdies Faktorenmodell annimmt.Hier ist ein sehr schöner Artikel, der a) erläutert, dass ein Faktorenmodell ein Kausalmodell ist, dass Aussagen darüber macht, dass latente Variablen die Itemantwort verursachen und nicht diese theoretisch unklaren Modelle, wie sie in der EFA/PCA behandelt werden, wo es um solche Begriffe wie Datenreduktion, Ladungen, Kommunalitäten etc. geht (wie du sie ja auch leider gebrauchst) und b) Beispiele für multi-Variabeln bringt, die alle in einer EFA als Ein-Faktorenmodell auftauchen würden.

Hayduk, Leslie A. (in press). Seeing perfectly fitting factor models that are causally misspecified: Understanding that close-fitting models can be worse. Educational and Psychological Measurement
http://www.sociology.ualberta.ca/Facult ... 281%29.pdf

Wenn du also a) ein latentes Variablenmodell vor Augen hast und b) Annahmen, was die Variablen inhaltlich sein könnten, mach eine CFA und teste das Modell mit dem Chi-Quadrat-Test (aber sei open-minded bzgl. anderer Strukturen).

Ich weiß, dass ist ein unangehmer Rat, genauso wie die Kritik des Reviewers unangenehm ist. Aber oft ist es im Nachhinein so (wenn das Paper draußen ist), dass solche unangenehmen Ratschläge das paper besser gemacht haben. Reih dich nicht ein, in die Riege sogenannter "Validierungsstudien", die allerdings nichts zur Validierung beitragen.

Viele Grüße
Holger

[Lenzo]

Bei Tabachnik & Fidell wird die (inhaltliche und rechnerische) Unterschiedlichkeit
von EFA und PCA übrigens auch noch mal eingehend besprochen.

Zu dem interessanten Diskussionsaustausch hier wollte ich noch kurz eine kleine randnotizige Merkwürdigkeit einstreuen,
die mir vor einiger Zeit mal ins Auge sprang und die mir nun hier in Bezug zum Verhätlnis von CFA und EFA wieder einfiel:

Im weitläufig gebräuchlichen SPSS-Lehrbuch von Bühner findet sich unter dem Stichwort "Konfirmatorische Faktorenanalyse"
nicht etwa ein Verweis auf IBMs AMOS oder dergleichen, sondern folgendes Klick-and-Ready-Rezept, welches im SPSSeigenen
Untermenü zur (eigentlich) explorativen Faktorenanalyse durchzuführen ist:
"Klicken Sie auf den Schalter Extraktion. Setzen Sie im Sinne einer konfirmatorischen Faktorenanalyse die Anzahl der zu
extrahierenden Faktoren [in diesem Beispiel] auf 5." (Bühl, Kapitel 19.3, S.527ff; http://is.gd/xQPji8)

Mensch, wer brauch da noch AMOS, Mplus, OpenMX, EQS und Co für seine CFA, wenn man da doch einfach nur eine EFA
mit vorspezifizierter Faktorenanzahl machen kann ??


Grüße,
L

[Albrecht]

Das ist nicht der Bühner, sondern Bühl! Ein großer Unterschied Zum praktischen Erlernen von SPSS ist der Bühl trotzdem nicht schlecht. Man sollte nur dem dort beschriebenen theoretischen Hintergrund (nicht nur bei der CFA) mit höchster Skepsis begegnen.

[Lenzo]

Stimmt, im Bühl (!) ist recht viel klickandgo! (Der Name ist schon oben korrigiert, danke!)

[Lu92]

Könnte man dementsprechend sagen, dass wenn bei einer PAF die Items nicht auf die Skalen laden, denen sie eigentlich in der Originalversion des Fragebogens zugehörig sind, dies Zweifel an der Gruppierung der Subskalen aufgibt?Oder ist dies inhaltlich nicht korrekt?
Ich habe verstanden, dass man in diesem Falle eigentlich eine konfirmatorische FA rechnen sollte, nur wäre oben stehender Satz dennoch richtig?
Danke!
Lu