STATISTIK-FORUM.de

[Semson]

Ich habe ein gut fittendes Modell (CFI > .95), dass ich auch gerne so berichten möchte. Nun habe ich testweise in das Modell noch zwei soziodemografische Variablen (als manifeste Variablen) eingefügt, die auf alle endogenen Faktoren einen Effekt haben sollen - quasi als Kontrollvariablen. Eine wirklich fundierte Theorie habe ich hierzu nicht und in bisherigen Studien gab es uneinheitliche Ergebnisse zur Relevanz soziodemografischer Merkmale. Der CFI ist durch die Hinzunahme der Variablen deutlich unter 0.95 gesunken (0.931) weshalb das Modell m.E. nicht mehr akzeptabel fittet. Die soziodemografischen Variablen haben jedoch einen sign. Effekt und beeinflussen als Common Cause auch die Beziehungen zwischen den restlichen Faktoren. Einige Effekte sind durch Hinzufügen der soziodemografie-Variablen etwas niedriger ausgefallen als zuvor (bis zu 20% niedriger).

Mein Problem:
Welches Modell soll ich nun genauer interpretieren. Eigentlich ist nur der Fit des ersten Modells gut genug, um es inhaltlich ausführlich anzuschauen. Im zweiten Modell ist der Fit schlechter. Und zwar schlecht genug, um zu sagen: "Ich brauche es garnicht weiter zu interpretieren und zu berichten". Blöderweise haben die soz.dem. Variablen im zweiten Modell einen signifikanten Effekt. Diese Variablen nicht zu berücksichten kann als omitted variable bias verstanden werden.
Also frage ich mich - soll ich das fittende Modell ausführlich berichten und zum zweiten Modell nur sagen, dass es nicht gut gefittet hat, oder soll ich das zweite Modell interpretieren obwohl der Fit sagt, dass das Modell eigentlich verworfen wurde.

[Holgonaut]

Hi Semson

es ist häufig so, dass Probleme eines Modells erst dann sichtbar werden, wenn man andere Variablen hinzufügt. Neue Variablen bringen wieder neue Restriktionen in ein Modell (nämlich a), dass die Kovarianzen zwischen diesen und den "alten" Variablen sich nach den Pfadregeln verhalten müssen und b) Beziehungen zwischen den neuen und alten Variablen null sind, wenn Variablen auf den Pfaden, die sie verbinden, kontrolliert werden - d.h. dass es keine weiteren, ausgelassenen Verknüpfungen gibt).
Dh. das erste Modell war entweder auch so schon problematisch - dies ist aber nicht aufgefallen oder du fügst die neuen Variablen in einer Weise ein, die wiederum falsche Annahmen mitsich bringt (z.B. in dem du Pfade fixierst, die dem Prinzip "b" oben widersprechen.

Grüße
Holger

[Semson]

Hi Holgonaut,

danke für deine Einschätzung.
ja, das mit den zusätzlichen Restriktionen habe ich versucht dadurch anzugehen, dass ich Kovarianzen zwischen den Fehlertermen der Variablen eingefügt habe, die vorher exogen waren aber im aktuellen Modell die soziodemografischen Variablen als Prädiktor haben. Der Teil der lavaan-syntax für die Residualkovarianzen ist daher so lang wie der Regressionsteil selbst Ich werde hier nochmal drüberschauen, ob ich vielleicht was vergessen habe.

Das andere Argument ist wohl genau mein Problem, denn wenn ich z.B. nur gender (0/1) als Covariate hinzufüge, verändert sich der Modellfit kaum und die Variable ist auch nur für zwei der Faktoren ein signifikanter Prädiktor mit schwachen Effekten. Der Modellfit ändert sich erst mit Hereinnahme von "Alter" als Kontrollvariable beträchtlich und hier gibts schon stärkere Effekte sowie Veränderungen der Effekte zwischen den restlichen Variablen. Kurz: Es verändert sich die modellimplizierte Kovarianzmatrix.
Jetzt kommt aber das richtige Problem: Ich führe die Auswertung gewichtet durch. Das Gewicht soll Unit-Nonresponse-Bias reduzieren und wurde als Propensity Score Weight auch mittels der soziodemografischen Variablen berechnet. Ich bilde mir jetzt ein, dass ein Teil des Effekts von Alter ein Methodenartefakt ist, das durch dieses Vorgehen entstanden ist.

Ich schätze, ich werde jetzt das schlechter fittendende Modell mit den soziodemografischen Prädiktoren interpretieren. Ohne diese Prädiktoren und mit gutem Fit habe ich es ja schon mit drin. Ich werde aber auf den schlechteren Modellfit hinweisen und darauf, dass die Effekte unter Vorbehalt zu interpretieren sind, weil sie auch z.T. aus der Gewichtungsprozedur entstehen können.

Edit: An der Gewichtung scheint es nicht zu liegen. Ungewichtet sehen die Ergebnisse genauso aus (Da kommt die Frage auf, warum ich mir den Stress mit der Gewichtung eigentlich gegeben habe.)

Oder gibt es noch andere Ideen?

[Holgonaut]

Hi,

das ist schwer nachzuvollziehen. Schau dir mal die standardisierten Residuen an, um herauszufinden, wo das Problem überhaupt liegt. Wie gesagt, es können
ganz andere Stellen im Modell sein, die mit dem Alter nichts zu tun haben.

Grüße
Holger

[Semson]

Jup, die Residuen zeigen vor allem bei einem Faktor ein Problem. Und zwar bei den Residuen von Alter und den Indikatoren eines First-Order Faktors, der selbst Indikator eines Second-Order Faktors ist. Alter ist zwar Prädiktor des Second-Order-Faktors, aber mir kommt es so vor, also würde der besagte First-Order Faktor stärker mit dem Alter zusammenhängen als die anderen First-Order-Faktoren und irgendwie wird die Kovarianz dort unterschätzt. Die Residuen sind positiv.
Kann ich in lavaan einfach eine zusätzliche Kovarianz zwischen Alter und diesen Items oder dem First-Order-Faktor schätzen? Es ist wie gesagt, das letzte Modell und da habe ich mir model-generating-approach erlaubt.

Update: In lavaan kann man mit manifesten Variablen (die nicht Teil von Messmodellen sind) keine Kovarianzen schätzen. Man muss einen Single-Indikator-Faktor draus basteln. Ich schau mal, ob ich das Modell heute abend noch umbaue.

[Holgonaut]

Macht es keinen Sinn, dass Alter einen (zusätzlichen oder alternativen) *Effekt* auf den besagten First-order-Faktor hat? Oder ist es nur eine Korrelation von Alter mit einem der *items* des first-order-Faktors? Könnte ein Zeichen sein, dass die Struktur des first-order-Faktors misspezifiziert ist.....

[Semson]

Ha, witzig, denselben Gedanken hatte ich vorhin auch noch. Natürlich ist ein Effekt viel plausibler in meinem Fall und siehe da: Ich habe gerade mal diesen Pfad hinzugefügt und lande wieder bei einem CFI von (knapp unter) 0.95. Und am schönsten ist, dass es auch theoretisch Sinn ergibt.
Natürlich ist jetzt interessant zu sehen, wie sich insgesamt durch die Hinzunahme der beiden neuen Variablen die restlichen Pfade im Modell verändert haben. Dass ich hier eine post-hoc Veränderung am Modell vornehme ist auch in Ordnung, weil es sich ja um ein Zusatzmodell genau für diesen Zweck (model generating) handelt.