Signifikanz multipler LR verschwindet in einfacher LR - Inte

Alle Verfahren der Regressionanalyse.

Signifikanz multipler LR verschwindet in einfacher LR - Inte

Beitragvon Brsmn » Fr 16. Feb 2024, 16:40

Hallo Zusammen,

ich habe eine Frage zur Interpretation mehrerer Regressionsmodelle die ich gerechnet habe.

Der Ausgangspunkt ist meine Abhängige Variable "Selbstwertdifferenz", welche den Selbstwert meiner Stichprobe vor und nach dem Erleben einer Trennung als Differenz angibt wobei negative Werte eine Abnahme darstellen.
Ich konnte in vorherigen Analysen und grafischen Beobachtungen schon herausfinden, dass die Variable sehr weit und relativ gleichförmig um den Mittelwert 0 (SD = 0.40) streut.

Die UV Soziosexualität soll jetzt als Einflussfaktor auf diese AV untersucht werden und dabei für die Kovariaten Beziehungsdauer, Beziehungszufriedenheit und Commitment kontrolliert werden. Die Kovariaten stehen in anderen Studien im Zusammenhang mit der Trennungsreaktion (sollten also bekannte Prädiktoren für die AV Selbstwertdifferenz sein).

Nun meine konkreten Modelle:
1. Zunächst habe ich eine einfache lineare Regression mit der AV Selbstwertdifferenz und der UV Soziosexualität gerechnet.
2. Danach habe ich eine multiple lineare Regression mit der o.g. AV und Soziosexualität + alle Kovariaten als UV berechnet.
3. Zuletzt habe ich jeweils "Einzelvergleiche" mit o.g. AV und UV Soziosexualität + je eine Kovariate berechnet (also insgesamt 3 multiple lineare Regressionen).

Die Ergebnisse sehen wie folgt aus:
1. Die einfache lineare Regression konnte keinen signifikanten Erklärungsbeitrag leisten (F(1, 116) = 1.81, p = .182).
Ich habe gelesen, dass man das Modell nicht interpretieren kann, da die Effekte quasi als "rein zufällig" zu werten sind. Stimmt das so? Unabhängig davon wurde die Soziosexualität aber auch nicht signifikant (p = .182).

2. Das zweite Modell mit allen Kovariaten wurde signifikant (F(4, 103) = 2.475, p = .0489).
Hier ergaben sich jedoch nur signifikante Effekte für die Soziosexualität (b = 0.112, ß = 0.242, Standardfehler = 0.045, p = .014). Alle Kovariaten waren nicht signifikant.

3. Die Einzelvergleiche hatten wieder unzureichende Signifikanzen in der Modellgüte und keine der Kovariaten wurde signifikant.
Beziehungsdauer (F(2, 109) = 1.636, p = .1996), Soziosexualität n.s.
Beziehungszufriedenheit (F (2, 111) = 2.338, p = .1012), Soziosexualität signifikant (p = .0335)
Commitment (F(2, 111) = 2.641, p = .0758), Soziosexualität signifikant (p = .0303)

Alle Voraussetzungen waren erfüllt, es lag auch keine Multikollinearität vor, obwohl Soziosexualität und Beziehungszufriedenheit mit r = .815 sehr hoch miteinander korreliert sind.

Ich hätte das jetzt so Interpretiert, dass die Kovariaten in irgendeiner Form von Interaktion mit der Soziosexualität stehen und so deren Einfluss auf die Selbstwertabnahme moderieren. Was ich nicht verstehe, ist warum die Kovariaten selbst nicht signifikant geworden sind, obwohl ein Einfluss eigentlich zu erwarten war. Kann es sein, dass z.B. die Beziehungszufriedenheit (im Hinblick auf die hohe Korrelation mit der Soziosexualität) der Moderator ist und die anderen Kovariaten sich gegenseitig unterdrücken?
Und wie gehe ich mit der unzureichenden Modellgüte um? Sind die Modelle "schlecht" und ich kann daher eigentlich gar keine Aussage über den Zusammenhang treffen?


Danke übrigens an dieses Forum im Allgemeinen, ich konnte schon viele Probleme durch die schöne Dokumentation hier lösen!
Liebe Grüße
Sandra
Brsmn
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Fr 16. Feb 2024, 15:49
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Signifikanz multipler LR verschwindet in einfacher LR -

Beitragvon bele » Fr 16. Feb 2024, 19:10

Hallo Sandra,

Brsmn hat geschrieben:Die UV Soziosexualität soll jetzt als Einflussfaktor auf diese AV untersucht werden und dabei für die Kovariaten Beziehungsdauer, Beziehungszufriedenheit und Commitment kontrolliert werden.


Nun meine konkreten Modelle:
1. Zunächst habe ich eine einfache lineare Regression mit der AV Selbstwertdifferenz und der UV Soziosexualität gerechnet.
2. Danach habe ich eine multiple lineare Regression mit der o.g. AV und Soziosexualität + alle Kovariaten als UV berechnet.
3. Zuletzt habe ich jeweils "Einzelvergleiche" mit o.g. AV und UV Soziosexualität + je eine Kovariate berechnet (also insgesamt 3 multiple lineare Regressionen).


Da könnte man ja jetzt die Frage stellen, warum Du die Modelle in 1. und 3. gerechnet hast, wenn Deine oben formulierte Fragestellung ganz klar von 2. abgedeckt wird.

Das zweite Modell mit allen Kovariaten wurde signifikant (F(4, 103) = 2.475, p = .0489).
Hier ergaben sich jedoch nur signifikante Effekte für die Soziosexualität (b = 0.112, ß = 0.242, Standardfehler = 0.045, p = .014). Alle Kovariaten waren nicht signifikant.


Herzlichen Glückwunsch. Das ist die antizipierte Antwort auf die Fragestellung. Das Modell wird sehr knapp signifikant, aber der Zusammenhang (vorsicht mit "Effekt") zwischen Soziosexualität und der AV ist damit belegt.

Alle Voraussetzungen waren erfüllt, es lag auch keine Multikollinearität vor,

Woran machst Du das fest?

Was ich nicht verstehe, ist warum die Kovariaten selbst nicht signifikant geworden sind, obwohl ein Einfluss eigentlich zu erwarten war.


Es kann ja ohne weitere Zusammenhänge geben, auch wenn die in einer gegebenen Stichprobe mit einer gegebenen Stichprobengröße und mit gegebenen Messmethoden nicht signifikant werden. Kovariate sollten hier berücksichtigt werden und sie sind berücksichtigt worden, auch wenn sie selbst nicht signifikant geworden sind. Bei größerer Stichprobe hätte sich das vielleicht noch geändert. Vor allem wenn Multikollinearität besteht ( r = .815 ist ja mal ne Ansage für 120 Teilnehmerinnen).

Und wie gehe ich mit der unzureichenden Modellgüte um? Sind die Modelle "schlecht" und ich kann daher eigentlich gar keine Aussage über den Zusammenhang treffen?


Woran machst Du eine schlechte Modellgüte fest? Warum solltest Du keine Aussage treffen können, wenn Dein Modell signifikant und der zu untersuchende Prädiktor signifikant sind?


Danke übrigens an dieses Forum im Allgemeinen, ich konnte schon viele Probleme durch die schöne Dokumentation hier lösen!


Danke, das lesen wir gern. Großes Lob, dass Du hilfreiche Threads gefunden hast, bevor Du Deine erste Frage gestellt hast.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5782
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1358 mal in 1345 Posts

folgende User möchten sich bei bele bedanken:
Brsmn

Re: Signifikanz multipler LR verschwindet in einfacher LR -

Beitragvon PonderStibbons » Fr 16. Feb 2024, 19:19

Die UV Soziosexualität soll jetzt als Einflussfaktor auf diese AV untersucht werden und dabei für die Kovariaten Beziehungsdauer, Beziehungszufriedenheit und Commitment kontrolliert werden.

Aus welchem konkreten Grund? Um Scheinkorrelationen zu vermeiden? Um Fehlervarianz zu reduzieren?
3. Zuletzt habe ich jeweils "Einzelvergleiche" mit o.g. AV und UV Soziosexualität + je eine Kovariate berechnet (also insgesamt 3 multiple lineare Regressionen).

Aus welchem konkreten Grund?
Ich habe gelesen, dass man das Modell nicht interpretieren kann, da die Effekte quasi als "rein zufällig" zu werten sind. Stimmt das so?

Kann man so nicht sagen.
Ich hätte das jetzt so Interpretiert, dass die Kovariaten in irgendeiner Form von Interaktion mit der Soziosexualität stehen und so deren Einfluss auf die Selbstwertabnahme moderieren.

Moderatoreffekte werden als Wechselwirkungen zwischen der unabhängigen Variable und dem Moderator modelliert.
Das ist hier nicht durchgeführt worden.

Wie man das Ganze interpretieren soll, hängt halt davon ab, warum und wozu der Einbezug der "Kovariaten" denn dienen sollte.

Was ich nicht verstehe, ist warum die Kovariaten selbst nicht signifikant geworden sind, obwohl ein Einfluss eigentlich zu erwarten war.

Sollten sie mit Soziosex überlappen, dann kann dieselbe Varianz im Kriterium ja schlecht zweimal aufgeklärt werden.

Ob ein Regressionsgewicht inferenzstatistisch signifikant wird, hängt zudem grob gesagt ab vom Quotienten aus Höhe
des Koeffizienten und Größe seines Standardfehlers. Vielleicht sind die Standardfehler vergleichsweise groß.

Und wie gehe ich mit der unzureichenden Modellgüte um?

Inwiefern ist sie unzureichend?

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11270
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2476 mal in 2460 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Brsmn

Re: Signifikanz multipler LR verschwindet in einfacher LR -

Beitragvon Brsmn » So 18. Feb 2024, 15:58

Hallo,

erst mal vielen Dank für die schnellen und hilfreichen Antworten. Ich bemühe mich die Rückfragen zu beantworten, sie haben mir auf jeden Fall schon mal einiges zu Denken gegeben.

Zum Thema Kovariaten:
PonderStibbons hat geschrieben:Aus welchem konkreten Grund? Um Scheinkorrelationen zu vermeiden? Um Fehlervarianz zu reduzieren?
Ich wollte den isolierten Effekt der Soziosexualität betrachten, deshalb würde ich sagen die Kovariaten sind mit dabei um die Fehlervarianz zu reduzieren? (In einer anderen Studie mit N>9.000 wurde ein Zusammenhang bzw. Mediationseffekt der Kovariaten mit der Selbstwertabnahme, also der AV belegt).

Die "isolierte Betrachtung" der Soziosexualität ist auch der Grund warum ich die Modelle 1 und 3 gerechnet habe.
1: Hat Soziosexualität einen signifikanten Einfluss auf Selbstwertabnahme?
2: Wird dieser Einfluss durch die Kovariaten (besser) erklärt? (Ich wollte die Ergebnisse aus Modell 1 mit Modell 2 vergleichen)
3: Welche Kovariate hat welchen Einfluss (Wurde von meiner Betreuerin vorgeschlagen als ich gefragt habe warum Kovariaten nicht signifikant sind)

Aus euren Antworten lese ich irgendwie heraus, dass das wohl nicht die ganz korrekte statistische Herangehensweise ist? Dadurch dass die Kovariaten nicht signifikant sind, könnte ich ja wenn ich nur vom Modell 2 ausgehe den Schluss ziehen, dass Soziosexualität sich auf die Selbstwertdifferenz auswirkt - aber wäre das nicht falsch? Das Modell 1 wird ja nicht signifikant, also würde ich denken die Soziosexualität wirkt sich nur in Abhängigkeit der Kovariaten auf die Selbstwertabnahme aus.
PonderStibbons hat geschrieben:Moderatoreffekte werden als Wechselwirkungen zwischen der unabhängigen Variable und dem Moderator modelliert.
Das ist hier nicht durchgeführt worden.
Okay, also von einer Moderation kann ich demnach nicht ausgehen. Darf ich trotzdem einen (unbestimmten) Interaktionseffekt annehmen?

bele hat geschrieben:Herzlichen Glückwunsch. Das ist die antizipierte Antwort auf die Fragestellung. Das Modell wird sehr knapp signifikant, aber der Zusammenhang (vorsicht mit "Effekt") zwischen Soziosexualität und der AV ist damit belegt.
Ist der Zusammenhang dann nur in Abhängigkeit der Kovariaten belegt? Oder existiert er immer wird aber im Modell 1 durch die Fehlervarianz nicht sichtbar? Und ist die "sehr knappe" Signifikanz irgendwie inhaltlich relevant? Uns wurde im Studium nahegelegt nur zwischen signifikant oder nicht signifikant zu unterscheiden und keine "stärke" des Signifikanzniveaus (also "hochsignifikant" oder "knapp nicht signifikant") zu beurteilen, da das Niveau ja vorher festgelegt wird und entweder erreicht wird oder eben nicht - ich fühle mich aber durch die ganzen nicht signifikanten Modelle irgendwie ein bisschen als hätte ich den Zusammenhang "erzwungen" oder eben nur durch Zufall entdeckt (das R² legt mit .088 auch kein weltbewegenden Einfluss nahe).

Zur Modellgüte:
Die Modellgüte habe ich an der F-Statistik festgemacht. Ich habe sie so Interpretiert, dass ein nicht signifikanter F-Wert dafür spricht, dass das Modell keinen hinreichenden Erklärungsbeitrag leistet - also dass mögliche Zusammenhänge wenn dann durch Zufall gefunden wurden (was so ja scheinbar auch nicht ganz der Wahrheit entspricht wenn ich PonderStibbons richtig verstanden habe).
bele hat geschrieben:Woran machst Du eine schlechte Modellgüte fest? Warum solltest Du keine Aussage treffen können, wenn Dein Modell signifikant und der zu untersuchende Prädiktor signifikant sind?
Die schlechte Modellgüte bezieht sich hier auf die Modelle 1 und 3, welche ja keine signifikanten F-Statistiken aufweisen. Die Frage war so gemeint, ob ich die nicht bestehende Signifikanz dieser Modelle auch so interpretieren kann, dass das Modell 2 eben nur aufgrund des Zusammenspiels aller Kovariaten überhaupt signifikant wurde und der Einfluss der Soziosexualität daher nur eingeschränkt bestätigt ist. Oder darf ich die anderen Modelle eben wegen der n.s. F-Statistik garnicht weiter für irgendeine inhaltliche Interpretation heranziehen.


Zum Thema Multikollinearität:
Ich habe die Multikollinearität zuerst in einer Interkorrelationsmatrix betrachtet und da den genannten Zusammenhang von Beziehungszufriedenheit (BZ_Mean_T1) und Soziosexualität (SS_T2) gefunden (p < .001, alle anderen Korrelationen lagen unter .2). Inhaltlich ist das übrigens auch etwas merkwürdig, da in anderen Studien eher ein negativer Zusammenhang von Soziosexualität und Beziehungszufriedenheit nahegelegt wird (bzw. gefunden wurde)...aber das diskutiere ich an anderer Stelle.
Die Multikollinearität habe ich anhand des Variance of Inflation Factor und der Toleranz in R geprüft, hier ist die Ausgabe. Ich habe gelesen, dass Werte unter 10 bzw. über 0,1 (für die Toleranz) gegen Multikollinearität sprechen (Quelle: https://bjoernwalther.com/multikollinea ... -erkennen/).
Code: Alles auswählen
>     vif(Model 2)
         SS_T2 BZDur_Month_T1     BZ_Mean_T1     CO_Mean_T1
      1.054359       1.014620       2.565857       2.559387
>     1/vif(Model 2)
         SS_T2 BZDur_Month_T1     BZ_Mean_T1     CO_Mean_T1
     0.9484432      0.9855904      0.3897333      0.3907185
Muss ich aufgrund der hohen Korrelation unabhängig von diesen Ergebnissen dann trotzdem von Multikollinearität ausgehen? Würde das bedeuten, dass die Soziosexualität die Anteile der Varianz die sie mit der Beziehungszufriedenheit gemeinsam hat schon aufgeklärt hat und die Beziehungszufriedenheit deshalb nicht mehr signifikant wird? Sollte ich Beziehungszufriedenheit ausschließen?

PonderStibbons hat geschrieben:Ob ein Regressionsgewicht inferenzstatistisch signifikant wird, hängt zudem grob gesagt ab vom Quotienten aus Höhe
des Koeffizienten und Größe seines Standardfehlers. Vielleicht sind die Standardfehler vergleichsweise groß.
Und auch wenn dieser Text schon skandalös lang ist wollte ich noch die R-Ausgabe des Modell 2 anhängen falls das irgendwie hilft meine Ausführungen besser Einordnen zu können.
Code: Alles auswählen
Call:
lm(formula = SW_Diff ~ SS_T2 + BZDur_Month_T1 + BZ_Mean_T1 +
    CO_Mean_T1, data = CouPers_H2_Corr)

Residuals:
    Min      1Q  Median      3Q     Max
-0.8390 -0.2724 -0.0511  0.2601  1.0972

Coefficients:
                Estimate Std. Error t value Pr(>|t|) 
(Intercept)    -0.126532   0.241994  -0.523   0.6022 
SS_T2           0.112410   0.044842   2.507   0.0137 *
BZDur_Month_T1 -0.001114   0.001048  -1.063   0.2904 
BZ_Mean_T1     -0.151492   0.081740  -1.853   0.0667 .
CO_Mean_T1      0.078770   0.044306   1.778   0.0784 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.3872 on 103 degrees of freedom
  (10 Beobachtungen als fehlend gelöscht)
Multiple R-squared:  0.08769,   Adjusted R-squared:  0.05226
F-statistic: 2.475 on 4 and 103 DF,  p-value: 0.04886


Viele Grüße
Sandra
Brsmn
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Fr 16. Feb 2024, 15:49
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Signifikanz multipler LR verschwindet in einfacher LR -

Beitragvon bele » So 18. Feb 2024, 17:55

Hallo Sandra,

Aus euren Antworten lese ich irgendwie heraus, dass das wohl nicht die ganz korrekte statistische Herangehensweise ist?


Das ist nicht unkorrekt. Man hat ja Freiheiten, wie man vorgehen möchte aber man sollte sich sehr gut überlegen, warum man das macht. Sonst hat man nachher einen Haufen Ergebnisse und Schwierigkeiten, die einzuordnen. Deshalb macht es viel Sinn, gründlich zu überlegen, was man von welcher Rechnung eigentlich wissen will.

Am Ende hat man einen p-Wert von 0,049 und muss sich entscheiden, ob man eine Alphafehlerkorrektur braucht oder nicht.

Dadurch dass die Kovariaten nicht signifikant sind, könnte ich ja wenn ich nur vom Modell 2 ausgehe den Schluss ziehen, dass Soziosexualität sich auf die Selbstwertdifferenz auswirkt


Ich hätte wahrscheinich von Anfang an Modell 2 zum entscheidenden erklärt und dann würde mir dieser Satz leicht fallen.

Das Modell 1 wird ja nicht signifikant, also würde ich denken die Soziosexualität wirkt sich nur in Abhängigkeit der Kovariaten auf die Selbstwertabnahme aus.


Du kannst die Nullhypothese nicht verwerfen, das heißt aber nicht, dass die Nullhypothese anzunehmen wäre. Vermutlich wird der Zusammenhang erst deutlich, wenn die Störungen durch andere bedeutsame Prädiktoren berücksichtigt werden. Das können wir aber nicht wissen. Du hast etwas mehr als 100 Beobachtungen und da kann sich vieles im Hintergrundrauschen verstecken.

Darf ich trotzdem einen (unbestimmten) Interaktionseffekt annehmen?


Wenn Du Interaktionseffekte vermutest, dann musst Du entweder zugeben, dass Du nicht genug Beobachtungen für eine ausgiebige Untersuchung der Interaktionseffekte hast. Jedenfalls hast Du bisher gar nicht versucht, diese in Deinen Daten zu suchen. Annehmen darfst Du vieles, aber Belege hast Du keine, solange Du damit nicht gerechnet hast.

bele hat geschrieben:Herzlichen Glückwunsch. Das ist die antizipierte Antwort auf die Fragestellung. Das Modell wird sehr knapp signifikant, aber der Zusammenhang (vorsicht mit "Effekt") zwischen Soziosexualität und der AV ist damit belegt.
Ist der Zusammenhang dann nur in Abhängigkeit der Kovariaten belegt?


Unter Berücksichtigung der vorher von Dir benannten und daher auch untersuchten Störgrößen ist der Zusammenhang belegt.

Oder existiert er immer wird aber im Modell 1 durch die Fehlervarianz nicht sichtbar?


Das vermute ich, aber wir wissen nichts genaues.

Und ist die "sehr knappe" Signifikanz irgendwie inhaltlich relevant? Uns wurde im Studium nahegelegt nur zwischen signifikant oder nicht signifikant zu unterscheiden und keine "stärke" des Signifikanzniveaus (also "hochsignifikant" oder "knapp nicht signifikant") zu beurteilen, da das Niveau ja vorher festgelegt wird und entweder erreicht wird oder eben nicht


Ohje, da geraten wir schnell in den Bereich der Philosophie. Lass es mich pragmatisch abkürzen: Werte unter 0,05 sind signifikant und fertig. Wenn man es Dir so beigebracht hat, dann wende das in Deiner Arbeit so an. Sei Dir halt bewusst, dass die Signifikanz Deines Ergebnisses nicht nur von Deinen Ergebnissen abhängt sondern auch davon, dass ein 1890 in London geborener Sir Ronald die Grenze irgendwann mal bei 0,05 und nicht bei 0,02 vorgeschlagen hat, obwohl er das sehr gut auch hätte tun können.

ich fühle mich aber durch die ganzen nicht signifikanten Modelle irgendwie ein bisschen als hätte ich den Zusammenhang "erzwungen" oder eben nur durch Zufall entdeckt


Ich habe oben geschrieben, dass es nicht unkorrekt ist, die verschiedenen Modelle zu rechnen -- jetzt legst Du aber genau den Finger in die Wunde, die der Nachteil dieses Vorgehens ist.

Die Modellgüte habe ich an der F-Statistik festgemacht. Ich habe sie so Interpretiert, dass ein nicht signifikanter F-Wert dafür spricht, dass das Modell keinen hinreichenden Erklärungsbeitrag leistet


In Modell 2 ist der F-Test ja signifikant. Der Umgang mit der Vielzahl der Modelle hätte ex ante bestimmt werden sollen. Ich gehe weiter davon aus, dass man auch ex ante das Modell 2 als die Hauptfragestellung hätte beschreiben sollen und die anderen als Nebenfragestellungen.

Die Multikollinearität habe ich anhand des Variance [...] Inflation Factor und der Toleranz in R geprüft, hier ist die Ausgabe. Ich habe gelesen, dass Werte unter 10 bzw. über 0,1 (für die Toleranz) gegen Multikollinearität sprechen (Quelle: https://bjoernwalther.com/multikollinea ... -erkennen/).


Ja, das mit den Faustregeln ist immer so eine Sache. Je mehr Beobachtungen Du hast, umso besser kann Dein Modell mit Multikollinearität umgehen. In die Formel für VIF (und Toleranz) geht der Stichprobenumfang aber überhaupt nicht ein. Du kannst mit dem VIF also das Ausmaß an Multikollinearität finden, aber der Grenzwert von angeblich 10 kann Dir gar nicht sagen, ob das ein Problem für Dein Modell ist. Je kleiner Dein Stichprobenumfang, umso weniger VIF kannst Du Dir leisten.

Muss ich aufgrund der hohen Korrelation unabhängig von diesen Ergebnissen dann trotzdem von Multikollinearität ausgehen?


Die deutschsprachige Wikipedia schreibt "Weil empirische Daten immer einen gewissen Grad an Multikollinearität aufweisen, wurden Kennzahlen entwickelt, die Hinweise auf Multikollinearität liefern. Einen eindeutigen Richtwert gibt es jedoch nicht." Es wird zu einer gewissen Inflation der Standardfehler kommen, das ist aber "immer" so.

Würde das bedeuten, dass die Soziosexualität die Anteile der Varianz die sie mit der Beziehungszufriedenheit gemeinsam hat schon aufgeklärt hat und die Beziehungszufriedenheit deshalb nicht mehr signifikant wird? Sollte ich Beziehungszufriedenheit ausschließen?


Da muss man jetzt ganz genau über die Fragestellung nachdenken. Nehmen wir an, Deine Frage lautet, ob Soziosexualität noch etwas zur Varianzaufklärung beiträgt, wenn man Beziehungszufriedenheit schon im Modell hat. Also: Wenn die gemeinsam aufgeklärte Varianz schon aufgeklärt ist, trägt Soziosexualität dann noch was ganz eigenes bei? In diesem Fall kannst Du das Modell einmal ohne Soziosexualität und einmal mit Soziosexualität rechnen und mit der Funktion anova prüfen, ob der zusätzliche Prädiktor einen echten Gewinn bringt. Sowas in der Art wie

Code: Alles auswählen
m1 <- lm(SW_Diff ~ BZDur_Month_T1 + BZ_Mean_T1 + CO_Mean_T1,
         data = CouPers_H2_Corr)
m2 <- lm(SW_Diff ~ SS_T2 + BZDur_Month_T1 + BZ_Mean_T1 + CO_Mean_T1,
         data = CouPers_H2_Corr)
anova(m1, m2)


Aber vorher nachdenken, ob das wirklich die Fragestellung ist.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5782
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1358 mal in 1345 Posts

Re: Signifikanz multipler LR verschwindet in einfacher LR -

Beitragvon PonderStibbons » So 18. Feb 2024, 19:29

Ich wollte den isolierten Effekt der Soziosexualität betrachten, deshalb würde ich sagen die Kovariaten sind mit dabei um die Fehlervarianz zu reduzieren? (In einer anderen Studie mit N>9.000 wurde ein Zusammenhang bzw. Mediationseffekt der Kovariaten mit der Selbstwertabnahme, also der AV belegt).

Das sind dann drei verschiedene Verwendungsweisen. Was meinst Du mit "isolierter Effekt"? Die Kovariaten wirken
zugleich auf Soziosexualität und auf die AV und sorgen für eine Scheinkorrelation?
Oder Du willst eine Mediation untersuchen?
Und Reduktion von Fehlervarianz ist wieder etwas anderes, das bedeutet, die Kovariaten sind nur mit der AV korreliert,
nicht mit der UV.

Es ist problematisch, wenn ein Modell aufgestellt wird, ohne dass es eine theoretisch nachvollziehbare
Begründung gibt. Weder weiß man dann, wird das Vorgehen den Annahmen gerecht, noch weiß man, wie man
die Ergebnisse interpretieren soll.

Die "isolierte Betrachtung" der Soziosexualität ist auch der Grund warum ich die Modelle 1 und 3 gerechnet habe.
1: Hat Soziosexualität einen signifikanten Einfluss auf Selbstwertabnahme?

Einfluss (Kausalität) ist hier ein sehr ambitionierter Ausdruck, Du hast ja nichts weiter als korrelative Zusammenhänge.
2: Wird dieser Einfluss durch die Kovariaten (besser) erklärt? (Ich wollte die Ergebnisse aus Modell 1 mit Modell 2 vergleichen)

Die Hinzufügung von weiteren Variablen vergrößert zwangsläufig die aufgeklärte Varianz. Wie oben schon gesagt,
so recht wird der Zweck und der Stellenwert der Kovariaten nicht deutlich.
3: Welche Kovariate hat welchen Einfluss (Wurde von meiner Betreuerin vorgeschlagen als ich gefragt habe warum Kovariaten nicht signifikant sind)

Das ergibt aus meiner begrenzten Sicht zwar inhaltlich oder methodisch keinen Sinn, liefert aber wenigstens eine
gute Begründung: die betreuende Person möchte das so (und nein, das ist nicht ironisch gemeint).
PonderStibbons hat geschrieben:Moderatoreffekte werden als Wechselwirkungen zwischen der unabhängigen Variable und dem Moderator modelliert.
Das ist hier nicht durchgeführt worden.
Okay, also von einer Moderation kann ich demnach nicht ausgehen. Darf ich trotzdem einen (unbestimmten) Interaktionseffekt annehmen?

Du darfst alles annehmen, was Du willst. Die Frage ist, ob und wie Deine Annahmen überprüft werden.

Es scheint immer wieder darauf hinauszulaufen, dass geklärt werden sollte, in welchen Beziehungen stehen die "Kovariaten",
die unabhängige Variable und die abhängige Variable miteinander, konzeptuell und empirisch.

Mit freundlichen Grüßen

PomderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11270
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2476 mal in 2460 Posts

Re: Signifikanz multipler LR verschwindet in einfacher LR -

Beitragvon Brsmn » Mi 21. Feb 2024, 17:14

Hallo Bernhard und PonderStibbons,

erst mal vielen Dank, dass ihr beide euch die Zeit genommen habt alles zu lesen und so ausführlich zu Antworten - ihr habt mir wirklich weiter geholfen.

Ich sehe, dass meine Planung offenbar sehr mangelhaft war und mir jetzt Probleme bei der Interpretation macht.
Ich schreibe hier jetzt einfach noch mal meine Gedanken und weiteres Vorgehen auf, vielleicht ist das ja in Zukunft noch jemandem eine Hilfe.

Meine Hypothese lautet (etwas vereinfacht) "Die Selbstwertdifferenz ist bei Personen mit einer "höheren" Soziosexualität weniger klein als bei Personen mit einer "niedrigeren" Soziosexualität."
Diese Hypothese kann ich mit dem in Modell 2 gefundenen Zusammenhang eingeschränkt bestätigen (höhere Soziosexualität geht mit höheren Differenzen einher (also weniger starker Abnahme)). Die Einschränkung bezieht sich hier auf die Hinzunahme der Kovariaten, ohne diese hätte der Zusammenhang in meinen Daten nicht gefunden werden können (siehe Modell 1).
In Zukunft müsste aber Anhand einer größeren Stichprobe (mit größerer Varianz, die Soziosexualität ist in meiner Stichprobe nur sehr eingeschränkt) dieser potentielle Zusammenhang näher betrachtet werden.
Einschränkend für den in Modell 2 gefundenen Zusammenhang kommt außerdem hinzu, dass die Beziehungszufriedenheit stark mit der Soziosexualität in Zusammenhang steht und Multikollinearität daher nicht ausgeschlossen werden kann (was dann auch mögliche Gründe für den nicht gefundenen Zusammenhang der Kovariaten mit der AV liefern würde?).

PonderStibbons hat geschrieben:Es scheint immer wieder darauf hinauszulaufen, dass geklärt werden sollte, in welchen Beziehungen stehen die "Kovariaten", die unabhängige Variable und die abhängige Variable miteinander, konzeptuell und empirisch.

Ich denke die größten Probleme sind hierbei entstanden, weil ich meine Interpretation und die Methodische Planung in meinen Beiträgen hier irgendwie vermischt habe und einige der hier gestellten Fragen in meiner Planung nicht richtig berücksichtigt habe.
Also Methodisch festgelegt habe ich folgendes:
In einer anderen Studien wurde herausgefunden, dass Beziehungszufriedenheit und Commitment die Selbstwertabnahme mediieren. Außerdem wurde eine signifikante Selbstwertabnahme nur in der Gesamtgruppe und längeren Beziehungen gefunden, in kurzen Beziehungen gab es diese nicht. Mein Plan war also, einen möglichen Zusammenhang der Soziosexualität mit der Selbstwertabnahme für diese Konstrukte zu "kontrollieren" (dabei habe ich mir keine wirklichen Gedanken über mögliche Zusammenhänge mit der Soziosexualität gemacht, sondern mich lediglich auf das "kontrollieren" aus diesem Onlineartikel bezogen und gedacht "vielleicht macht das 'kontrollieren' mögliche Zusammenhänge sichtbar oder klärt diese auf")

Nachdem ich mir jetzt noch mal Gedanken gemacht und ein bisschen was gelesen habe bin ich zu dem Schluss gekommen, dass die mediierenden Variablen (Beziehungszufriedenheit und Commitment) unterschiedliche "Funktionen" haben:
- Hohe Commitment Werte gehen in der Literatur mit hohen Soziosexualitäts Werten einher, also würde hier vermutlich eine Scheinkorrelation sichtbar
- Hohe Beziehungszufriedenheit geht in der Literatur tendenziell mit niedrigen Soziosexualitäts Werten einher, wobei dieser Zusammenhang nicht ganz Eindeutig ist und z.B. für Frauen nicht signifikant. Daher könnte man hier vielleicht schon von einer Reduktion der Fehlervarianz ausgehen?
Die Beziehungsdauer sollte als möglicher Einflussfaktor auf die Selbstwertabnahme berücksichtigt werden. Ich wollte ja herausfinden, ob die Soziosexualität im Zusammenhang mit der Abnahme im Selbstwert steht, aber wenn diese Abnahme für kurze Beziehungen überhaupt nicht sichtbar wird muss das ja in der Regression irgendwie berücksichtigt werden. Ist hierfür die Aufnahme der Beziehungsdauer als Kontrollvariable die richtige Herangehensweise? Oder kann ich das in einer Regression so garnicht prüfen?

Meine Erwartung bei der Planung war auch eher folgende: Das Modell 1 wäre signifikant geworden und im Modell 2 wäre der Zusammenhang dann möglicher Weise durch die Kontrollvariablen aufgeklärt worden (also eine Scheinkorrelation oder?).

PonderStibbons hat geschrieben:Die Hinzufügung von weiteren Variablen vergrößert zwangsläufig die aufgeklärte Varianz.

Ist das Adjustierte R² hier eine zuverlässige Möglichkeit Modell 1 und Modell 2 miteinander zu vergleichen oder geht das einfach überhaupt nicht?


Mit den Modellen 3 kann ich irgendwie garnicht so richtig umgehen. Da würde ich auch auf die Limitationen für Modell 1 (eingeschränkte Stichprobengröße und Varianz) verweisen, da die Modelle ja nicht signifikant sind.

bele hat geschrieben:Am Ende hat man einen p-Wert von 0,049 und muss sich entscheiden, ob man eine Alphafehlerkorrektur braucht oder nicht.

Die Alphafehler-Korrektur würde ich nicht anwenden, da ich diese Methodisch nicht wirklich gut begründen kann: Ich habe alle 3 Modelle in meinem Methodenteil schon "angekündigt" und würde mich ja dann nur auf Basis meiner Ergebnisse für die Korrektur entscheiden, was mir irgendwie nicht richtig vorkommt...?
bele hat geschrieben:Wenn die gemeinsam aufgeklärte Varianz schon aufgeklärt ist, trägt Soziosexualität dann noch was ganz eigenes bei?

Die ANOVA hat ja im Kern auch nichts mit meiner Fragestellung zu tun. Man könnte eher für Zukünftige Forschung vorschlagen, die unterschiedlichen Zusammenhänge und mögliche Interaktionseffekte näher zu Untersuchen. Wobei ich mich von den Interaktionen abseits einer hypothetischen Diskussion wohl eher fern halten werde.


Alles in Allem noch mal ein großes Dankeschön, ich glaube mir wäre ohne euch nicht klar geworden dass ich für zukünftige Arbeiten deutlich mehr Zeit in die Planung der Methoden investieren sollte.

Liebe Grüße
Sandra
Brsmn
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Fr 16. Feb 2024, 15:49
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post


Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron