STATISTIK-FORUM.de

[Mina91]

Hallo,
in meiner Studie habe ich die Variablen „Alter in Jahren“ und „Geschlecht“ als Kontrollvariablen erhoben, die mir nun aber meine ganzen Analysen durcheinanderzubringen scheinen …

Mein Vorgehen bisher:
In einem ersten Schritt habe ich die Korrelation der beiden Kontrollvariablen mit meinen anderen Variablen überprüft und gesehen, dass sie mit keiner der anderen Variablen signifikant korrelieren.
Frage Nummer 1: Muss ich sie in meinen weiteren Berechnungen trotzdem als Kontrollvariablen beachten oder reicht das als Grund, dass sie keinen signifikanten Einfluss auf meine Berechnungen haben? Theoretisch gehe ich von keinem Einfluss aus.


Da ich davon ausgegangen bin, dass ich sie weiter mitbeachten muss, habe ich im nächsten Schritt mehrere multiple Regressionsanalysen in SPSS gerechnet. Dabei habe ich im 1.Block die beiden Kontrollvariablen eingefügt und im zweiten Block meine zwei UVs.
Frage Nummer 2: Falls das so vom Vorgehen richtig ist, wie berichte ich das in einer wissenschaftlichen Arbeit? Beschreibe ich einfach kurz in einem Satz, dass Alter und Geschlecht als Kontrollvariablen in die Berechnungen eingegangen sind und berichte sonst nur die relevanten Kennwerte meiner anderen UVs? Oder muss ich auch die Ergebnisse der Kontrollvariablen genauer beschreiben (die immer - wie erwartet - nicht signifikant werden).

Nun hat sich in mehreren Berechnungen gezeigt, dass eigentlich signifikante Ergebnisse (ohne die Kontrollvariablen) nicht mehr signifikant sind, sobald ich Alter und Geschlecht in die Berechnungen aufnehme. Exemplarisch hier an einer der Regressionsanalysen:
Mit meinen Kontrollvariablen wird das Gesamtmodell knapp signifikant, jedoch keine der einzelnen Variablen (weder Kontrollv., noch die anderen UVs).
Frage Nummer 3: Wie wäre das zu interpretieren? Rechne ich das gleiche Modell ohne die Kontrollvariablen, wird das Gesamtmodell deutlich signifikant und eine meiner UVs auch. Ich verstehe nicht, wie dieser Effekt zustande kommt und wie ich damit umgehen soll. Es wäre toll, wenn mir da wer helfen könnte!

Vielen Dank schonmal!

[mango]

Frage Nummer 1: Muss ich sie in meinen weiteren Berechnungen trotzdem als Kontrollvariablen beachten oder reicht das als Grund, dass sie keinen signifikanten Einfluss auf meine Berechnungen haben? Theoretisch gehe ich von keinem Einfluss aus.

Hallo,

das steht dir meines Erachtens prinzipiell frei. Allerdings kann selbst eine in bivariaten Analysen nicht signifikante Variable als zusätzliche Variable in einem multivariaten Modell durchaus einen Unterschied machen, wie du ja selbst siehst.

Da ich davon ausgegangen bin, dass ich sie weiter mitbeachten muss, habe ich im nächsten Schritt mehrere multiple Regressionsanalysen in SPSS gerechnet. Dabei habe ich im 1.Block die beiden Kontrollvariablen eingefügt und im zweiten Block meine zwei UVs.
Frage Nummer 2: Falls das so vom Vorgehen richtig ist, wie berichte ich das in einer wissenschaftlichen Arbeit? Beschreibe ich einfach kurz in einem Satz, dass Alter und Geschlecht als Kontrollvariablen in die Berechnungen eingegangen sind und berichte sonst nur die relevanten Kennwerte meiner anderen UVs? Oder muss ich auch die Ergebnisse der Kontrollvariablen genauer beschreiben (die immer - wie erwartet - nicht signifikant werden).

Letzten Endes ist es in diesem Fall wohl redundant, nacheinander Variablen ins Modell einzufügen, da du die entsprechenden Voruntersuchungen ja schon durchgeführt hast. Es ist sauberer, alle Variablen samt Koeffizienten und t-Tests gleichermaßen tabellarisch darzustellen. Ich habe aber auch schon zahlreiche Veröffentlichungen gesehen, die nur erwähnen, dass Modell sei für bestimmte Kontrollvariablen "adjustiert" (Ausdruck aus der klinischen Forschung).

Nun hat sich in mehreren Berechnungen gezeigt, dass eigentlich signifikante Ergebnisse (ohne die Kontrollvariablen) nicht mehr signifikant sind, sobald ich Alter und Geschlecht in die Berechnungen aufnehme. Exemplarisch hier an einer der Regressionsanalysen:
Mit meinen Kontrollvariablen wird das Gesamtmodell knapp signifikant, jedoch keine der einzelnen Variablen (weder Kontrollv., noch die anderen UVs).
Frage Nummer 3: Wie wäre das zu interpretieren? Rechne ich das gleiche Modell ohne die Kontrollvariablen, wird das Gesamtmodell deutlich signifikant und eine meiner UVs auch. Ich verstehe nicht, wie dieser Effekt zustande kommt und wie ich damit umgehen soll. Es wäre toll, wenn mir da wer helfen könnte!

Eine solche Deutung ist ohne die Originaldaten oder zumindest die Originaloutputs natürlich immer schwierig. Denn eigentlich ist ja von Interesse, welche Struktur der Daten für dieses Ergebnis verantwortlich ist und das kann man nicht erraten. Trotzdem ein Versuch: Du musst immer im Hinterkopf behalten, was ein t-Test und was ein F-Test genau tut. Ein nicht-signifikantes Ergebnis bedeutet nicht, dass kein Zusammenhang in deinen Daten vorhanden ist. Es besagt ausschließlich, dass der Zusammenhang nicht groß genug ist, um auf einem bestimmten Signifikanzniveau als überzufällig zu gelten. Wird ein signifikanter Effekt bei Kontrolle auf andere Variablen insignifikant, liegt das schlicht daran, dass der Effekt, wenn er stratifiziert gemessen wird, geringer ausfällt und damit die Teststatistik unter den kritischen Wert fällt. Das impliziert ganz offensichtlich nicht, dass der Einfluss der Kontrollvariable selbst signifikant sein muss.

Bei der Varianzaufklärung ist es etwas komplizierter. Dass die sinkt, wenn man zusätzliche Variablen ins Modell einfügt, halte ich eigentlich für ausgeschlossen. Reden wir vom normalen oder vom adjustierten R²? Am besten postest du mal die beiden Outputs (jeweils nur die Tabelle, die die Koeffizienten und R² enthält), dann kann man besser darüber diskutieren.

[PonderStibbons]

in meiner Studie

Worum geht es inhaltlich in der Studie, wie lautet die Fragestellung,
was sind konkret die abhängige Variable und die Prädiktoren und wie
grüß ist de Stichprobe?

habe ich die Variablen „Alter in Jahren“ und „Geschlecht“ als Kontrollvariablen erhoben,

Warum und wozu?

mit keiner der anderen Variablen signifikant korrelieren.

Was heißt das, p=0,050? p=0,93? Wie hoch sind die Korrelationskoeffizienten?

Nun hat sich in mehreren Berechnungen gezeigt, dass eigentlich signifikante Ergebnisse (ohne die Kontrollvariablen)

Was heißt das? p=0,000001? p=0,049?

nicht mehr signifikant sind, sobald ich Alter und Geschlecht in die Berechnungen aufnehme. Exemplarisch hier an einer der Regressionsanalysen:
Mit meinen Kontrollvariablen wird das Gesamtmodell knapp signifikant, jedoch keine der einzelnen Variablen (weder Kontrollv., noch die anderen UVs).

Wie sah R² im ersten Schritt aus, wie änderte sich R² durch Hinzunahme der
beidem Prädiktoren. Regressionsgewichte, p-Werte wären von Interesse.

Mit freundlichen Grüßen

PonderStibbons

[Mina91]

Hallo mango,

vielen Dank für deine schnelle Antwort.
Die tabellarische Darstellung von t-tests werde ich mir mal anschauen, in meiner bisherigen Variante habe ich einfach die Kennwerte der Regression berichtet. Danke für den Tipp.

Zu Frage 3:
Ich hänte die Tabellen mit an den Beitrag an. Tatsächlich meinte ich mit der Signifikanz nicht R bzw. R², sondern die Signifikanz des F-Wertes. das Signifikanzniveau ist bei dem Modell inkl. Kontrollvariablen bei p= .044 und bei dem Modell ohne Kontrollvariablen bei p= .015.
Wenn ich jetzt nur das Modell mit den Kontrollvariablen berichte, würde ich ja davon ausgehen, dass keiner meiner UVs einen signifikanten Einfluss hat.

Okay, ich kann leider keine Dateinanhänge hochladen und füge die Bilder jetzt direkt in den Text ein. Ich hoffe, es ist lesbar...

Mit Kontrollvariablen:



Ohne Kontrollvariablen:

[Mina91]

Worum geht es inhaltlich in der Studie, wie lautet die Fragestellung,
was sind konkret die abhängige Variable und die Prädiktoren und wie
grüß ist de Stichprobe?

Es geht um die Wahrnehmung von Stress. Die Teilnehmer haben am PC eine Tätigkeit als Verkäufer simuliert und sollten dann mithilfe eines Fragebogens das Level als Eustress und Distress einschätzen. Abhängige Variable ist in diesem Fall die Leistung. N = 50

Warum und wozu?

Alter und Geschlecht wurden mit anderen demographischen Daten am Anfang von den Teilnehmern angegeben. Zweck war es auszuschließen, dass Alter und Geschlecht einen Einfluss auf die Effekte haben. Ehrlich gesagt, kenn ich es einfach so, dass man gewisse Variablen zur Kontrolle erhebt..

Was heißt das, p=0,050? p=0,93? Wie hoch sind die Korrelationskoeffizienten?

Die Korrelationskoeffizienten der beiden Kontrollvariablen mit den anderen drei in der Regression verwendeten Variablen sind bei maximal p= .223 . Der Rest liegt fast ausschließlich bei p= .0XX


Die restlichen Fragen beantworten die Tabellen, die ich gerade gepostet habe.
Auch dir danke für deine Hilfe!

[mango]

Danke für den Anhang.

Ich hänte die Tabellen mit an den Beitrag an. Tatsächlich meinte ich mit der Signifikanz nicht R bzw. R², sondern die Signifikanz des F-Wertes.

Der F-Test des Modells ist ein Test der Varianzaufklärung (=R²) auf Signifikanz. Das ist also das gleiche.

Mein Denkfehler war gerade, dass ein steigender p-Wert natürlich kein sinkendes R² impliziert. Die Zahl der UVs im Modell geht in die Berechnung der Teststatistik mit ein, sodass die gleiche (unadjustierte) Varianzaufklärung für ein Modell mit mehr UVs einen geringeren F-Wert und somit einen höheren p-Wert bedeutet. Analog dazu kannst du das korrigierte R² für beide Variablen vergleichen und wirst feststellen, dass es beim Modell mit Kontrollvariablen kleiner ist.

das Signifikanzniveau ist bei dem Modell inkl. Kontrollvariablen bei p= .044 und bei dem Modell ohne Kontrollvariablen bei p= .015.

Achtung: "Signifikanzniveau" = Kritischer p-Wert, den du im Voraus festlegst; "Sig." im SPSS-Output; Fehlerwahrscheinlichkeit (p-Wert), die du mit deinem Signifikanzniveau abgleichen musst.

Wenn ich jetzt nur das Modell mit den Kontrollvariablen berichte, würde ich ja davon ausgehen, dass keiner meiner UVs einen signifikanten Einfluss hat.

Unter Kontrolle auf deine beiden KVs ist das auch so.


Wie groß ist denn deine Stichprobe?

[Mina91]

Stimmt, das mit dem "Signifikanzniveau" war einfach nur ein Schreibfehler

Meine Stichprobe ist N=50
Ich habe leider mehrere Analysen, wo meine Kontrollvariablen das Ergebnis schlechter bzw. nicht mehr signifikant werden lassen, deswegen ist es schon sehr ärgerlich, wenn ich das so hinnehmen muss

[mango]

Ob dich die Kontrollvariablen interessieren, sollte immer primär eine theoretische Entscheidung ex ante sein. Die Frage ist: Filtert eine Kontrollvariable eine Korrelation zwischen UV und AV heraus, die kausal durch die Kontrollvariable verursacht wird, also eine Scheinkorrelation ist? Hat das Alter sowohl einen Einfluss auf deine AV als auch auf deine UV, sodass für dich der bereinigte Einfluss der UV auf die AV von Interesse ist? Wenn du auf Basis deiner Vorüberlegungen davon ausgehen kannst, ist doch alles in Ordnung und eine Interpretation des Zusammenhangs ohne Kontrolle auf das Alter wäre unsinnig.

[mango]

Übrigens: Eine geeignete Präsentation deiner Ergebnisse in einer Tabelle wäre (lt. ASA Manual) in Zeile 1 -2 "Modell 1" mit den Haupteffekten der Kontrollvariablen (aus deinem "Block 1") und in Zeile 3 - 4 "Modell 2" mit den Haupteffekten der eigentlichen UVs aus dem kompletten Modell mit KVs. Darunter könntest du dann ggf. noch Interaktionseffekte aus einem dritten Modell aufführen.

[PonderStibbons]

Die Studie krankt wie so viele halt an der kleinen Stichprobe bei allenfalls
mäßig Starken Beziehungen zwischen Variablen. Da wird dann viel
hin- und hergerechnet. Man sieht eben, Alter und Geschlecht klären
einen Teil der Varianz auf, der sonst den Prädiktoren zugeschlagen
worden wäre, das Ganze eiert um die magische Signifikanzschwelle
alpha=0,05 herum, mal ein bißchen drüber, mal drunter. Noch irgendeine
weitere sinnige Kontrollvariable, und der Effekt ist ganz weg.

Immerhin aber klärt das 2. Modell markant mehr Varianz auf. Du könntest
noch berichten, ob der Anstieg im R² statistisch signifikant ist.

Mit freundlichen Grüßen

PonderStibbons