STATISTIK-FORUM.de

[Nanina]

Hallo zusammen,

ich habe ein Problem mit meinen Auswertungsergebnissen. Es gibt in den Daten einen "augenscheinlichen" Unterschied, der einer Analyse wert scheint. Aber wo im t-Test ein signifikanter Unterschied auftritt, ist die entsprechende Interaktion in der Messwiederholungs-ANOVA weit entfernt vom Signifikanzniveau. Die Effektgröße liegt bei Cohen's d=0.37.

Das Studiendesign: Es handelt sich um ein Prä-Post-Design mit zwei Interventionsgruppen. N=139, 69 in Gruppe A, 70 in Gruppe B. Prä findet zunächst eine Aufmerksamkeitsmessung statt, Outcome sind Reaktionszeiten (RT). Dann findet ein Schmerzreiz statt, mit dem Gruppe A und B jeweils unterschiedlich umgehen sollen. Dann wird erneut eine Aufmerksamkeitsmessung durchgeführt, Outcome RT.

Aus den RT der beiden Aufmerksamkeitsmessungen wird ein Aufmerksamkeitsindex berechnet. Negative Werte bedeuten "weniger Aufmerksamkeit", positive Werte bedeuten "mehr Aufmerksamkeit". Dieser Index ist die AV in den Berechnungen.

Vergleicht man nun die Gruppen A und B hinsichtlich des Index, und die Veränderung des Index von prä nach post innerhalb den Gruppen, so stellt man fest, dass sich prä-Test Gruppe A (M=-13.51 (SD=38.7)) von Gruppe B (M=-1.26 (SD=25.8)) signifikant unterscheidet (t(134)=2.17, p=.032, Cohen’s d=0.37), im post-Test nicht mehr (Gruppe A= M=-0.71 (SD=35.8), Gruppe B= M=-0.12 (SD=27.3)). Ebenso unterscheidet sich Gruppe A von prä nach post (t(68)=-2.14, p =.036, Cohen’s d= 0.34). Innerhalb von Gruppe B zeigt sich kein signifikanter Unterschied.
Diese Rechnung ist allerdings nur eine „Vor-Rechnung“, das Herzstück der Analyse ist eigentlich eine Messwiederholungs-ANOVA mit dem Index (prä und post) als Innersubjektfaktoren, und Gruppe (A/B) als Faktor. Nun würde man (ich zumindest) nach den bisherigen Erkenntnissen erwarten, dass die Interaktion zwischen „time“ (prä/post) und „group“ (Gruppe A/B) einen signifikanten Effekt zeigt. Tut sie aber nicht: time*group (F(1,134)=2,28, p=.134). Warum?

Bonusfrage: Die ANOVA ist eigentlich komplizierter, es ist noch ein zweiter Index zum Vergleich drin (Innersubjektfaktoren sind Index 1 prä/post und Index 2 prä/post), sowie Geschlecht als weiterer Faktor zusätzlich zur Gruppe (A/B). Damit ist der signifikante Effekt endgültig vom Tisch. Time*indextype*group (F(1,132)=.39, p=.534).

Das wäre ja auch eigentlich kein großes Ding, Ergebnisse sind halt, wie sie sind. Dennoch würde das Ergebnis der t-Tests die Hypothese bestätigen, und Ergebnisse vorangegangener Studien replizieren, daher möchte ich schon sichergehen, dass ich es zu Recht verwerfe, wenn es halt so ist.

Die Hauptfragen sind: Warum unterscheiden sich t-Test und ANOVA in den Aussagen?
Ist ANOVA überhaupt geeignet, um die Frage zu beantworten, ob die Gruppen A und B sich zwischen prä und post unterscheiden, also ob eine Veränderung im Aufmerksamkeitsindex stattgefunden hat?

Ich habe so viel gelesen (über Monate) und habe das Gefühl, es wird immer komplizierter statt einfacher. Hilfe…

Die beiden Indizes (mit Index 2, siehe Bonusfrage) in der Grafik. Hmm, ich kann keine Datei anhängen... "Das Kontingent für Dateianhänge ist bereits vollständig ausgenutzt." Ich versuch es auf anderem Wege... Hier zum Bild: https://share-your-photo.com/aa7f6671a9

[Nanina]

Dazu noch eine Ergänzung. "Verbotenerweise" habe ich mir über die Syntax die Paarweisen Vergleiche für die Interaktion time*indextyp*group angeschaut (obwohl mit F(1,132)=.39, p=.534 ja keine signifikante Interaktion vorliegt).

Dort allerdings zeigen sich wieder signifikante Gruppenunterschiede in der bereits in den t-Tests gesehenen Richtung.
- Innerhalb Gruppe A gibt es einen Prä-Post-Unterschied: prä: -14,5 (SE 4,1), post: -1,7 (SE 4,0), p=.023 (Vergleich hinsichtlich "time")
- Zwischen Gruppe A und B gibt es einen Unterschied im Prä-Zeitpunkt: Gruppe A: -14,5 (SE 4,1), Gruppe B: -2,3 (SE 4,2), p=.040 (Vergleich hinsichtlich "group")


... und wenn man noch die beiden Indextypen vergleicht, dann zeigt sich in Gruppe A auch hier ein signifikanter Unterschied: Index 1 (der um den es eigentlich geht): -14,5 (SE 4,1), Index 2 (Vergleichsindex): -1,9 (SE 3.4), p=.024 (Vergleich hinsichtlich "indextyp")

Alle anderen denkbaren Unterschiede waren deutlich außerhalb des Signifikanzbereiches (zwischen p=.413 und p=.789).

Was ich weiterhin nicht verstehe:
- Die Daten zeigen einen augenscheinlichen Unterschied (siehe Grafik https://share-your-photo.com/aa7f6671a9)
- der zeigt sich in t-Tests als signifikant
- der hat eine Effektstärke, bei der man von einem "kleinen bis klein-mittleren Effekt" sprechen kann
- der zeigt sich NICHT in der dazugehörigen Interaktion in der rmANOVA
- ... OBWOHL er sich in den dazugehörigen paarweisen Vergleichen wieder zeigt!


Aufgrund theoretischer Überlegungen zu dem Thema wurde dieser Effekt auch erwartet! Das war unsere Hypothese (und die wird von der Literatur entsprechend unterstützt, es geht hier also nicht um einen "positive bias" hinsichtlich des Publizierens.

[PonderStibbons]

Der Wechselwirkungstest ist der eigentliche Test Deiner Hypothese. Die t-Testerei befasst sich mit anderen Hypothesen. Deren Ergebnisse vergleichend zu interpretieren unterliegt dem Irrtum, dass signifikant=existent und nichtsignifikant= nichtexistent bedeutet. „The difference between significant and not significant is not itself stistically significant“ (Andrew Gelman) .

Übrigens gibt es in Stichproben keine Effektstärken, sonst wäre die Inferenzststistik ja überflüssig. Man kann natürlich Effektstärkemaße berechnen, aber das sind nicht die tatsächlichen Effektstärken (die in der Grundgesamtheit), weil eben durch den Stichprobenzufall zwangsläufig größer oder kleiner ausfallend.

Mit freundlichen Grüßen

PonderStibbons

[PonderStibbons]

P.S.
Die Alternative zu der Messwiederholungs-Varianzanalyse wäre die Ermittlung der individuellen prä-post Differenzen und Vergleich zwischen den Gruppen per t-Test.

[Nanina]

Hey, danke für die schnelle Antwort!

Nur zum Verständnis meinerseits, könnte man sagen, dass die Interaktion in der rmANOVA nicht signifikant ist, und die t-Tests aber doch, weil es Outlier gibt? (und der Mittelwertsunterschied letztendlich an denen liegt, was in der rmANOVA aber anders berücksichtigt wird als in den t-Tests?)

Hintergrund zu der Frage: Ich habe inzwischen nochmal genauer in die Daten geschaut, auch hinsichtlich Outlier. Die Daten wurden vor der Indexberechnung von Outliern bereinigt, aber nicht mehr danach. Allerdings hängt der "Effekt" an einigen wenigen Personen, und wenn man diese Fälle "trimmt", dann verschwindet er auch. Wenn man allerdings winsorized, dann bleibt er. Aber gut - jetzt, da ich weiß, dass der Effekt auf wenigen Personen beruht, bin ich auch weniger geneigt, ihn als "echt" zu sehen (obwohl es natürlich schon "echt" ist im Sinne von "das wurde so beobachtet/gemessen"!). Aus genau dem Grund (es ist immer noch eine reale Beobachtung) würde ich letztendlich auch die Daten mit Outliern berichten, und separat darauf eingehen, warum die Interaktion in der ANOVA nicht signifikant ist, die t-Tests aber doch (falls das der mögliche und/oder wahrscheinliche Grund ist). Ich wäre aber weniger enthusiastisch, einen tatsächlichen, generellen Gruppenunterschied zu berichten.

[Nanina]

P.S.
Die Alternative zu der Messwiederholungs-Varianzanalyse wäre die Ermittlung der individuellen prä-post Differenzen und Vergleich zwischen den Gruppen per t-Test.

Ich dachte, das hätte ich? Wenn nicht, was ist der Unterschied zwischen dem was ich gemacht habe und deinem Vorschlag?

[PonderStibbons]

könnte man sagen, dass die Interaktion in der rmANOVA nicht signifikant ist, und die t-Tests aber doch, weil es Outlier gibt?

Dafür sehe ich jetzt keine Veranlassung. Außerdem erscheint es wie gesagt nicht sinnvoll,
die t-Tests mit der ANOVA zu vergleichen, es sind Tests zu unterschiedlichen Fragen.
Die Fehlinterpretation von signifikant versus nichtsignifikant = Interaktion ist doch recht
berüchtigt und gehört in das statistische Gruselkabinett (zusammen mit stepwise Regression,
Normalverteilungstests für abhängige Variablen, Dichotomisierung von kontinuierlichen
Variablen und dergleichen).

Mit freundlichen Grüßen

PonderStibbons

[PonderStibbons]

P.S.
Die Alternative zu der Messwiederholungs-Varianzanalyse wäre die Ermittlung der individuellen prä-post Differenzen und Vergleich zwischen den Gruppen per t-Test.

Ich dachte, das hätte ich? Wenn nicht, was ist der Unterschied zwischen dem was ich gemacht habe und deinem Vorschlag?

Hast Du das? Dann habe ich das in der Menge der berichteten Tests leider übersehen.
Mit schien, Du hast die Gruppen prä verglichen, die Gruppen post verglichen, innerhalb
der einzelnen Gruppen prä versus post, aber nicht die indiviuellen Differenzwerte zwischen
den Gruppen.

Mit freundlichen Grüßen

PonderStibbons

[Nanina]

die indiviuellen Differenzwerte

Duh, ja, jetzt weiß ich was du meinst. Das ist alles nicht signifikant. Rechnen von t-Tests mit difference scores: Mit Outliern und winsorized geht es in die Richtung (p=.134/.132), und getrimmt (p=.443) ist es weit davon entfernt. Also eindeutig n.s., alles.

Beim Trimmen wurden 7 (von 139) Cases komplett entfernt, vier in Gruppe A und 3 in Gruppe B. Verteilt auf die vier Variablen von INteresse, "präIndex1" (2 Outlier-Cases), "präIndex2" (1), "postIndex1" (2) und "postIndex2" (2). Man kann also sagen, an denen hing der Effekt. Als Outlier klassifiziert wurden extreme Outlier in Boxplots, also >3 mal interquartile range.

[Nanina]

Die Fehlinterpretation von signifikant versus nichtsignifikant = Interaktion ist doch recht
berüchtigt und gehört in das statistische Gruselkabinett

Das ist das Problem mit der vernünftig gemachten Statistik auf der einen Seite, und dem, was in der Wissenschaft tatsächlich gemacht wird, auf der anderen Seite. Ich hab da schon Dinger gesehen... (und ich selbst bin ja jetzt kein Guru ) Ich sehe es kommen, ich mache es, wie man es machen soll, und Reviewer 2 so
Haha! I'll cross that bridge when I get to it.