t-Tests oder mixed anova?

Alles zu (M)ANOVA, ALM...

t-Tests oder mixed anova?

Beitragvon Ernst92 » So 5. Jul 2020, 09:06

Hallo,
ich habe zwei Gruppen (Experimental- und Kontrollgruppe, EG und KG) mit zwei Messzeitpunkten (Prä- und Posttestung). Die EG erhielt für 6 Wochen ein treatment, die KG nicht. Gemessen wurden 6 Faktoren vor dem treatment und 6 Wochen danach. Nun stehe ich vor der Frage welcher Test verwendet werden soll. Die Daten sind übrigens normalverteilt und metrisch. Ich habe an t-Tests für abhängige Stichproben oder an eine mixed anova gedacht und beides ausprobiert.
- t-Tests für gepaarte Stichproben (separat für EG und KG) -> Ergebnisse werden für EG signifikant, für KG nicht.
- mixed anova: Den Innersubjektfaktor stellte der Messzeitpunkt dar, den Zwischensubjektfaktor die Gruppenzugehörigkeit. Ergebnisse werden für den Faktor Zeit signifikant, für Gruppenzugehörigkeit nicht.

Meine Fragen:
- welcher der Tests (oder ist es doch ein komplett anderer?) eignet sich?
- Wie kann es sein, dass die Ergebnisse bei den t-tests signifikant werden für die EG (und KG nicht- deshalb nahm ich an, die Gruppenzugehörigkeit hat einen Effekt) und bei der mixed anova der Faktor Gruppenzugehörigkeit nicht?
- kann man beide Tests verwenden und die Ergebnisse beschreiben oder "übertestet" man dann?

MfG und danke schon einmal für Rückmeldungen.
Ernst92
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: So 5. Jul 2020, 08:33
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: t-Tests oder mixed anova?

Beitragvon bele » So 5. Jul 2020, 12:18

Hallo!

Ernst92 hat geschrieben: dass die Ergebnisse bei den t-tests signifikant werden für die EG (und KG nicht- deshalb nahm ich an, die Gruppenzugehörigkeit hat einen Effekt)


Hier steckt ein Denkfehler drin. Der Unterschied zwischen signifikant und nicht-signifikant ist leider bedeutungslos und beweist gar nichts. Genau deshalb solltest Du den t-Test einfach verwerfen und nur die Varianzanalyse berichten.

Vom folgenden Artikel solltest Du erst den letzten Satz lesen und dann entscheiden, ob Du den Artikel selbst lesen willst:
http://www.stat.columbia.edu/~gelman/re ... ignif4.pdf

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5748
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1343 mal in 1330 Posts

Re: t-Tests oder mixed anova?

Beitragvon PonderStibbons » So 5. Jul 2020, 14:09

ich habe zwei Gruppen (Experimental- und Kontrollgruppe, EG und KG)

Wie groß? Mit randomsierter Gruppenzuweisung? Mit in etwa gleichen Ausgangswerten?
- t-Tests für gepaarte Stichproben (separat für EG und KG) -> Ergebnisse werden für EG signifikant, für KG nicht.

Man kann das nicht getrennt testen, wenn man Gruppen vergleichen will.
Bitte merken. Jede Menge teurer medizinischer und biologischer
Forschung kann man in die Tonne kloppen, weil Leute diesen basalen
Fehler gemacht haben. Siehe auch Literaturhinweis von bele.
- mixed anova: Den Innersubjektfaktor stellte der Messzeitpunkt dar, den Zwischensubjektfaktor die Gruppenzugehörigkeit. Ergebnisse werden für den Faktor Zeit signifikant, für Gruppenzugehörigkeit nicht.

Der ausschlaggebende Test ist die Interaktion (ob die Änderung über die
Zeit je nach Gruppe unterschiedlich ist).
- welcher der Tests (oder ist es doch ein komplett anderer?) eignet sich?

Du kannst die prä-post Differenzen berechnen und zwischen den Gruppen vergleichen,
ist analog zu einer Mixed ANOVA.
- Wie kann es sein, dass die Ergebnisse bei den t-tests signifikant werden für die EG (und KG nicht- deshalb nahm ich an, die Gruppenzugehörigkeit hat einen Effekt) und bei der mixed anova der Faktor Gruppenzugehörigkeit nicht?

Gruppenzugehörigkeit testet, ob über beide Messzeitpunkte hinweg der level der
einen Grupppe höher ist als derjenige der anderen Gruppe, Wie gesagt ist aber die
Interaktion von Interesse. Und ob das eine statistisch signifikant ist (p=0,0499?
p=0,00000001?) und das andere nicht (p=0,050? p=0,99?) ist (s.o.) nicht informativ.
MfG

wtf

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11228
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 49
Danke bekommen: 2467 mal in 2451 Posts

Re: t-Tests oder mixed anova?

Beitragvon Ernst92 » Mo 6. Jul 2020, 15:17

Danke für eure Antworten!

Die Gruppen sind gleich groß (n=25), nicht randomisiert, daher auch unterschiedliche Ausgangswerte (Experimentalgruppe durchgehend niedriger Werte als Kontrollgruppe).

D.h. t-Tests lasse ich komplett weg, weil es nicht relevant (bzw. interpretierbar) ist, dass bei der EG der Mittelwertvergleich signifikant wird und bei der KG nicht (wenn ich keine KG hätte - wäre das die Vorgehensweise, oder?)

Aber da ich die Kontrollgruppe habe, mache ich die mixed anova.Der Interaktionseffekt ist nicht signifikant bei der mixed anova - das würde dann bedeuten, dass die Verbesserung auf den zeitlichen Faktor zurückzuführen ist und NICHT auf die Gruppenzugehörigkeit? Die Verbesserung, die ich dann grafisch bei der EG sehe ist dann zwar vorhanden, aber nicht signifikant?

Danke für den Artikel, werde ich mir die Woche durchlesen!

MfG
Ernst92
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: So 5. Jul 2020, 08:33
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post


Zurück zu Varianzanalysen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast