STATISTIK-FORUM.de

[statistiknull]

Hallo liebe Statistik-Profis,

ich habe eine Frage zu ANOVAs und Post-Hoc Tukey Test.

Es liegt eine große Datenbank vor, die in drei Gruppen A, B, C unterteilt wurde.
Jede dieser Gruppen besitzt 15 Merkmale (1-15), für die auch die Mittelwerte bestimmt wurden.

ANOVA wurde gerechnet, F, p-Wert und Effektstärke berechnet. Zudem wurde ein korrigierter P Wert (FDR) errechnet. Soweit so gut.

A-MW B-MW C-MW F p p korrigiert Effektstärke
Merkmal 5 6,93 7,30 7,36 3,61 0,038* 1,000 0,175

(Zur besseren Lesbarkeit zugehöriges unterstrichen. Danke)
Jetzt kommt die eigentliche Frage:
Ich möchte gerne einen Post-Hoc Tukey Test rechnen, um zu sehen, zwischen welchen Gruppen es Unterschiede gibt.
Darf ich das oder nicht?

--> Muss ich den korrigierten P-Wert betrachten und damit p=1 --> kein Post-Hoc Test erlaubt
oder
darf ich zumindest irgendwie von Trends sprechen "vor Korrektur" (p = 0.038) und dann Post-Hoc Test rechnen?

Der Posthoc Tukey Test zeigt mir für Gruppe A vs. B

Merkmal 5: p= 0,072 an. (Meinem Verständnis nach ist der Tukey Test ja automatisch korrigiert)

Wie darf ich diese vorliegenden Daten interpretieren bzw. darf ich Tukey Test machen oder nicht? Trends? Signifikanzen?

Herzlichen Dank

[bele]

Hallo statistiknull,

Tabellen kannst Du am einfachsten mit code-Tags hier posten:

Code: Alles auswählen

             A-MW  B-MW  C-MW    F      p     p korrigiert    Effektstärke
Merkmal 5    6,93  7,30  7,36   3,61  0,038*  1,000              0,175


Zu der Korrektur von p-Werten kann man lebhaft diskutieren und streiten und sich uneinig sein. Eine Minderheitenmeinung die mir sehr gefällt habe ich bei Gelmann und Hill gefunden. Im Prinzip sagen die: Letztlich ist fast jede Nullhypothese falsch, wir finden es daher nicht so schlimm, wenn mal eine zuviel als falsch erkannt wird und lassen jede Korrektur für multiples Testen weg.

Wie gesagt, sicher eine Minderheitsmeinung. Was wollen diese Leute uns sagen? Dass das Problem des multiplen Testens keines ist? Ganz sicher nicht. Die Frage ist, wie man damit umgeht. Persönlich glaube ich, dass es oft besser wäre, nicht am p-Wert herumzukorrigieren sondern in der Diskussion der Ergebnisse klar zu stellen, dass man multipel getestet hat und dass die einzelnen Signifikanzen daher jedes Mal mit einem Fragezeichen zu versehen sind. Das träfe den Kern des Problems IMHO deutlich besser als die Division von p-Werten.

Dein Studiendesign mit 15 ANOVAS für 15 Merkmale fordert das Problem des multiplen Testens heraus - das ist ein Problem, sollte aber nicht dazu führen, die Daten nicht gründlich zu analysieren. Die Daten sind ja nicht weniger wertvoll, nur weil gleichzeitig noch andere Daten erhoben wurden. Ich wäre daher dafür, die post-hoc-Tests zu rechnen und zu berichten. Ob man das dann Signifikanz oder Trend nennt, darüber will ich nicht streiten. Dafür hast Du wahrscheinlich einen Betreuer Deiner Arbeit, dessen Meinung bei Abschlussarbeiten zählt.

LG,
Bernhard

[statistiknull]

Lieber Bernhard,

vielen herzlichen Dank für die so schön formulierte Antwort. Wirklich treffend geschrieben, vielen Dank!