STATISTIK-FORUM.de

[Alfred.Folger]

Guten Tag,

ich habe drei Messungen und diese mit einer messwiederholten ANOVA ausgewertet, dann mit post-hoc-Tests. Erwartet wurde, dass es Unterschiede zwischen allen Messzeitpunkten gibt.

Tatsächlich kam das dabei raus:

a vs. b --> Unterschied
a vs. c --> Unterschied
c vs. b --> Kein Unterschied

Das zwischen c und b keine Unterschiede gefunden werden war nicht meine Hypothese. Dennoch lässt sich dieses Ergebniss theoretisch gut erklären. Allerdings vermute ich, dass ich nicht ohne weiteres davon ausgehen kann, das die Werte gleich sind, nur weil keine Unterschiede gefunden wurden. Die Werte sind aber (6,3 vs. 6,6) relativ nah beieinander, so dass ich das vermute. Wie kann ich diese Gleichheitshypothese testen? In den Standard-Statistiklehrbüchern finde ich nichts. Ich habe einen Artikel gefunden in dem wurde einfach das Signifikanzniveau auf 30 % hochgesetzt und behauptet, wenn dann immer noch keine Unterschiede gefunden werden, kann man von Gleichkeit ausgehen. Kann man so tatsächlich vorgehen? Aus welchem Grund? Kennt jemand noch eine bessere Quelle (ich trau' dem Artikel nicht recht)?

Beste Grüße
Alfred Folger

[strukturmarionette]

Hi,

abh. vom Stichprobenumfang zusätzlich die Resultate von T-Tests für abh. Messungen anwenden und interpretieren.

S.

[Alfred.Folger]

Hi,

abh. vom Stichprobenumfang zusätzlich die Resultate von T-Tests für abh. Messungen anwenden und interpretieren.

S.

Die Stichprobe besteht aus 51 VP. Was sagt mir das? Und was meinst Du mit "zusätzlich" die Resultate von T-Tests anwenden? Die post-hoc-Tests sind doch auch nichts anderes als T-Tests, evtl. noch mit Korrektur (Bonferroni) oder eben ganz normale, unkorrigierte T-Tests (LSD). Ich dachte aber gerade, das es so einfach nicht wäre?

Gruß,
AF

[strukturmarionette]

Hi,

sorry, wenn du diese T-Tests (mit Alphafehlerkorrektur) -für abh. Stichproben gemacht hast- (im Rahmen von ´Post Hoc- Tests´), wäre das, was ich meine.

Was anders fällt -zumindest mir- auch nicht ein.

S.

[Alfred.Folger]

Danke, aber ich denke die t-Tests darf man in der Art nur für Unterschiedshypothesen anwenden, wenn ich da nichts falsch verstanden habe. Was ich testen will, sind Gleichheitshypothesen.

Hat sonst noch jemand eine Idee?

[PonderStibbons]

Schau mal nach Äquivalenztestung (equivalence testing).

Gruß

P.

[Alfred.Folger]

Danke für das richtige Stichwort, PonderStibbons.

Ich habe hier eine schöne Vorlage gefunden, mit der man die Äquivalenztests rechnen kann (falls mal wieder jemand was sucht): http://www.acomed-statistik.de/math_files/aeqtst02.xls

Beim Rechnen ist mir klar geworden, dass tatsächlich zum Teil Unterschiedshypothesen und zum Teil Äquivalenzhypothesen habe, dass ich diese pauschal mit der messwiederholten ANOVA und dann mit post-hoc-Tests getestet habe, war also wohl gar nicht der richtige Ansatz.

Ich habe insgesamt drei Messzeitpunkte, t1 bis t3. Zu jedem der Messzeitpunkte führe ich zwei Aufgaben a1 und a2 durch. Es gibt insgesamt die folgenden Äuqivalenz- und Unterschiedshypothesen.

Unterschiedshypothesen:

a1_t1 vs. a1_t2
a1_t1 vs. a1_t3
b1_t1 vs. b1_t2
b1_t1 vs. b1_t3

Gleichheitshypothesen:

a1_t2 vs. a1_t3
b1_t2 vs. b1_t3

Die Aufgaben werden teilweise (bei t2 und t3) gleichzeitig bearbeitet (dual-task-paradigma). Bei t1 werden sie dagegen nacheinander bearbeitet. Da ich davon ausgehe, dass es bei zwei Aufgaben gleichzeitg zu einem Leistungseinbruch kommt, habe ich aus beiden Aufgaben zu einem Messzeit auch noch den Summenscore berechnet und Unterschieds- und Äquivalenzhypothesen über die Summenscores aufgestellt.

s1 = a1 + b1
s2 = a2 + b2
s3 = a3 + b3

Unterschieshypothesen:

s1 vs. s2
s1 vs. s3

Äquivalenzhypothese:

s2 vs. s3

Insgesamt will ich also sechs Unterschieds und drei Äquivalenzhypothesen testen. Ich habe mit o.g. Vorlage alle Tests gerechnet. Da die Annahme bei welcher Differenz noch von Äquivalenz auszugehen ist nach Plausibilitätsaspekten und nicht nach mathematischen Gründen festgelegt wird, ist es nicht sehr verwunderlich, das sich die Ergebniss von t-Test und Äquivalenztest teilweise widersprechen (z.B. kommt es vor, dass sowohl Gleichheit als auch ein Unterschied von zwei Mittelwerten gefunden wird).

Fragen:

1. Ich bin zu dem Schluss gekommen, bei den Gleichheitshypothesen nur die Äquivalenzhypothesen zu interpretieren und bei den Unterschiedshypothesen nur die t-Tests. Etwas anderes macht meiner Ansicht nach wissenschaftstheoretisch keinen Sinn, man korrigiere mich wenn ich mich irren sollte. Ich hatte ohnehin den Eindruck, dass die t-Tests bei dieser Fragestellung zu sensitiv reagieren, obwohldie Stichprobe nicht besonders groß ist, wurden bei meiner ersten Auswertung (noch mit ANOVA) vieles statistisch signifikant das praktisch völlig unbedeutent war (trotz Korrektur).

2. Die ANOVA macht hier keinen Sinn, da ich diese dann ja nur über die Gruppen mit Unterschiedshypothesen laufen lassen kann, also lasse ich sie ganz weg. Oder?

2. Da keine Korrektur durchgeführt wurde, ist hier mit einer Alpha- und einer Beta-Inflation zu rechnen. Ich bin mir nicht sicher ob hier sinnvolle Korrekturen durchgeführt werden können. Meines Erachtens tritt die Inflation nur bei gleichen Tests auf, wenn also ein Äquivalenztest und ein t-Test durchgeführt werden, gibt es keine Inflation. Wohl aber wenn von jeder "Sorte" mehrere Tests durchgeführt werden. D.h. für mich, ich müsste eigentlich die Äquivalenz-Tests und die t-Tests separat korrigieren. Ist das richtig? Für die t-Tests würde ich die Bonferroni-Korrektur händig berechnen. Für die Äquivalenz-Tests habe ich im Zusammenhang mit Korrektur nichts brauchbares gefunden. Habe ich etwas übersehen? Oder muss ich hier die Inflation in Kauf nehmen?

Viele Grüße
Alfred

[Alfred.Folger]

Ich habe mich in den vergangenen Tagen intensiv mit dem Äquivalenztest befasst. Unter anderem habe ich hier eine interessante Richtlinie zur Bestimmung von delta, dem Abweichungswert der (korrgiert mit der Standardabweichung) gefunden: http://www.ema.europa.eu/docs/en_GB/doc ... 003636.pdf

Es haben sich jetzt Zweifel bei mir eingestellt ob der Äquivalenztest tatsächlich das ist was ich suche. Ich verstehe es so, dass der Äuqivalenztest ein Test auf praktische Signifikanz ist, nicht aber auf statistische Signifikanz. Angenommen ich führe meinen t-Test durch und es zeigt sich, dass es keinen statistischen Unterschied gibt. Dann brauche ich auch nicht den Äquivalenztest auf praktische Signifikanz durchzuführen, da nicht nachgewiesen ist, dass Unterschiede überzufällig sind. Wenn aber nachgewiesen ist, dass Unterschiede überzufällig sind, muss noch überprüft werden, ob sie überhaupt praktisch signifikant sind. Ich habe Informationen über den Äquivalenztest meist im Zusammenhang mit der Testung von neuen Arzneimitteln gefunden. Wenn ein neues, billiger herzustellendes Arzneimittel "äquivalent" zu einem bereits bekannten, teurer herzustellenden Arzneimittel ist, d.h. es gibt keinen "praktisch signifikanten Unterschied" (wiewohl es statistisch signifikante Unterschiede geben, die aber zu gering sind um praktisch signifikant zu sein), macht es natürlich Sinn einen Äquivalenztest durchzuführen.

Ich fürchte aber, dass man diese Vorgehensweise nicht so ohne weiteres auf meine Untersuchung übertragen kann. Ich habe vielleicht den Fehler gemacht, keine inhaltliche Angaben zu meiner Untersuchung zu machen. Ich lasse verschiedene Arten von Aufgaben von Versuchspersonen bearbeiten. Durch intraindividuelle Leistungsunterschiede in den erbrachten Leistungen bei diesen Aufgaben sollten Rückschlüsse auf das Vorhandensein bestimmter Strukturen im menschlichen Gehirn möglich sein. Ob praktische Signifikanz gegeben ist, wie es bei der Einführung eines neuen Medikaments interessant ist, ist hier eigentlich nicht die Fragestellung.

Insofern würde ich sagen, die Fragen meines letzten Posts, der sich auf die Möglichkeit der Kombination von t-Tests und Äquivalenztests bezog, ist eher unsinnig. Generell würde ich aus heutiger Sicht folgendes behaupten: Es muss zunächst IMMER der t-Test durchgeführt werden. Wenn dieser nicht signifikant wird, braucht man sich über die praktische Signifikanz gar keine Gedanken zu machen. Statistische Signifikanz ist also eine notwendige, aber keine hinreichende Bedingung für praktische Signifikanz.

Insofern stelle ich mir nun erneut die Frage, ob nicht die Vorgehensweise die ich anfänglich zurückgewiesen hatte, hier doch die angemessene sein könnte: Einfach den alpha-Wert des t-Tests hochsetzen und von "statistischer Äquivalenz" ausgehen, wenn der nicht unterschritten wird. Ist z.B. die Irrtumswahrscheinlichkeit beim t-Test >= .95, würde ich mit einer Irrtumswahrscheinlichkeit von 5 % davon ausgehen, dass die beiden Mittelwerte "statistisch äquivalent" sind. Wenn man den Anspruch niedriger setzen will, könnte man sagen, wenn beim t-Test die Irrtumswahrscheinlichkeit >=.80 liegt, kann man mit einer Irrtumswahrscheinlichkeit von 20 % davon ausgehen, dass die beiden Mittelwerte "statistisch äquivalent" sind.

Genau das was ich anfangs für falsch hielt, und was seltsamerweise in der Literatur häufig auch als falsch bezeichnet wird, nämlich dass nicht-signifikant-werden eines t-Tests ein Nachweis dafür ist, dass es keine Unterschiede zwischen Gruppen gibt, wäre dann doch korrekt!!

PonderStibbons, Du hast mich auf die Fährte mit den Äquivalenztests gebracht. Könntest Du (oder jemand anderes der es weiß) mir signalisieren ob ich mit meinen Überlegungen richtig liege?

Besten Dank!

Alfred Folger

[PonderStibbons]

Einfach den alpha-Wert des t-Tests hochsetzen und von "statistischer Äquivalenz" ausgehen, wenn der nicht unterschritten wird. Ist z.B. die Irrtumswahrscheinlichkeit beim t-Test >= .95, würde ich mit einer Irrtumswahrscheinlichkeit von 5 % davon ausgehen, dass die beiden Mittelwerte "statistisch äquivalent" sind. Wenn man den Anspruch niedriger setzen will, könnte man sagen, wenn beim t-Test die Irrtumswahrscheinlichkeit >=.80 liegt, kann man mit einer Irrtumswahrscheinlichkeit von 20 % davon ausgehen, dass die beiden Mittelwerte "statistisch äquivalent" sind.

Das ist eine eklatante Fehlauffassung des p-Wertes. Der p-Wert ist p(Daten|Hypothese), nicht p(Hypothese|Daten).
Letzteres ist Bayes-Statistik. Im frequentistischen Statistikmodell ist es nicht möglich zu belegen, dass 2 Mittelwerte
in der Population genau gleich sind bzw. die Punkthypothese Mittelwert1-Mittelwert2 = 0 exakt gilt.

Das Signifikanzniveau heraufzusetzen und damit den Test sensitiver zu machen, wird besonders dann unsinnig, wenn die
statistische Power des Tests niedrig ist, etwa aufgrund geringer Fallzahlen. Extremes Beispiel, Frauenanteil 20% versus 40% in
zwei Stichproben ist auf dem p=0,20-Niveau nicht signifikant unterschiedlich. Und zwar dann, wenn die beiden Stichproben
jeweils aus n=5 Personen bestehen. Das sagt nichts über die Gültigkeit von Hypothesen. Ein p-Wert im frequentistischen Modell kann das nicht, er sagt nur etwas über die Wahrscheinlichkeit von Daten unter bestimmten Annahmen. Es bleibt also
nur Äquivalenztesten, oder wenn man den frequentistischen Rahmen verlassen will, Bayes-Statistik.

Ich würde auch einmal eine ganz praktische Überlegung hinzuziehen: Wenn es so einfach wäre, z.B. die Wirkungsgleichheit
zweier Arzneimittel durch Heraufsetzen des Signifikanzniveaus zu "beweisen", wieso beschäftigen sich dann ganze Komitees
mit der Erstellung von Richtlinien für Äquivalenztests, den Aufwand könnte man sich dann doch getrost sparen.

Mit freundlichen Grüßen

P.

[Alfred.Folger]

Danke für Deine Ausführungen. Da war ich ja ganz knapp davor, mich mitten in die Nesseln zu setzen.

Ich würde auch einmal eine ganz praktische Überlegung hinzuziehen: Wenn es so einfach wäre, z.B. die Wirkungsgleichheit
zweier Arzneimittel durch Heraufsetzen des Signifikanzniveaus zu "beweisen", wieso beschäftigen sich dann ganze Komitees
mit der Erstellung von Richtlinien für Äquivalenztests, den Aufwand könnte man sich dann doch getrost sparen

.

Wahrscheinlich verstehe ich wieder etwas falsch, aber mir kommt es so vor als würden hier Äpfel mit Birnen verglichen. Ich verstehe den Äquivalenztest nicht so, dass man mit ihm belegen kann zwei Medikamente würden in der Wirkung statistisch nicht signifikant voneinander abweichen. Man legt aus theoretischen Erwägungen einen Korridor fest, welche Abweichung man gerade noch akzeptieren würde. In dem Sinne testet man doch auf eine "klinische Äquivalenz", nicht eine "statistische Äquivalenz". Der Äquivalenztest testet, so wie ich es verstehe, nur die Effektstärke, was aber nichts mit statistischer Signifikanz zu tun hat. Ein heraufsetzen des Signifikanzniveaus bei einem Medikamentenvergleich wäre dann abgesehen von dem Problem der Bayes-Statistik allein aus dem Grund nicht sinnvoll weil nicht in erster Linie interessiert ob es statistisch signifikante Abweichungen gibt, sondern ob diese klinisch relevant ist. Mal angenommen, es gäbe das Problem mit der Bayers-Statistik nicht und man könnte mit dem Heraussetzen des Signifikanzniveaus so vorgehen wie ich dachte. Dann könnte ein sehr kleiner Unterschied signifikant werden der in der klinischen Praxis völlig bedeutungslos. Ich hatte die Äquivalenztests so verstanden, dass man genau das vermeiden will und daher die Effektstärke berücksichtigt.

Mir scheint, einen Test wie ich ihn ursprünglich im Sinn hatte (Testung von "statistischer Äquivalenz" gibt es (noch) nicht.