STATISTIK-FORUM.de

[chiarisa]

Hallo Zusammen,

ich möchte gerne die Mittelwerte von 13 verschiedenen Gruppen miteinander vergleichen. Hierzu habe ich einmal paarweise einen Welch-Test durchgeführt und einmal eine ANOVA Analyse durchgeführt und danach den Tukey's Test angewendet. Nun ergeben sich allerdings Unterschiede beim paarweisen Vergleich der Gruppen hinsichtlich der Signifikanz. Womit kann man die Unterschiede zwischen Welch-Test und Tukey's Test begründen?

Außerdem würde ich gerne nicht nur testen ob sich die MIttelwerte voneinander Unterscheiden sondern ob der Mittelwert einer bestimmten Gruppe stets besser ist als der aller anderen, also ein multipler Test mit der Hypothese , fällt euch hierzu ein passender Test ein?

Vielen Dank für eure Hilfe!

[PonderStibbons]

Womit kann man die Unterschiede zwischen Welch-Test und Tukey's Test begründen?

Das ergibt sich aus Wesen und Zweck der Tests. Was weißt Du aufgrund Deiner Recherchen
bereits über den Welch-t-Test bzw. über den Tukey Test?

Außerdem würde ich gerne nicht nur testen ob sich die MIttelwerte voneinander Unterscheiden sondern ob der Mittelwert einer bestimmten Gruppe stets besser ist als der aller anderen, also ein multipler Test mit der Hypothese , fällt euch hierzu ein passender Test ein?

Das wurde bereits in post45207.html#p45207 beantwortet.
Wenn die Antwort nicht ausreichend war, dann kannst Du es sagen und weiter diskutieren.

Mit freundlichen Grüßen

PonderStibbons

[chiarisa]

Hallo @PonderStibbons,
vielen Dank für deine Antwort!

Was weißt Du aufgrund Deiner Recherchen
bereits über den Welch-t-Test bzw. über den Tukey Test?

Na ja also wie ich das verstanden habe, folgt die Teststatistik des Welch-Tests der t-Verteilung währrend die Teststatistik des Tukey Tests einer q-Verteilung folgt.
Außerdem werden bei dem Welch-Test keine selben Varianzen angenommen, bei dem Tukey Test allerdings schon. Könnten das die Gründe der verschiedenen Signifikanzen sein?
Außerdem habe ich bei den Welch Tests die Hypothese getestet. Die Tukey Tests basieren ja auf der ANOVA und hier wird meines Wissens nach immer nur die Hypothese überprüft. Könnte das auch ein Grund der Differenzen sein?

Wenn die Antwort nicht ausreichend war, dann kannst Du es sagen und weiter diskutieren

Da hast du recht, das tut mir leid. Aber ich habe nach Artikeln gesucht in denen der Helmert Test beschrieben wird, habe allerdings keine gefunden.
Kennst du entsprechende Artikel ?


Liebe Grüße,
Chiarisa

[PonderStibbons]

wie ich das verstanden habe, folgt die Teststatistik des Welch-Tests der t-Verteilung währrend die Teststatistik des Tukey Tests einer q-Verteilung folgt.
Außerdem werden bei dem Welch-Test keine selben Varianzen angenommen, bei dem Tukey Test allerdings schon. Könnten das die Gründe der verschiedenen Signifikanzen sein?

Das eine ist ein t-Test, bei dem etwaig vorliegende ungleiche Varianzen korrigiert werden.
Das andere ist ein ->post-hoc-Test, der dafür sorgt, dass eine alpha-Fehler-Kumulierung
aufgrund mehrfachen Testens (bei Dir 78 Paarvergleiche) begrenzt bleibt. Ich weiß nicht,
ob Du die Welch-Tests mit irgendeiner Korrektur durchgeführt hast. Wenn nicht, würde ich
annehmen, dass die Welch-Tests öfter die magischen 5% unterschreiten als die Tukey
post-hoc-Tests.

Da hast du recht, das tut mir leid. Aber ich habe nach Artikeln gesucht in denen der Helmert Test beschrieben wird, habe allerdings keine gefunden.
Kennst du entsprechende Artikel ?

Das ist eine Codierung bei der lineare Kontrastanalyse. Das Stichwort "Helmert" müsste eigentlich
im Manual oder der Hilfefunktion Deiner Statistiksoftware aufzufinden sein. Sowas wie das hier
hast Du ja sicherlich schon versucht https://tinyurl.com/ya2tvcjp

Mit freundlichen Grüßen

PonderStibbons

[chiarisa]

Ich weiß nicht,
ob Du die Welch-Tests mit irgendeiner Korrektur durchgeführt hast. Wenn nicht, würde ich
annehmen, dass die Welch-Tests öfter die magischen 5% unterschreiten als die Tukey
post-hoc-Tests.

Ja das stimmt, ich habe keine Korrekturen für den Welch-Test durchgeführt, weil ich dachte dass ich immer nur paarweise Vergleiche und die Korrektur nur dann erfolgen muss wenn mehrere Vergleiche gleichzeitig stattfinden?

Also ich dachte, wenn ich z.B. nur sage dass der Mittelwert von Gruppe i signifikant kleiner ist als der der Gruppe j dann brauche ich keinen Test, erst dann wenn ich eine Aussage tätige wie "Die Mittelwerte der Gruppen i,j und k sind signifikant kleiner als die der Gruppe l". Stimmt das oder habe ich da was falsch verstanden ?

Bei Tukey's Test wird diese Korrektur angewendet, weil bei der Anova alle Mittelwerte gleichzeitig verglichen werden oder ?

Das Stichwort "Helmert" müsste eigentlich
im Manual oder der Hilfefunktion Deiner Statistiksoftware aufzufinden sein.

Super vielen Dank!

[PonderStibbons]

Hattest Du nicht einmal eine Frage zu 13 Modellen, die verglichen werden sollen?
Falls es darum geht, dass immer derselbe Datensatz verwendet wird, auf den
die Modelle angewendet werden, dann wäre ein Verfahren wie einfaktorielle
Varianzanalyse unangebracht, weil es sich um ein Messwiederholungsdesign
(abhängige Messungen) handelt.

Mit freundlichen Grüßen

PonderStibbons

[chiarisa]

Ja genau ich vergleiche komplett verschiedene Modelle miteinander. Also zum Beipsiel den Mittelwert der Performance von Random Forest mit dem Mittelwert von Lasso. Ich dachte ich könnte hier die Unabhängigkeit annehmen, da die Performance der verschiedenen Modelle nicht voneinander abhängen ?

Kann ich dann überhaupt auch den Welch Test anwenden?

Liebe Grüße
chiarisa

[PonderStibbons]

Mangels nachvollziehbarer Studienbeschreibung weiß ich nicht, was tatsächlich hier der Fall ist.

Wenn man n Datensätze hat, die man mit unterschiedlichen Modellen bearbeitet, und hat bei
jedem der Datensätze dann für jedes Modell einen Performance-Indikator, dann sind diese
Performance-Indikatoren zwischen den Modell abhängig: n Fälle (Datensätze) mit k abhängigen
Messungen (Performance für Modell 1, für Modell 2, Modell 3 etc.).

Verfahren, die unabhängige Gruppen voraussetzen (einfaktorielle Varianzanalyse, t-Test
bzw. Welch Test etc.) sind dann nicht zulässig.

Mit freundlichen Grüßen

PonderStibbons

[chiarisa]

Gibt es eine Möglichkeit diese Abhängigkeit zu testen ? Um dann die Annahme der Unabhängigkeit zu bestätigen bzw. zu verwerfen ?

Trifft die Abhängigkeit tatsächlich zu, welche möglichen statistischen Tests könnte ich dann durchführen?

[PonderStibbons]

Kannst Du vielleicht mal den Kontext und die Studie zusammenhängend
schildern, wofür ist das, welche Fragestellungen hat das, was wurde
gemacht und wer betreut das?

Mit freundlichen Grüßen

PonderStibbons