STATISTIK-FORUM.de

Hallo zusammen,

obwohl ich dachte, ich hätte 4 Semester Statistik erfolgreich hinter mich gebracht, hab ich anscheinend noch nicht so ganz den Zusammenhang zwischen Effekt und Signifikanz verstanden. Ich habe folgende 4 Szenarien und frage mich, wie ich damit umzugehen habe. So sehen Überlegungen bisher aus:

1) signifikantes Ergebnis +optimale Stichprobengröße
Ich errechne Effekt, schaue ob statistisch bedeutsam, und berichte das.

2) signifikantes Ergebnis + zu kleine Stichprobengröße
Ich errechne Effekt, schaue ob statistisch bedeutsam, und berichte das.

3) kein signifikantes Ergebnis + zu kleine Stichprobengröße
Ich errechne Effekt, schaue ob statistisch bedeutsam. Wenn ja, post-hoc Poweranalyse.

4) kein signifikantes Ergebnis + optimale Stichprobengröße
Ich habe davon auszugehen, dass sich hier kein statistisch bedeutsamer Effekt findet. Dementsprechend gehe ich keine weiteren Schritte. ODER?

Bzw. ist eine Post-hoc-Poweranalyse noch außer in Szenario 3) woanders angebracht?

Danke vorab!

Den terminus "statistisch signifikant" bitte nicht willkürlich übersetzen, denn statistisch signifikant heißt mitnichten bedeutsam/wichtig/relevant/bemerkenswert. Lediglich, ob man die Nullhypothese eventuell verwerfen kann.

Ferner kann man in Stichproben keine Effekte berechnen, sondern allenfalls Effekstärkemaße verwenden. Die "wahre" Effektstärke (die in der Grundgesamtheit, zum Beispiel ein standardsierter Mittelwertuntersschied zwischen Grundgesamtheit 1 und Grundgesamtheit 2) ist in der Stichprobe aufgrund des Stichproben-Fehlers nicht exakt wiederzufinden. Eben darum macht man ja Signifikanztests.

Post-hoc Poweranalysen sind m.E. sinnlos (u.a. wegen der dortigen Verwechslung von Stichproben-Effektstärkemaß mit Effektstärke), zumindest hat mir noch nie jemand den Sinn erklären können. Man kann aber immer eine a priori Poweranalyse mit plausiblen Effekstärkeannahmen machen und vor dem Hintergrund ein eventuelles nicht-signifikantes Ergebnis diskutieren.

Mit freundlichen Grüßen

PonderStibbons

Hallo,

PonderStibbons hat geschrieben:u.a. wegen der dortigen Verwechslung von Stichproben-Effektstärkemaß mit Effektstärke

worin liegt der Unterschied zwischen Effektstärkemaß und Effektstärke?
Ist das Maß z.B. cohens d Eta quadrat, r etc. und die effektstärke einfach der entsprechende Wert dazu?

Gruß
Marie

Es geht um die genaue Bezeichnung. Wenn ich eine Stichprobe Männer vs. Frauen mit n1=n2=20 habe, mit Mittelwerten 50 bzw. 60 und gepoolter Standardabweichung 10, dann kann ich ohne weiteres Cohens d berechnen. Nur ist dieses d nicht der Geschlechter-Effekt, sondern der Geschlechter-Effekt plus/minus Zufallsfehler. Der Begriff "Effektstärke" für einen standardisierten Gruppenunterschied d zu verwenden, das ergibt nur Sinn, wenn man über Grundgesamtheiten spricht (oder velleicht über sehr große Stichproben, mit sehr kleinen Stichprobenfehlern).

Mit freundlichen Grüßen

PonderStibbons

vra_elena hat geschrieben:3) kein signifikantes Ergebnis + zu kleine Stichprobengröße
Ich errechne Effekt, schaue ob statistisch bedeutsam. Wenn ja, post-hoc Poweranalyse.

Normalerweise schätzt Du hier, wie groß "der Effekt" in der Stichprobe war und nennst das ein Effektstärkemaß. Gerade bei kleinen Stichproben ist dieses Schätzung aber sehr unpräzise. Anders gesagt: Wenn Du ein Konfidenzintervall für "den Effekt" berechnen würdest, fielen Dir wahrscheinlich die Augen aus dem Kopf bei der Erkenntnis, wie weit dieses Intervall ist, wie wenig Du also wirklich über die "echte" Effektstärke in Erfahrung gebracht hast. Genau deshalb ist die von PonderStibbons hier immer wieder geforderte sprachliche Präzision so wichtig.

Das von Dir berechnete Effektstärkemaß ist wahrscheinlich ein ganz grober Schätzer für die tatsächliche Effektstärke. Trotzdem ist es allerorten üblich, das Effektstärkemaß als Punktschätzer anzugeben und nicht beispielsweise als Konfidenzintervall.

LG,
Bernhard