STATISTIK-FORUM.de

Hallo! Lassen sich Effektstärkemaße (wie z.B. Cohens d) ohne Bedenken zwischen verschiedenen Studien (mit verschiedenen Stichprobengrößen, Varianzen etc.) bedenkenlos vergleichen? - Beispielsweise die Schlussfolgerung, eine Intervention X wirkt bei Personen mit Depression (Studie 1) besser als bei Personen mit Angststörungen (Studie 2), weil das d in Studie 1 größer ist..? Oder gibt es studientypische Bedingungen, die Effektstärken beeinflussen und dieses Schluss unzulässig machen?

Beispielsweise die Schlussfolgerung, eine Intervention X wirkt bei Personen mit Depression (Studie 1) besser als bei Personen mit Angststörungen (Studie 2), weil das d in Studie 1 größer ist..?

Nein.

Oder gibt es studientypische Bedingungen, die Effektstärken beeinflussen und dieses Schluss unzulässig machen?

Effektstärken gibt es in Grundgesamtheiten. In Stichproben kann man zwar die Effektstärkemaße berechnen, aber sie sind nicht die tatsächlichen Effektstärken, da durch den Stichprobenzufall größer oder kleiner als die tatsächliche Effektstärke. Das ist ja auch der Grund für Signifikanztests.

Je kleiner die Stichprobe, desto mehr wird im Schnitt das Effektstärkemaß durch Zufall on dem tatsächlichen Effekt abweichen. Deswegen ist die Angabe einer Effektstärke für eine Einzelstudie streng genommen oft ein Hinweis auf ein Verständnisproblem. Sinnvoll sind sie, wenn man aus mehreren Studien einen Gesamt-Effekt schätzen will (Meta-Analysen).

Daneben kann es auch andere Faktoren geben, die den Vergleich schwierig machen, z.B. unterschiedliche Streuungen, unterschiedliche Variablen/Messungen.

Mit freundliche Grüßen

PonderStibbons

Wenn man anstelle zweier Effektstärkeschätzer deren 95%-Konfidenzintervalle hätte, dann könnte man auf deren Überlappung prüfen. Üblicherweise wird aber die Ungenauigkeit bei der Schätzung der Effektstärke nicht angegeben.

LG,
Bernhard