Effektstärke (bei prä zu post) von Intervention
Verfasst: Mi 24. Aug 2022, 10:09
Hallo zusammen
Ich möchte im Rahmen meiner Bachelorarbeit die Effektstärken einer Entwicklung (von prä zu post) innerhalb einer Gruppe berechnen. Diese von einzelnen Gruppen eines RCTs oder einer Prä-Post-Studie (= nur eine Interventionsgruppe, keine Kontrollgruppe) zu berechnen, gestaltet sich schwierig.
Beispiel: Eine Gruppe von Personen mit Schlafstörung (n = 15) macht während mehreren Wochen eine Trainings-Intervention. Vorher und nachher wurde von den Probanden*innen ein Fragebogen (PSQI) ausgefüllt, dessen Werte nun verglichen werden. Prä-Wert: 11.25 ±2.12 & Post: 7.16 ±3.18. Zur Berechnung der Effektstärke hätte ich nun die Formel von Cohen's mit einer gepoolten Standardabweichung genommen:
SMD = Cohen's d = (x post - x prä) / s pooled ... dabei wäre s pooled = √(s1^2 + s2^2) / 2
Das Ergebnis wäre: SMD -1.513 (95% CI -2.661 bis - 0.366) ... laut Cohen's (1988) eine hohe Effektstärke.
Diese Formel ergab jedoch auch bei nicht signifikanten Ergebnissen (wenn p <0.05) starke Effektstärken an. Ich habe zwar auf folgender Website gelesen, dass man bei nicht-signifikanten Werten, den Cohen's gar nicht berechnen soll (https://lindaregber.com/cohens-d/#:~:te ... polt%20ist.) aber auch schon Gegenstimmen gehört. Die Berechnung einfach wegzulassen erscheint mir jedoch nicht sinnvoll.
Auf der Website psychometrica (https://www.psychometrica.de/effektstaerke.html#cohc) kann die klassische Formel von Cohen's d (oben genannt) mit dem Rechner 1 berechnet werden. Dort ist jedoch notiert, dass ein Prä-Post-Vergleich besser mit Rechner 4 oder 5 gemacht werden sollte, wo der Korrelationskoeffizient verwendet wird. Dieser ist jedoch in meinen gewählten Studien nicht immer angegeben. Es heisst zwar, dass bis r = 0.5 die gleichen Werte herauskommen, was aber nach meiner Berechnung nicht stimmt. Also kann ich auch nicht einfach 0.5 für r schreiben (wäre ja auch ein Bias). Deshalb meine Frage an euch:
- Welche Formel soll nun verwendet werden? Müsste ich den Korrelationskoeffizienten jeweils berechnen?
Dazu noch:
- Würdet ihr die Effektstärken von nicht signifikanten Werten berechnen?
- Sollte der SMD jeweils noch mit dem MICD (minimal clinically important difference) verglichen werden?
So, lange Rede kurzer Sinn: Ich brauche Hilfe. Würde mich sehr freuen, wenn ich diese hier finden würde!
Liebe Grüsse
Ich möchte im Rahmen meiner Bachelorarbeit die Effektstärken einer Entwicklung (von prä zu post) innerhalb einer Gruppe berechnen. Diese von einzelnen Gruppen eines RCTs oder einer Prä-Post-Studie (= nur eine Interventionsgruppe, keine Kontrollgruppe) zu berechnen, gestaltet sich schwierig.
Beispiel: Eine Gruppe von Personen mit Schlafstörung (n = 15) macht während mehreren Wochen eine Trainings-Intervention. Vorher und nachher wurde von den Probanden*innen ein Fragebogen (PSQI) ausgefüllt, dessen Werte nun verglichen werden. Prä-Wert: 11.25 ±2.12 & Post: 7.16 ±3.18. Zur Berechnung der Effektstärke hätte ich nun die Formel von Cohen's mit einer gepoolten Standardabweichung genommen:
SMD = Cohen's d = (x post - x prä) / s pooled ... dabei wäre s pooled = √(s1^2 + s2^2) / 2
Das Ergebnis wäre: SMD -1.513 (95% CI -2.661 bis - 0.366) ... laut Cohen's (1988) eine hohe Effektstärke.
Diese Formel ergab jedoch auch bei nicht signifikanten Ergebnissen (wenn p <0.05) starke Effektstärken an. Ich habe zwar auf folgender Website gelesen, dass man bei nicht-signifikanten Werten, den Cohen's gar nicht berechnen soll (https://lindaregber.com/cohens-d/#:~:te ... polt%20ist.) aber auch schon Gegenstimmen gehört. Die Berechnung einfach wegzulassen erscheint mir jedoch nicht sinnvoll.
Auf der Website psychometrica (https://www.psychometrica.de/effektstaerke.html#cohc) kann die klassische Formel von Cohen's d (oben genannt) mit dem Rechner 1 berechnet werden. Dort ist jedoch notiert, dass ein Prä-Post-Vergleich besser mit Rechner 4 oder 5 gemacht werden sollte, wo der Korrelationskoeffizient verwendet wird. Dieser ist jedoch in meinen gewählten Studien nicht immer angegeben. Es heisst zwar, dass bis r = 0.5 die gleichen Werte herauskommen, was aber nach meiner Berechnung nicht stimmt. Also kann ich auch nicht einfach 0.5 für r schreiben (wäre ja auch ein Bias). Deshalb meine Frage an euch:
- Welche Formel soll nun verwendet werden? Müsste ich den Korrelationskoeffizienten jeweils berechnen?
Dazu noch:
- Würdet ihr die Effektstärken von nicht signifikanten Werten berechnen?
- Sollte der SMD jeweils noch mit dem MICD (minimal clinically important difference) verglichen werden?
So, lange Rede kurzer Sinn: Ich brauche Hilfe. Würde mich sehr freuen, wenn ich diese hier finden würde!
Liebe Grüsse