Effektstärken berechnen für Bachelorarbeit

Fragen, die sich auf kein spezielles Verfahren beziehen.

Effektstärken berechnen für Bachelorarbeit

Beitragvon Eli00 » Mi 28. Jun 2023, 12:27

Hallo Zusammen

Meine Kollegin und ich sind dabei, die Bachelorarbeit (ein Systematic Review) zu schreiben. Nun sind wir am Resultate Teil und leider völlige Anfänger, was das Thema Statistik betrifft. Wir möchten die Daten unserer Studien auswerten, um dies im Diskussionsteil integrieren zu können. Wir sind und total unsicher, wie wir das am Besten machen sollen. Wir haben uns überlegt, die relativen und absoluten Veränderungen der Pre- und Postwerte der Interventions- und Kontrollgruppe in einer Tabelle einzufügen und diese dann miteinander zu vergleichen. Allerdings könnten wir damit keine Aussage über die klinische/statistische Relevanz machen, weswegen wir nicht wissen wie man das genau anstellen müsste?

Die zweite Möglichkeit wäre, die Effektstärke der jeweiligen Interventions- und Kontrollgruppe mittels der Seite https://www.psychometrica.de/effektstaerke.html Formel 3 zu berechnen. Allergings gibt es bei dieser Berechnung zwei verschiedene Outcomes (von Morris und Klauer) und wir sind nicht sicher, welche dieser beiden wir verwenden sollen? Bzw. ist auf der Seite nicht ersichtlich, welche Grenzwerte für die zwei Effektstärken es gibt. Für die Einstufung des Cohen`s d haben wir diese Grenzwerte gefunden:
d ≤ 0 ≙ negativer Effekt
• d = 0.0 - 0.19 ≙ kein Effekt
• d = 0.2 - 0.49 ≙ kleiner Effekt
• d = 0.5 - 0.79 ≙ mittlerer Effekt
• d ≥ 0.8 ≙ grosser Effekt

kann man diese auch für den Morris und Klauer verwenden oder gibt es dort anderen Grenzwerte?

Vielen Dank für die Antworten :D
Eli00
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Mi 28. Jun 2023, 12:03
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Effektstärken berechnen für Bachelorarbeit

Beitragvon bele » Mi 28. Jun 2023, 13:13

Hallo Eli,

Eli00 hat geschrieben:Wir möchten die Daten unserer Studien auswerten, um dies im Diskussionsteil integrieren zu können.


Eigentlich gehören die Statistische Vorgehensweise im Material&Methoden-Teil, die Ergebnisse im Ergebnisteil und nur deren Diskussion in den Diskussionsteil.

Wir sind und total unsicher, wie wir das am Besten machen sollen.


In der Tat klingt es so, als ob Ihr ziemlich hilflos diesbezüglich seid. Erlaubt mir daher eine Empfehlung: Fragt hier nicht danach, wie man zwei Tabellenspalten vergleicht, sondern erzählt uns, was ihr gemacht habt und mit welcher Fragestellung Ihr das gemacht habt, an wievielen Beobachtungseinheiten und so weiter. Ihr bekommt auch auf die Frage, wie man Werte in zwei Gruppen miteinander vergleicht eine Antwort, aber Ihr bekommt weniger Mitdenken von uns, das Ihr mutmaßlich gut brauchen könnt.

Wir haben uns überlegt, die relativen und absoluten Veränderungen der Pre- und Postwerte der Interventions- und Kontrollgruppe


Was ihr mit relativen und absoluten Veränderungen meint, können wir nur raten. Ist es klug, uns das raten zu lassen und Antworten auf teilweise geratene Fragestellungen zu berücksichtigen?


Allerdings könnten wir damit keine Aussage über die klinische/statistische Relevanz machen, weswegen wir nicht wissen wie man das genau anstellen müsste?


Klinische Signifikanz ist ein großes Wort und mit den Mitteln der Statistik teils schwer, teils gar nicht zu beantworten. Dafür muss man dann einen Kliniker oder mehrere hinzuziehen und es ist durchaus möglich, dass mehrere sich nicht einig werden.

Für die Einstufung des Cohen`s d haben wir diese Grenzwerte gefunden:
d ≤ 0 ≙ negativer Effekt
• d = 0.0 - 0.19 ≙ kein Effekt
• d = 0.2 - 0.49 ≙ kleiner Effekt
• d = 0.5 - 0.79 ≙ mittlerer Effekt
• d ≥ 0.8 ≙ grosser Effekt

kann man diese auch für den Morris und Klauer verwenden oder gibt es dort anderen Grenzwerte?


Diese Grenzwerte kann man noch nicht mal für Cohens d universell verwenden. Das sind Handreichungen eines quantitativen Psychologen für "übliche" Arbeiten in seinem Gebiet. Ich als Kliniker in der Medizin würde meine Entscheidung für oder gegen eine Therapie ohnehin nicht an Effektstärken binden. Cohens d misst die Größe des Unterschieds pro Standardabweichung. Wenn ich vorhersagen will, ob meine Oma nach der Therapie mit dem Rollator weiter als vorher gehen kann, dann interessiert mich der Unterschied in Metern, wenn ich wissen will, wieviel ich durch eine Pille abnehme, dann will ich das in Kilogramm oder in Prozent vom Ausgangsgewicht aber ganz sicher nicht pro Schwankungsbreite der Messungen in der untersuchten Kohorte. Das kann natürlich anders aussehen, wenn ich nicht physikalische Größen messe, sondern Punkte in einem Fragenbogen ohne natürliche Bedeutung des einzelnen Ergebnisses.

Wenn Ihr Euch das schon alles selbst gedacht habt, dann könnt Ihr auch die Entscheidung selbst fällen. Wenn Euch das alles nicht klar war, dann habt Ihr vielleicht eine zu wage Vorstellung von Effektstärkemaßen, um über deren Einsatz in Eurer Auswertung zu entscheiden. Damit komme ich zu meinem Ausgangspunkt zurück, dass Ihr wahrscheinlich ganz von vorne anfangen und uns erzählen solltest, worum es hier eigentlich geht und was Ihr da gemacht habt.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5788
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1360 mal in 1347 Posts

Re: Effektstärken berechnen für Bachelorarbeit

Beitragvon Eli00 » Mi 28. Jun 2023, 13:54

Hallo Bernhard

Vielen Dank dass du dir die Zeit nimmst uns zu antworten. Gerne erklären wir den Sachverhalt noch etwas genauer :)

In der Tat klingt es so, als ob Ihr ziemlich hilflos diesbezüglich seid. Erlaubt mir daher eine Empfehlung: Fragt hier nicht danach, wie man zwei Tabellenspalten vergleicht, sondern erzählt uns, was ihr gemacht habt und mit welcher Fragestellung Ihr das gemacht habt, an wievielen Beobachtungseinheiten und so weiter. Ihr bekommt auch auf die Frage, wie man Werte in zwei Gruppen miteinander vergleicht eine Antwort, aber Ihr bekommt weniger Mitdenken von uns, das Ihr mutmaßlich gut brauchen könnt.


Wir studieren Physiotherapie uns unser Thema ist "Effekt von High Impact Training auf die Knochendichte bei prämenopausalen Frauen - Eine systematische Übersichtsarbeit" folgendes ist in unseren Studien enthalten:
• Population: Prämenopausale Frauen
• Interventionsgruppe: High Impact Training
• Kontrollgruppe: Keine Intervention oder eine Intervention, welche die Knochendichte nicht beeinflusst
• Outcome: Knochendichte (Bone mineral density = BMD) gemessen mittels DXA
• Study design: Randomised Controlled Trials (= RCT)

Wir haben dann die Daten der Knochendichte der Interventions- und Kontrollgruppe bei Baseline und Follow-Up extrahiert und in einer Tabelle dargestellt.

Was ihr mit relativen und absoluten Veränderungen meint, können wir nur raten. Ist es klug, uns das raten zu lassen und Antworten auf teilweise geratene Fragestellungen zu berücksichtigen?

Absolute Veränderungen wäre die Differenz des BMD zu Beginn und nach der Intervention und relativ wäre um wie viel % die Knochendichte (BMD) gestiegen oder gesunken ist.

Diese Grenzwerte kann man noch nicht mal für Cohens d universell verwenden. Das sind Handreichungen eines quantitativen Psychologen für "übliche" Arbeiten in seinem Gebiet. Ich als Kliniker in der Medizin würde meine Entscheidung für oder gegen eine Therapie ohnehin nicht an Effektstärken binden. Cohens d misst die Größe des Unterschieds pro Standardabweichung. Wenn ich vorhersagen will, ob meine Oma nach der Therapie mit dem Rollator weiter als vorher gehen kann, dann interessiert mich der Unterschied in Metern, wenn ich wissen will, wieviel ich durch eine Pille abnehme, dann will ich das in Kilogramm oder in Prozent vom Ausgangsgewicht aber ganz sicher nicht pro Schwankungsbreite der Messungen in der untersuchten Kohorte. Das kann natürlich anders aussehen, wenn ich nicht physikalische Größen messe, sondern Punkte in einem Fragenbogen ohne natürliche Bedeutung des einzelnen Ergebnisses.

Wenn Ihr Euch das schon alles selbst gedacht habt, dann könnt Ihr auch die Entscheidung selbst fällen. Wenn Euch das alles nicht klar war, dann habt Ihr vielleicht eine zu wage Vorstellung von Effektstärkemaßen, um über deren Einsatz in Eurer Auswertung zu entscheiden. Damit komme ich zu meinem Ausgangspunkt zurück, dass Ihr wahrscheinlich ganz von vorne anfangen und uns erzählen solltest, worum es hier eigentlich geht und was Ihr da gemacht habt.


Da wir keinen allgemeingültigen MCID für den BMD gefunden haben, dachten wir, wir können dies mittels Effektstärke berechnen. Oder meinst du es wäre sinnvoller, nur die absoluten und relativen Werte zu vergleichen, da dies ja mehr aussagt in der Klinik als die Größe des Unterschieds pro Standardabweichung. Man muss noch dazu sagen, dass in unserem Studiengang nicht erwartet wird, "hochgestochene" Berechnungen zu verwenden.

Ich hoffe du kannst es mit den Beispielen nun etwas besser nachvollziehen, ansonsten können wir auch noch andere Dinge genauer ausführen.
Eli00
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Mi 28. Jun 2023, 12:03
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Effektstärken berechnen für Bachelorarbeit

Beitragvon bele » Mi 28. Jun 2023, 16:05

Hallo Eli,

ich bin in zwei Punkten noch etwas verwirrt. Einerseits schreibt Ihr, dass Ihr eine "Übersichtsarbeit" erstellt, andererseits klingt es so, als hättet Ihr selbst eigene Messdaten. Mal stehen Studien im Plural, mal Interventions- und Kontrollgruppe im Singular.

Wenn das Daten aus einem eigenen Experiment sind: Habt Ihr die Daten in Deutschland erhoben? Auch wenn die Strahlenbelastung bei einer DXA gering ist stelle ich es mir erheblich schwierig vor, ein Ethikvotum für die Anwendung von Strahlen vor und nach einer Placebointervention zu bekommen. Unsere Ethikkommission würde dafür sicher ein Studienprotokoll mit statistischem Auswerteplan sowie statistischer Fallzahlschätzung haben wollen. Und selbst wenn nicht. Wenn man sich die Mühe gemacht hat, so etwas der Ethikkommission zu verkaufen, überlässt man dann die Auswertung zwei Bachelorstudierenden?

Wenn das eine Meta-Analyse von Experimenten anderer aus der Literatur ist, dann gibt es dafür ganz eigenen Statistikmethoden und ich kann nicht sagen, dass ich mich da auskennen würde. Dann hätte ich aber erwartet, dass ihr neben Vorher-Nachher-Durchschnitten auch die Fallzahl in den Studien einbezieht und Studien mit vielen Teilnehmern höher gewichtet als solche mit wenigen. Bei Meta-Analysen scheinen dann auch Effektstärkemaße häufiger genutzt zu werden, vielleicht kommt das daher?

Absolute Veränderungen wäre die Differenz des BMD zu Beginn und nach der Intervention und relativ wäre um wie viel % die Knochendichte (BMD) gestiegen oder gesunken ist.


Kurzer uninformierter Blick ins Internet sagt, dass DXA-Messungen häufig als z- oder T-Werte berichtet werden -- da müsste ich nachdenken, ob Prozent-Veränderung ein sinnvolles Maß ist (mein Bauchgefühl sagt nein). Wenn die Angabe in g/cm² erfolgt ist das natürlich was anderes.

Da wir keinen allgemeingültigen MCID für den BMD gefunden haben, dachten wir, wir können dies mittels Effektstärke berechnen. Oder meinst du es wäre sinnvoller, nur die absoluten und relativen Werte zu vergleichen, da dies ja mehr aussagt in der Klinik als die Größe des Unterschieds pro Standardabweichung. Man muss noch dazu sagen, dass in unserem Studiengang nicht erwartet wird, "hochgestochene" Berechnungen zu verwenden.


Meine persönliche Meinung: Ihr studiert eine Therapiewissenschaft. Es wäre schön, wenn Ihr die Bedeutung Eurer Arbeit einer konkreten Patientin erklären könntet. Es gibt bestimmt Studien dazu, wie die Knochendichte prämenopausal mit dem Frakturrisiko postmenopausal zusammenhängt. Vielleicht könntest Du einer Patientin sagen: Wenn Sie dieses Training aufnehmen dürfen sie einen Calciumeinbau erwarten, der in Beobachtungsstudien einer Verminderung des Risikos einer späteren Schenkelhalsfraktur um ein Fünftel verringert. Dann könnte die Patientin entscheiden, ob sie ein um 1/5 geringeres Risiko einer Schenkelhalsfraktur adäquat findet im Tausch gegen die Aufnahme eines High-Intensity-Trainings. Will sagen: Eine Übersetzung in konkrete Gesundheitsbegriffe und vielleicht eine subjektive Einschätzung dazu, ob das klinisch relevant sein könnte würde so eine Arbeit in meinen Augen sehr aufwerten. Auch, wenn Eure Definition von klinisch signifikant von meiner eigenen Einschätzung vielleicht abweicht.

Die EXTREME-Studie hat damals gezeigt, dass bei bestimmten Patienten durch ein Medikament das Überleben im Median um 2,7 Monate verlängert wird. Man kann verschiedene Auffassungen zur klinischen Relevanz dieser Angabe haben aber sie hilft doch beim Beurteilen der klinischen Relevanz viel mehr, eine hazard ratio von 0,80.
Also selbst wenn Ihr eine Metanalyse anhand von Cohen d-Werten plant, solltest Ihr dennoch Überlegugnen zur klinischen Signifikanz anstellen und das nicht einfach übergehen.

JMTC,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5788
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1360 mal in 1347 Posts


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste