Falscher t-Test in publizizerter Studie?

Fragen, die sich auf kein spezielles Verfahren beziehen.

Falscher t-Test in publizizerter Studie?

Beitragvon Durzo » Mo 22. Jan 2018, 12:53

Hallo zusammen,

mir ist in einer Studie etwas aufgefallen, dass nicht verstehe und was mich gerade in den Wahnsinn treibt. Da ich es nicht wirklich für möglich halte,
dass ein so leichter Fehler (wie vwd. eines falschen t-Tests) bei einer publizierten (mit Peer Review Verfahren) Studie vorkommen kann.

Es geht um eine Arbeit von Connolly Gibbons et al. (2016) die CBT mit DT für Depression vergleicht. Es handelt sich um eine CER Studie (Comparative Effectiveness Research), bei der Patienten mit einer Major Depression zu einer von 2 Treatmentgruppen randomisiert wurden.

Frage 1 - t-Test
Der t-Test über den ich beim lesen immer wieder stolpere ist der zur Berechnung der Treatment Credibility. In beiden Therapie Gruppen (DT und CBT) wurde die Treatment Credibility erfasst, nun soll sie ZWISCHEN den Gruppen verglichen werden. Aber es wird ein gepaarter t-Test verwendet (den man doch M.m.n. nur für abhängige Stichproben verwendet)
Patients rated both treatmentswith high credibility.Two-tailed tests for pairedsamples indicated no differences between treatments on ratings of treatment sensibility (t162 = 0.19; P = .85), confidence in treatment (t162 = −1.14; P = .26), or confidence recommending the treatment (t162 = −0.86; P = .39)


Meine zweite Allgemeine Frage hängt mit der ersten zusammen und bezieht sich auf den Randomsierungsprozess der Studie. Es wurde eine 1:1 allocation zu den Gruppen angewandt unter Nutzung eines PC generierten Urnen Algorithmus, basierend auf 7 Pretreamtnet Faktoren: u.a. Geschlecht, Beziehungsstatus, Schwere der Depression (...)

Frage 2 - Randomisierung: Wie genau funktioniert ein solcher Randomisierungsprozess und ist das Ergebnis trotzdem eine unabhängige Stichprobe (bzw. wurde vlt. aus diesem Grund ein gepaarter t-Test verwendet)? Ich stelle mir das ganze so vor, dass vor jeder Zuordnung einer neuen VP die Abweichung zwischen den beiden Gruppen z.B. bezogen aufs Geschlecht bestimmt wird und dann dementsprechend als Gewicht mit in den Randomisierungsprozess einfließt. Wie genau heißt die statistische Prozedur / wo kann ich etwas dazu nachlesen? Es würde mich wirklich interessieren wie das ganze funktioniert.

Vielen Dank á priori. Komme mir etwas dumm vor bei diesen Fragen, aber konnte es mir wirklich nicht erklären und die Verunsicherung nagt an mir.

[Quelle]
Gibbons, M. B. C., Gallop, R., Thompson, D., Luther, D., Crits-Christoph, K., Jacobs, J., ... & Crits-Christoph, P. (2016). Comparative effectiveness of cognitive therapy and dynamic psychotherapy for major depressive disorder in a community mental health setting: a randomized clinical noninferiority trial. JAMA psychiatry, 73(9), 904-911.
Durzo
Grünschnabel
Grünschnabel
 
Beiträge: 9
Registriert: Mo 22. Jan 2018, 12:34
Danke gegeben: 5
Danke bekommen: 0 mal in 0 Post

Re: Falscher t-Test in publizizerter Studie?

Beitragvon strukturmarionette » Mo 22. Jan 2018, 13:17

Hi,

- du könntest recherchieren die Möglichkeiten von 'Matching' in der (experimentellen) Statistik.
- auch könnte im Lit-Verz der von Dir zitierten Veröffentlichung was zum Procedere zu finden sein.

Gruß
S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 4313
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 32
Danke bekommen: 582 mal in 579 Posts

Re: Falscher t-Test in publizierter Studie?

Beitragvon PonderStibbons » Mo 22. Jan 2018, 13:18

Wie genau funktioniert ein solcher Randomisierungsprozess und ist das Ergebnis trotzdem eine unabhängige Stichprobe (bzw. wurde vlt. aus diesem Grund ein gepaarter t-Test verwendet)?

Wie der funktioniert, weiß ich nicht, müsste in dem Artikel oder den Referenzen stehen (eigentlich).
Da anscheinend anhand von 7 Kriterien 1:1 gematcht wurde, gehen sie von Pärchen aus und verwenden
den Test für abhängige Stichproben.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11250
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2469 mal in 2453 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Durzo

Re: Falscher t-Test in publizizerter Studie?

Beitragvon bele » Mo 22. Jan 2018, 17:33

Hallo Durzo,

ich habe den Artikel nur überflogen, aber ich teile Deine Meinung, dass ein Test für gepaarte Stichproben hier wahrscheinlich unangemessen ist und ich unterstelle, dass es sich um einen Tippfehler handelt. Aus Fig.1 geht eindeutig hervor, dass die beiden Gruppen ungleich groß waren und spätestens, wenn man für zwei verschieden große Stichproben einen t-Test für verbundene Stichproben anfordert, wird jedes Statistikprogramm Alarm schlagen. Der t-Wert wird an der von Dir zitierten Stelle als angegeben. Im Falle verbundener Stichproben würden 162 Freiheitsgrade ja für 163 Paare stehen, und die bekommt man nicht zusammen, wenn man nur 118 + 119 Leute randomisiert.

Und doch, ich kann mir vorstellen, dass so ein Fehler durch ein peer review Verfahren schlüpft. Die Reviewer werden dafür unbezahlte Psychiater oder Psychotherapeuten sein und diese Stelle tangiert das Ergebnis nur ganz am Rande. Ich denke, Du warst einfach beim Lesen wacher als die Reviewer.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5764
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1351 mal in 1338 Posts

folgende User möchten sich bei bele bedanken:
Durzo

Re: Falscher t-Test in publizierter Studie?

Beitragvon Durzo » Fr 26. Jan 2018, 10:42

bele hat geschrieben:Hallo Durzo,

ich habe den Artikel nur überflogen, aber ich teile Deine Meinung, dass ein Test für gepaarte Stichproben hier wahrscheinlich unangemessen ist und ich unterstelle, dass es sich um einen Tippfehler handelt. Aus Fig.1 geht eindeutig hervor, dass die beiden Gruppen ungleich groß waren und spätestens, wenn man für zwei verschieden große Stichproben einen t-Test für verbundene Stichproben anfordert, wird jedes Statistikprogramm Alarm schlagen. Der t-Wert wird an der von Dir zitierten Stelle als angegeben. Im Falle verbundener Stichproben würden 162 Freiheitsgrade ja für 163 Paare stehen, und die bekommt man nicht zusammen, wenn man nur 118 + 119 Leute randomisiert.

Und doch, ich kann mir vorstellen, dass so ein Fehler durch ein peer review Verfahren schlüpft. Die Reviewer werden dafür unbezahlte Psychiater oder Psychotherapeuten sein und diese Stelle tangiert das Ergebnis nur ganz am Rande. Ich denke, Du warst einfach beim Lesen wacher als die Reviewer.

LG,
Bernhard


Hallo vielen lieben Dank für Deine Einschätzung und die Arbeit!
Stimmt die Freiheitsgrade machen so auch nicht wirklich einen Sinn.

LG,
Rainer
Durzo
Grünschnabel
Grünschnabel
 
Beiträge: 9
Registriert: Mo 22. Jan 2018, 12:34
Danke gegeben: 5
Danke bekommen: 0 mal in 0 Post


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste