STATISTIK-FORUM.de

[Statistheniker]

Hallo!

Ich habe eine vermutlich triviale Frage, deren Antwort ich jedoch trotz intensiver Suche weder in div. Lehrbüchern der Versuchsplanung, noch im Netz finden kann:

Ich schreibe eine DA zu einem relativ neuen Therapieverfahren. Das Problem besteht darin, dass die Wirkungen der Therapie in vielen Fällen interindividuell sehr unterschiedlich ausfallen, was ja erst einmal nach Moderatoreffekten schreit.
Nun gibt es zu dieser Therapie schon diverse Fachpublikationen, bei denen auch Moderatoranalysen durchgeführt wurden. Es wurden jedoch für die untersuchten Variablen keine Moderatoreffekte gefunden.
Die Stichprobengrößen bewegten sich dabei zwischen n = 21 und n = 46, also eher bescheiden.

Meine Frage: Kann man aus 3 Moderatoranalysen mit derart geringen Stichprobenumfängen und unterschiedlichen Variablen (d. h. keine Replikationen!)- wie das einige Autoren tun - tatsächlich für eine Grundgesamtheit von zehntausenden von Patienten ausschließen, dass es Moderatoreffekte gibt?? Kennt jemand von Euch eine zitierfähige Quelle, aus der die für eine solche Behauptung erforderliche Mindeststichprobengröße hervorgeht?

vielen Dank für Eure Antworten!

Statistheniker

[PonderStibbons]

Moderatoranalysen haben eine noch geringere statistische power als z.B. Mittelwertvergleiche.[1]
Mit Stichproben der genannten winzigen Größen kann man im Rahmen von Signifikanztests Moderatoreffekte
selbstverständlich nicht überzeugend ausschließen, allenfalls kann man sagen, der Nachweis ist nicht
gelungen.

Mit freundlichen Grüßen

PonderStibbons


[1]
Suppose for simplicity you’re studying a binary outcome with a between-person experiment with 400 participants, 200 getting the treatment and 200 getting the control. And also assume that the frequency of yes and no responses is close to 1/2. Then the standard error of the simple treatment effect estimate is simply sqrt(0.5^2/200 + 0.5^2/200) = 0.05. The experiment allows you to estimate the treatment effect to within an accuracy of about 0.05.

Now suppose you’re looking at an interaction between treatment effect and job category, and each of your two groups has 100 people in supervisory roles and 100 in non-supervisory roles. Then the standard error of the interaction estimate is sqrt(0.5^2/100 + 0.5^2/100 + 0.5^2/100 + 0.5^2/100) = 0.10.

That’s right—the standard error for the interaction is twice that for the main effect.

http://andrewgelman.com/2017/03/12/beyo ... ect-sizes/

[strukturmarionette]

Hi,

- wie sieht denn Dein Versuchplan /Design und deine Befunde ohne Moderatoreffektprüfungen aus?

Gruß
S.

[Statistheniker]

Euch beiden erst einmal vielen Dank für die Antworten!


@Strukturmarionette: Die für mein Problem wesentlichen Infos stehen alle oben. Die ganze Studie kann ich hier nicht im Detail beschreiben. Es handelt sich um eine groß angelegte Multi-Center-Studie, in deren Rahmen meine DA nur einen winzigen Anteil nimmt. Und selbst das von mir bearbeitete Design ist so komplex, dass ich mit einer detailierten Beschreibung zahlreiche DIN-A4-Seiten füllen müsste. Meine Frage bezieht sich ja auch gar nicht auf die Studie an sich, sondern auf Studien anderer Autoren zum Thema. Die meinen eben, auf der Grundlage weniger Moderatoranalysen mit wenigen untersuchten Variablen und Stichproben zwischen n = 21 und n = 46 das Thema "Moderatoren" vor dem Hintergrund einer beachtlichen Outcome-Varianz einfach ad acta legen zu können. Ich hingegen finde dies ziemlich haarsträubend, möchte das aber nicht einfach behaupten, sondern anhand eine zitierfähigen Quelle belegen (z. B. "um Moderatoreffekte zuverlässig ausschließen zu können, bedarf es für eine Grundgesamtheit von X einer Stichprobengröße von mind, Y, weil..." (Autor Z, 2005). Anders ausgedrückt: Gibt es - vorgaben/Richtlinien oder Vorschläge, wie groß n sein sollte, um aus dem Befund, dass in einer Stichprobe keine - Moderatoren gefunden wurden, schließen zu können, dass auch in allen weiteren Stichproben bzw. der Grundgesamtheit von zehn- bis hunderttausenden Patienten keine Moderatoren zu finden sein werden?


@ PonderStibbons:

Mit Stichproben der genannten winzigen Größen kann man im Rahmen von Signifikanztests Moderatoreffekte
selbstverständlich nicht überzeugend ausschließen

Genau das tun aber "meine" Autoren frecherweise und ich möchte das gerne empirisch fundiert (= allgemein akzeptierte Konvention, Zitat etc.) widerlegen, anstatt einfach das Gegenteil zu behaupten.

Ich habe den Eindruck, dass sich der von Dir verlinkte Beitrag weder auf Moderatoreffekte bezieht (sondern auf Effektstärken), noch zitierfähig ist. Fällt dir noch eine andere Quelle ein?

[Statistheniker]

@ Ponder: Irgendwie wird mein letzter Post nur halb angezeigt... Habe jetzt die Stelle mit den Mod-Effekten gefunden, aber wo wird da meine Frage beantwortet bzw. was würdest du hier zitieren? Sorry, aber ich kenne die se
Literatur nicht wirklich.

[PonderStibbons]

Das kann man nicht ganz einfach und allgemein beantworten, auch wenn die genannten Stichprobengrößen aller Erfahrung nach viel zu klein sind.

Eine kurze Webrecherche mit Sample size requirements for moderator analysis allein bzw. kombiniert mit therapy research führte u.a. zu
https://bmcmedresmethodol.biomedcentral ... 2288-11-14 (siehe Tabelle 1)
https://www.researchgate.net/publicatio ... y_Research (das klassische Grundlagen-Paper, siehe dort p. 118)
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2678722/ Simulation results)
https://www.ncbi.nlm.nih.gov/pubmed/20805605
etc. pp.

Mit freundlichen Grüßen

PonderStibbons

[Statistheniker]

@PonderStibbons: Thx a bunch!