STATISTIK-FORUM.de

[Hanna200]

Hallo,
ich befinde mich auf der Zielgeraden meiner Masterarbeit mit Studiendesign Quasi-Experiment, Pretest-Posttest mit Kontrollgruppe und bin sehr verunsichert in der Argumentation meiner Ergebnisse. Leider ist meine Stichprobe sehr klein (n=22), wodurch alle gerichteten Hypothesen fast schon automatisch abgelehnt werden. Meine deskriptive Statistik besagt jedoch eine deutliche Steigerung, auch wenn diese aufgrund der kleinen Stichprobe (und noch ein paar anderer Aspekte) nicht statistisch signifikant ist. Meine bisherige Argumentation war, dass alle Hypothesen abgelehnt werden, ABER, dass das ja trotzdem deskriptiv ganz gut aussieht. Jetzt habe ich von einer Freundin, die in der Forschung arbeitet (qualitativer Schwerpunkt jedoch) das Feedback bekommen, dass ich meine Erkenntnisse nicht so unter Wert verkaufen soll und die Hypothesen doch so formulieren soll, dass es gar nicht um die Signifikanz geht (z.B. anstatt "signifikant größer" nur "größer" schreiben). Geht das überhaupt oder wird damit das Prinzip der Hypothese gänzlich untergraben und ich begehe eher einen methodischen Fehler?
Wäre es z.B. ein Kompromiss, die Hypothesen basierend auf den deskriptiven Ergebnissen zu bewerten und anschließend mittels Inferenzstatistik separat auf statistische Signifikanz zu prüfen?
Danke für euer Feedback!
LG, Hanna

[PonderStibbons]

(z.B. anstatt "signifikant größer" nur "größer" schreiben).

Meines Erachtens hat "signifikant" in den Hypothesen von vornherein nichts verloren. Man stellt eine Allgemeinaussage auf
("X bewirkt in der Population Z einen Anstieg von Y"), die man mit unterschiedlichen Methoden überprüfen kann, von denen
Statistische Signifikanztests nur eine unter vielen sind (man denke nur mal als Alternative an Bayes-Statistik, da gibt es
keine Signifikanztests).

Wäre es z.B. ein Kompromiss, die Hypothesen basierend auf den deskriptiven Ergebnissen zu bewerten und anschließend mittels Inferenzstatistik separat auf statistische Signifikanz zu prüfen?

Eine zu kleine Stichprobe ist ein Planungsfehler, aber den wird der Betreuer ja wohl abgesegnet haben,
also ist es (auch) sein Fehler. Ich fände es stimmig so zu verfahren wie Du es schreibst, das Ergebnismuster
in der Stichprobe beschreiben; kommentieren, dass die Ergebnisse in die hypothetisierten Richtungen gehen;
die statistischen Signifikanztests berichten und als Schwäche die geringe statistische power der Studie
benennen, wodurch letztlich die Schlussfolgerungen offen bleiben. Wobei ich n=22 mit Mehrfachmessungen
(pre-post, jede Person ist damit ihre eigene Kontrolle, was Zufallsfehlerrauschen verringert) und einseitiger
Testung nicht so extrem schwach finde, vielleicht ist der Effekt tatsächlich in der Grundgesamtheit gegen null
bzw. vernachlässigbar klein?

Just my 2pence

PonderStibbons

[Hanna200]

Hallo PonderStibbons,

danke für dein schnelles Feedback. Ich wollte dir das die ganze Zeit schon schreiben, es gab aber immer eine technische Fehlermeldung. Ich hab das jetzt genauso gemacht und gebe die Arbeit am Montag auch so ab.

LG!

[bele]

Hallo Hannah,
Würde es Dir etwa ausmachen, einmal so eine Zahlenreihe (also 22 vorher-nachher Paare hier ins Forum zu posten?
Du musst auch nicht dazu schreiben, was da gemessen wurde, wenn Du nicht willst.

LG, Bernhard

[Hanna200]

Hi Bernhard,
kein Problem, die Zahlen bedeuten ja nicht viel ohne Zusatzinformation. Ich habe zwei Konstrukte abgefragt und stelle die Zahlen hier gerne ein. Dazu ein paar Infos:
- Eine Skala mit 10 Items war 4-stufig und ging von (1) Stimmt nicht bis (4) Stimmt genau und die zweite Skala mit 8 Items war 7-stufig und ging von (1) Stimme überhaupt nicht zu bis (7) Stimme voll zu. Ich habe beide Skalen codiert von 1-4 bzw. 1-7. Bei der zweiten Skala mussten die Items 2,3,5,6,8 invertiert werden.
- Beim Pretest hatte ich n=22 (8 in der VG, 14 in der KG), beim Posttest n=23 (9 in der VG, 14 in der KG), die Daten sind nicht miteinander verbunden sondern komplett anonymisiert.
- Alle Angaben flossen ein, bei zwei Fragebögen nahm ich ,5 Werte, da die Person in der Mitte angekreuzt hatte und bei einem Fragebogen nahm ich ein n, da hier keine Angabe getätigt wurde (das n musste ich bei Reliabilitätstest durch 0 ersetzen, was wahrscheinlich leicht verfälscht, aber sonst gabs immer eine Fehlermeldung).
- Cronbachs alpha ergab bei der ersten Skala gute Werte > 0,8; bei der zweiten Skala sehr schlechte Werte, im Pretest sogar negativ, im Posttest <0,5.

Hier die Daten. Vielleicht hat jemand Lust nachzurechnen

LG, Hanna

Zur den Daten: Habs jetzt zweimal über den Table Generator versucht, was für mich nicht ging, daher leider so. Hatte gehofft, dass das von Excel wenigstens die Linien übernimmt...

ID MZP VG/KG 1-I1 1-I2 1-I3 1-I4 1-I5 1-I6 1-I7 1-I8 1-I9 1-I10 2-I1 2-I2 2-I3 2-I4 2-I5 2-I6 2-I7 2-I8
1 t1 VG 3 3 1 3 3 1 2 2 3 2 7 5 6 5 2 1 4 5
2 t1 VG 3 3 2 3 3 3 3 2 3 3 6 4 3 6 5 5 5 4
3 t1 VG 3 3 2 3 3 3 3 3 2 2 7 5 5 5 2 6 3 6
4 t1 VG 2 2 3 3 3 2 2 3 3 3 6 2 5 7 4 6 3 6
5 t1 VG 3 3 2 3 3 2 4 4 3 3 6 5 5 7 3 4 6 4
6 t1 VG 4 3 3 3 4 3 4 3 4 3 7 2 7 6 7 2 6 7
7 t1 VG 4 3 3 3 3 3 4 4 4 4 5 4 2 7 7 7 5 2
8 t1 VG 3 3 3 4 4 3 4 3 3 3 7 7 6 7 4 1 1 5
9 t1 KG 3 2 2 2 3 3 2 1 2 2 5 7 6 7 6 7 6 5
10 t1 KG 4 3 3 3 2 1 2 2 2 2 5 5 5 4 1 6 5 2
11 t1 KG 3 3 2 3 3 2 4 3 3 3 7 6,5 7 5 6 5 5 5
12 t1 KG 2 2 2 2,5 3 4 4 5 2,5 4 7 1 7 1 7 7 7 7
13 t1 KG 3 3 3 3 3 3 3 3 3 3 5 4 5 6 6 5 4 3
14 t1 KG 3 3 3 3 4 3 3 3 3 3 5 6 7 7 3 4 4 7
15 t1 KG 4 3 3 3 4 3 4 4 4 3 7 4 4 6 7 3 4 6
16 t1 KG 3 4 3 4 3 4 3 4 4 2 5 6 7 7 5 3 7 7
17 t1 KG 3 3 3 3 3 3 3 3 3 3 7 6 7 4 6 6 2 7
18 t1 KG 3 4 3 4 2 2 2 3 4 3 5 6 4 5 2 5 4 5
19 t1 KG 2 3 3 2 2 2 3 2 3 2 5 4 6 7 4 6 4 5
20 t1 KG 2 3 1 3 2 1 1 1 1 3 6 3 6 4 6 5 5 3
21 t1 KG 4 3 3 3 2 2 1 3 2 3 7 5 6 7 1 4 5 4
22 t1 KG 3 3 2 2 3 2 2 4 3 3 7 3 6 7 6 5 4 5
23 t2 VG 4 3 3 3 3 3 3 2 3 3 6 5 6 5 5 5 3 6
24 t2 VG 4 4 4 3 2 2 4 3 4 3 7 7 4 7 2 7 5 7
25 t2 VG 3 3 4 3 3 3 3 3 3 3 7 7 1 7 6 5 5 7
26 t2 VG 3 4 4 3 4 4 4 3 4 3 7 3 7 6 7 2 7 7
27 t2 VG 2 2 3 3 3 2 3 2 3 3 7 3 4 6 3 4 6 5
28 t2 VG 4 3 3 3 3 4 3 2 4 3 4 4 6 7 2 4 4 3
29 t2 VG 3 3 3 2 3 3 3 3 2 3 7 3 3 5 5 4 4 5
30 t2 VG 3 3 3 4 3 2 3 3 4 2 5 3 5 7 3 5 6 6
31 t2 VG 3 3 3 3 3 3 3 2 3 3 6 5 3 6 5 4 5 5
32 t2 KG 2 2 2 1 2 2 2 1 2 2 5 4 6 5 3 4 3 3
33 t2 KG 3 3 4 4 3 4 4 4 3 4 7 7 7 5 7 5 4 6
34 t2 KG 2 3 3 2 3 2 2 3 3 2 5 4 3 6 3 5 7 7
35 t2 KG 4 4 3 4 4 4 4 3 3 4 7 7 3 7 7 1 4 7
36 t2 KG 3 2 2 2 3 2 2 3 3 3 5 4 4 6 4 3 4 3
37 t2 KG 3 2 2 2 3 3 2 2 2 3 3 6 3 2 2 4 4 5
38 t2 KG 4 3 3 2 3 3 4 4 3 2 7 7 7 5 6 6 4 4
39 t2 KG 4 3 4 2 3 2 3 3 2 3 7 7 1 7 3 1 5 4
40 t2 KG 2 3 2 3 2 2 2 2 3 3 4 5 4 5 5 6 3 4
41 t2 KG 3 3 2 2 3 3 2 3 3 3 6 4 4 6 3 4 4 3
42 t2 KG 3 3 3 3 3 3 3 3 3 3 5 3 4 6 3 3 4 2
43 t2 KG 3 2 2 3 3 2 2 3 3 2 6 7 6 3 n 3 5 5
44 t2 KG 3 3 3 3 2 3 3 4 3 2 4 4 4 3 6 2 4 3
45 t2 KG 3 3 3 3 3 3 3 3 3 3 5 5 4 6 6 4 3 6

[bele]

Hallo Hanna,

schön, dass Du noch da bist. Die meisten verschwinden einfach still, wenn sie die erste Antwort haben.

Beim Pretest hatte ich n=22 (8 in der VG, 14 in der KG), beim Posttest n=23 (9 in der VG, 14 in der KG), die Daten sind nicht miteinander verbunden sondern komplett anonymisiert.

An dieser Stelle habe ich ein methodisches Problem mit Deiner Arbeit. Wenn es sich um Vorher-Nachher Vergleiche handelt, dann sind die Daten in aller Regel eben doch miteinander verbunden. Tatsächlich verbundene Stichproben mit Methoden für unverbundene Stichproben zu untersuchen ist schwierig, denn alle Methoden, die Du für unverbundene Stichproben kennst, basieren ja auf der Annahme von Unabhängigkeit und Zufälligkeit. Na gut, der Versuchsaufbau war Deinen Betreuern klar und dass dabei die Zuordnung zu den Personen verloren gehen würde, wahrscheinlich auch.

Nehmen wir Deine Versuchsgruppe, weil das die kleinste Gruppe ist, und machen einen Vorher-Nachher-Vergleich. Das ist in Sachen Fallzahl sehr kritisch. Damit es übersichtlich bleibt, nehmen wir nur die die Skala 1. Wenn ich Deine Daten richtig eingelesen und aufbereitet habe, dann hast Du folgende Ausgangswerte:

Code: Alles auswählen

    skala1    MZP
     <num> <char>
1:     22     t1
2:     28     t1
3:     27     t1
4:     26     t1
5:     28     t1
6:     33     t1
7:     34     t1
8:     32     t1
9:     30     t2
10:     31     t2
11:     31     t2
12:     36     t2
13:     25     t2
14:     33     t2
15:     28     t2
16:     29     t2
17:     29     t2

Wenn ich das in einem klassischen T-Test vergleiche, dann komme ich auf: t = -0.84895, df = 15, p-value = 0.4093
Der Durchschnitt nachher ist höher als der Durchschnitt vorher und der p-Wert sagt, dass wir die Nullhypothese nicht verwerfen können. Fertig.

Nun hat PonderStibbons die Bayes-Analyse als Alternative genannt und irgendwie wird die immer erwähnt, aber hier nie gerechnet. Ich möchte gerne mal ein Beispiel für eine Bayes-Analyse und was sie hier beiträgt ins Forum stellen.

Wir bauen eine Regressionsrechnung, in der wir die Skalenwerte aus der Gruppenzugehörigkeit vorhersagen. Der Einfachheit halber nehmen wir gleiche Varianzen an, das haben wir beim klassischen t-Test ja auch getan.


(wobei D die Dummyvariable dafür ist, dass wir t2 beobachten.

Daraus ergibt sich, dass die Werte zu t1 ergibt während den Unterschied der Mittelwerte angibt, wieviel t2 mehr als t1 ist.
Jetzt müssen wir uns für die Prior-Verteilungen Gedanken machen, was nicht so kompliziert ist, wie es sich anhört. Der Intercept liegt auf einer Skala zwischen 10 und 40 und dort eher in der Mitte als am Rand. Nehmen wir eine Normalverteilung mit dem Mittelwer 25 und einer Standardabweichung von zum Beispiel 6 an, das wäre die Annahme, dass die Werte zu 66% zwischen 19 und 31 und zu 95% zwischen 13 und 37 liegen, das passt grob so. Da wir ja eigentlich untersuchen wollen, ob der Unterschied größer oder gleich Null ist, müssen wir für den Unterschied a priori den MIttelwert Null nehmen und ich denke, man konnte sich vorher denken, dass es eher zu verschiebungen von 2 oder 3 Punkten kommt als von 10 Punkten. Für den Unterschied nehme ich daher eine eine Normalverteilung mit Mittelwert 0 und Standardabweichung 5 an. Ja, das ist ein Nachteil, dass man da argumentieren muss, aber es ist auch viel realistischer als eine Analyse die so tut, als könnte der Gruppendurchschnitt zu t1 den Wert 10 und der zu t2 den Wert 40 haben.

Das ganze packen wir jetzt in das R-Paket rstanarm wie folgt hinein:

Code: Alles auswählen

library(rstanarm)
fit <- stan_glm(
  skala1 ~ mzp,
  data = datab,
  family = gaussian(),
  prior_intercept = normal(25, 6),
  prior = normal(0, 5),
  prior_aux = exponential(1)
)

Das schickt jetzt einen MCMC Sampler los und findet mir eine Zufallsstichprobe aus der Posterior-Verteilung. Anhand von 4000 Proben aus der Posteriorverteilung kann ich jetzt nachzählen, dass in 2960 von 4000 Fällen galt:

Immer unter den genannten Annahme über die Priorverteilungen kann ich jetzt sagen, dass die Wahrscheinlichkeit für mit 2960/4000 etwa 75%, also drei Viertel beträgt.

Sind 75% eine Quasi-Sicherheit? Nö, natürlich nicht. Aber sie sind eine adäquate Beschreibung dafür, welche Wahrscheinlichkeit wir für den Effekt jetzt annehmen sollten anstelle der Aussage, dass wir die Nullhypothese nicht ausschließen können. Damit kann man doch arbeiten und argumentieren. Das zeigt anschaulich, wieviel Beitrag das Experiment bis hierher leisten konnte. Und genau das ist der Vorteil von Bayes-Statistik bei kleinen Fallzahlen: Auch wenn es für statistische Signifikanz nicht reicht, wir können immer unsere erwartete Wahrscheinlichkeit und selbst bei n = 1 sagen, wie wir aufgrund des Einzelfalls unsere Erwartungen anpassen sollten.

Ich hoffe, das hilft irgendwem,
VG,
Bernhard

[Hanna200]

Danke für dein Feedback. Ich bekam leider bei meiner Antwort immer wieder Fehlermeldungen. Jetzt ein erneuter Versuch....
Ich habe die Auswertung nicht mit t-test sondern mit non-parametrischen Methoden gemacht (Mann-U-Whitney und Wilcoxon). Wegen der kleinen Stichprobe und den ordinalen Daten der zwei Skalen. Müsste auch passen, oder?
Interessant mit der Bayes-Analyse, sollte ich je mal wieder Statistik brauchen, werde ich mir das noch näher ansehen!
LG, Hanna

[strukturmarionette]

Hallo,

zwei Skalen

um welche handelt es sich?

Grüße
S.

[bele]

Ich habe die Auswertung nicht mit t-test sondern mit non-parametrischen Methoden gemacht (Mann-U-Whitney und Wilcoxon). Wegen der kleinen Stichprobe und den ordinalen Daten der zwei Skalen.

Die kleine Stichprobe ist ein gutes Argument - Du bist damit konservativ und musst Dir nichts vorwerfen lassen. Bestreiten würde ich as ordinale Skalenniveau: Du hast die Skalen durch Addition gebildet und Addition ist auf ordinalem Skalenniveau nicht erlaubt.

Müsste auch passen, oder?

Ja, klar. Es gibt Freiheiten in der Gestaltung von Statistik und Deine konservative Wahl ist ehrlich.

Interessant mit der Bayes-Analyse, sollte ich je mal wieder Statistik brauchen, werde ich mir das noch näher ansehen!

Das ist wahnsinnig interessant und oft genug die bessere Statistik. Nicht nur, aber auch bei kleinen Stichproben. Ich habe das aber bewusst so spät gepostet: Bayes-Statistik ist nicht das, was Deine Dozenten und Deine Hochschule von Dir haben wollten und Du hättest Dich da so schnell nicht glaubhaft einarbeiten können. Über viele Beiträge hinweg führt das aber dazu, dass Bayes immer mal wieder angesprochen wird, aber nie vorgemacht wird. Deshalb wollte ich einmal ein Beispiel gepostet haben.

Ich drücke Dir die Daumen für Deine Arbeit,
Bernhard