STATISTIK-FORUM.de

[Phillipp]

Hallo, ich habe eine kurze Frage bzgl. der Auswertung meiner Masterarbeit.

Es gibt ein Experiment mit zwei Gruppen. Probanden in beiden Gruppen lösen Matrizen innerhalb von 2 Minuten. Die Anzahl der richtig gelösten Matrizen ist die Produktivität. Produktivität wird als quasi-stetige Variable interpretiert.

In der Kontrollgruppe: Die Probanden sind keinem Stimulus ausgesetzt.
In der Treatment-Gruppe: Die Probanden sind einem Stimulus ausgesetzt.

Es gibt eine Baseline-Runde, in der alle die Aufgabe ohne Stimulus lösen, um sicherzustellen, dass die Baseline-Produktivität in beiden Gruppen dieselbe ist.

Meine Hypothese ist nun, dass die Produktivität in der Treatment-Gruppe trotz Stimulus dieselbe ist wie in der Kontrollgruppe.

Wie prüfe ich die Hypothese nun am Besten?
a) Erst parametrischer Hypothesentest (t-Test) zur Prüfung gleicher Baseline-Productivity, anschließend parametrischer Hypothesentest (t-Test) zur Prüfung gleicher Produktivität in Treatment-Runde?
b) Erst nichtparametrischer Hypothesentest (Mann-Whitney U-Test) zur Prüfung gleicher Baseline-Productivity, anschließend nichtparametrischer Hypothesentest (Mann-Whitney U-Test) zur Prüfung gleicher Produktivität in Treatment-Runde?
c) Kann ich auch eine lineare Regression durchführen mit Treatment als unabhängige Dummy (1 = Treatment; 0 = Nicht-Treatment), Baseline-Productivity als Kontrollvariable und Produktivität in Treatment-Runde als abhängige Variable?
d) Mehrere Tests parallel durchführen, also z.B. erst b) durchführen und anschließend c)?

Mir geht es in erster Linie darum, ob ich diese Frage mit einem Hypothesentest untersuchen sollte oder eine lineare Regression auch geeignet ist oder ob ich sogar beides machen kann, um eindeutigere Ergebnisse zu erhalten?

Vielen Dank für die Hilfe
Sebastian

[PonderStibbons]

Meine Hypothese ist nun, dass die Produktivität in der Treatment-Gruppe trotz Stimulus dieselbe ist wie in der Kontrollgruppe.

Im Kontext des Hypothesen-/Signifikanztestens gehört das in den Bereich
-> Äquivalenztestung ( -> equivalence testing). Das Grundprobem ist, dass die
Signifikanztests nicht dafür geeignet sind, Aussagen über einen Nicht-Unterschied
zu machen. Nicht-signifikante Unterschiede bedeuten nicht, dass die Nullhypothese
korrekt ist. Sondern nur, dass man sie nicht verwerfen konnte (in der Regel deswegen
nicht, weil die Stichprobe (zu) klein war).

Mit freundlichen Grüßen

PonderStibbons

[bele]

Wenn jetzt das von PonderStibbons angesprochene PRoblem nicht wäre, dann könnte man sich der FRagestellung mit einem einfachen t-Test nähern: Man berechnet für jeden Probanden, wieviel länger er in Runde zwei gebraucht hat als in Runde eins und vergleicht mit einem t-Test oder einem Rangsummentest diese Zeiten zwischen beiden Gruppen.
Ein gutes Programm spuckt dann noch ein Konfidenzintervall für die Mittelwertdifferenz beider Gruppen aus.

LG,
Bernhard

[Phillipp]

Könnte man sich dem Problem dann nicht mit der linearen Regression nähern und testen, ob man einen signifikanten positiven / negativen Effekt findet?
Oder muss man zwangsläufig eine Äquivalenztestung machen?

Oder ist es für beide Verfahren (Hypothesen-/Signifikanztestens und lineare Regression) notwendig, dass man einen positiven / negativen Effekt auf die Produktivität erwartet?

[Phillipp]

Entschuldigung, dass ich hier direkt noch einmal nachhaken muss, aber das macht mir doch etwas zu schaffen und stellt mich vor einige Probleme!

Könnte ich die Hypothese nicht leicht umformulieren und so nicht direkt darauf abzielen, dass die Produktivität gleich sein muss, sondern stattdessen testen, dass es keine signifikanten Unterschiede gibt?

Hypothesis:
There are no significant differences between the average productivity of workers, who observe the stimulus while performing the task, and that of workers, who do not observe the stimulus while performing the task.

Wäre das ein möglicher Ausweg aus der Situation?
Dann könnte ich einen t-Test machen (H0: µ1 = µ2 und H1: µ1 ≠ µ2) und es zugunsten meiner Hypothese interpretieren, wenn H0 nicht abgelehnt wird.
Ist dieser Gedankengang korrekt?

[PonderStibbons]

Rhetorik hilft da leider nicht. Wenn Du Gleichheit testen/nachweisen willst,
dann geht das mittels eines Äquivalenztest-Ansatzes und Du brauchst außerdem
eine ordentliche Stichprobengröße. Ein vergleichsweise verbreitetes
Verfahren ist two one-sided tests (TOST) https://journals.sagepub.com/doi/abs/10 ... 0617697177

Nichtsignifikanz aufgrund niedriger statistischer power (Fehler zweiter Art)
und „echte“ Gültigkeit der Nullhypothese sind im konventionellen Signifikanztesten
bei kleinen und mittleren Stichprobengrößen sonst schlicht nicht unterscheidbar.
Du kannst Dir, wie bele gesagt hat, einmal die Konfidenzintervalle der Effekte ansehen.
Die sind zwar nicht die tatsächlichen Schätzungsgrenzen für due Effekte, aber
geben einen Eindruck für die Größe von Schätzungsunsicherheiten. Vielleicht reicht
das Deinem Abnehmer/Betreuer?

Mit freundlichen Grüßen

PonderStibbons

[Phillipp]

Das ist nun ja wirklich problematisch..
Danke dennoch für eure Hilfe!

Wie viele Beobachtungen braucht man in etwa bei so einem Äquivalenztest?

[PonderStibbons]

Das ist nun ja wirklich problematisch..

Naja, mehrere Stichworte und Verfahren jast Du ja jetzt.

Wie viele Beobachtungen braucht man in etwa bei so einem Äquivalenztest?

Kommt darauf an, welche Unterschiede man noch als quasi-äquivalent ansieht.
Sicherlich dreistellig.

Mit freundlichen Grüßen

PonderStibbons