STATISTIK-FORUM.de

[nachtfalter87]

Hallo zusammen,

Ich folgende Hypothesen aufgestellt:
Hypothese 1: Männer zeigen eine höhere zeitliche Stabilität/Konsistenz (höherer Pearson-Korrelation Koeffizient) zwischen zwei SVO Messungen im Abstand von sechs Wochen, im Vergleich zu Frauen, die keine hormonelle Verhütungsmittel einnehmen.
Hypothese 2: Frauen die hormonelle Verhütungsmittel einnehmen zeigen eine höhere zeitliche Stabilität/Konsistenz (höherer Pearson-Korrelation Koeffizient) zwischen zwei SVO Messungen im Abstand von sechs Wochen, im Vergleich zu Frauen die keine hormonelle Verhütungsmittel einnehmen.

Zur Überprüfung dieser habe ich nun mittels SPSS die Korrelationskoeffizienten berechnet und diese dann mittels Fishers z Test auf Unterschiedlichkeit getestet und ergab für den Vergleich zwischen Männer und Frauen ohne Hormoneinnahme (p = .019, Hypothese 1) unter Bonferroni-Holm-Korrektur ein signifikantes Ergebnis, nicht aber für den Vergleich der Gruppe 2 und Gruppe 3 (p = .653, Hypothese 2). So also schließe ich doch daraus, dass sich Männer und Frauen ohne Hormoneinnahme unterscheiden, aber die Frauen untereinander nicht. Richtig?! Muss ich jetzt noch Cohens d berechnen? Und wenn ja welchen Mehrwert hat dies?

Zudem soll explorativ noch der Fishers z Test für den Vergleich der Korrelationskoeffizienten von Männern und Frauen mit Hormoneinnahme durchgeführt werden. Dies ist ein zweiseitiger Test. Meine Annahme dahinter ist, dass sich Männer und Frauen mit Hormoneinnahme nicht unterscheiden.
Also hab ich wieder den p-Wert berechnet und dann verdoppelt, da zweiseitig, das Ergebnis war p = .067 also nicht signifikant. Das heißt doch, sie unterscheiden sich?!
Was mich jedoch viel mehr verwirrt ist der Kommentar meiner Professorin, die schrieb, dass in diesem Fall der p-Wert nicht aussagekräftig ist und man sich eher auf die Effektstärke beziehen sollte. Das verstehe ich leider gar nicht! Kann mir das jemand erklären, warum das so ist und wie ich die Effektstärke ausrechne?

Vielen Dank!

[PonderStibbons]

Ich folgende Hypothesen aufgestellt:
Hypothese 1: Männer zeigen eine höhere zeitliche Stabilität/Konsistenz (höherer Pearson-Korrelation Koeffizient) zwischen zwei SVO

Subjekt-Verb-Objekt? Stromversorgung Osthannover?

Wie lautet denn das Thema der Studie, wie deren Fragestellung, was ist das für eine Stichprobe und wie wurde sie gewonnen, wie sieht das Studien/Erhebungsdesign aus, was wurde konkret gemssen, wieso ist zeitliche Stabilität als Korrelation definiert und nicht als gleiche Ausprägung, wie groß ist die Stichprobe?

Mit feundlichen Grüßen

PonderStibbons

[nachtfalter87]

Hier mal der abstract der Studie:
Gemäß dem Konzept der sozialen Werteorientierung (SVO) unterscheiden sich Menschen in ihren Präferenzen bei der Verteilung von Ressourcen zwischen sich selbst und einer anderen Person. Aufgrund von Hinweisen auf den Einfluss von Hormonen auf die Stabilität sozialer Werteorientierung, geht diese Studie der Frage nach, ob es einen geschlechtsspezifischen Unterschied in der Stabilität sozialer Werteorientierung gibt. Anhand einer Korrelationsstudie mit zwei Messzeitpunkten in Abstand von sechs Wochen sollten die Hypothesen, welche im Sinne des Open Science Framework präregistiert wurden, überprüft werden. Die soziale Werteorientierung von 90 Versuchspersonen, aufgeteilt in drei Gruppen, davon 24 Männer, 46 Frauen ohne Hormoneinnahme sowie 20 Frauen mit Hormoneinnahme im Alter von 18-45 Jahren wurden mittels der sechs Primäritems der SVO Slider measure online an zwei Messzeitpunkten erhoben. Die Befunde weisen auf einen über zufälligen Unterschied in der Stabilität sozialer Werteorientierung zwischen Männern und Frauen ohne Hormoneinannahme hin. Entgegen der Erwartung zeigte sich kein Unterschied in der Stabilität zwischen Frauen mit Hormoneinannahme und Frauen ohne Hormoneinannahme. Die Ergebnisse lassen auf einen generellen Unterschied zwischen Männern und Frauen schließen. Angesichts der geringen Stichprobengröße ist eine Replikation mit einer größeren Stichprobe ratsam, um Implikationen für die Forschung und Praxis geschlechtsspezifischer Thematik ableiten zu können.

[PonderStibbons]

Also hab ich wieder den p-Wert berechnet und dann verdoppelt, da zweiseitig,

Nanu, wie das? Den p-Wert verdoppelt man normalerweise, wenn man ein zweiseitiges Testergebnis hat, aber ein einseitiges benötigt (der gesamte Ablehnungsbereich auf nur einer Seite der Verteilung liegt).
EDIT: Fehler, korrekt ist einseitiges p = 1/2 des zweiseitigen p. Verwechslung von p-Wert mit Flächenanteil des Ablehnungsbereichs

Das Ergebnis war p = .067 also nicht signifikant. Das heißt doch, sie unterscheiden sich?!

Die Nullhypothese war doch, dass der Korrelationskoeffizient beider Gruppen gleich ist? Diese Nullhypothese würde bei einem Ergebnis p=0,067 üblicherweise nicht verworfen.

Was mich jedoch viel mehr verwirrt ist der Kommentar meiner Professorin, die schrieb, dass in diesem Fall der p-Wert nicht aussagekräftig ist und man sich eher auf die Effektstärke beziehen sollte. Das verstehe ich leider gar nicht! Kann mir das jemand erklären, warum das so ist und wie ich die Effektstärke ausrechne?

Das beruht womöglich auf der fehlerhaften Auffassung der Professorin, dass man aus den Daten einer Stichprobe eine "Effektstärke" ermitteln könne. Oder auch auf anderen Auffassungen, die wiederum gar nicht fehlerhaft sind. Musst Du schon sie fragen. Was das zu berechnende Effekstärkemaß angeht, schau z.B. einmal unter Punkt 9 in https://www.psychometrica.de/effect_size.html

Mit freundlichen Grüßen

PonderStibbons

[nachtfalter87]

Hm, komisch.

Hier mal der Satz aus der Präregistierung:
Fisher’s z tests will be conducted to compare bivariate Pearson correlations of SVO
measured at T1 and T2 between men and women who take hormonal
contraception (two-sided test)

Und dazu war meine Frage wie man diese "Hypothese" testet, da der Fisher's z auf der psychometrica Seite nur für eine einseitige Testung die p Werte ausgibt.
Antwort meiner Professorin:
genau, für einen zweiseitigen Test müssen Sie im Vergleich zu einem einseitigen Test einfach den p-Wert verdoppeln. Die beiden Begriffe Hypothese und explorativ sind hier ein Widerspruch an sich; nachdem es sich hier um eine explorative Analyse handelt und Sie damit gar keine Hypothese testen (also ablehnen oder annehmen können), ist der p-Wert eigentlich gar nicht so relevant, sondern eher die Effektgröße. Da es aber üblich ist, den p-Wert mit zu berichten (ggf. mit dem Zusatz: unkorrigiert), würde ich das auch hier tun, aber ein Alphalevel in dem Sinne haben Sie hier nicht.

Vielleicht ist es jetzt klarer?

Ich hab nun auch die Werte für d berechnet....

d= 0.5144 für Männer vs Frauen ohne Hormone
d = 0.0387 für Frauen mit vs Frauen ohne Hormone
d = 0.5768 für Männer vs Frauen mit Hormonen

Wenn ich das jetzt richtig interpretiere hieße das doch...

H1 ist signifikant mit mittleren Effekt, hört sich schon mal gut an, dass das sich bei erneuter Testung nochmal repliziert
H2 ist nicht signifikant aber auch nur kleiner Effekt, in anbetracht, dass ich nur eine kleine Stichprobe vorliegen habe, könnte es doch sein, dass sich das Ergebnis nicht repliziert bei einer größeren Stichprobe und jetzt nur durch Zufall nicht signifikant war oder?
Explorative Annahme ist nicht signifikant aber mittlerer Effekt....Tja was das jetzt bedeuten soll weiß ich auch nicht

[nachtfalter87]

Noch eine Frage, wieso kann ich nicht auf dem von dir angegebenen Link Nr. 13 benutzen, hier meinen z Wert eingeben vom Fishers Test und die beiden Teilstichproben zusammenzählen und unter N eingeben?

[PonderStibbons]

für einen zweiseitigen Test müssen Sie im Vergleich zu einem einseitigen Test einfach den p-Wert verdoppeln.

Ja, das ist korrekt, ich habe meinen Fehler numehr verbessert (siehe oben).

Vielleicht ist es jetzt klarer?

Dann mache es doch so, wie vorgegeben.

Ich hab nun auch die Werte für d berechnet....

r wäre vielleicht passender, es handelt sich um Korrelationen, nicht Mittelwertvergleiche, auch wenn man die Maße ineinander überführen kann.

Explorative Annahme ist nicht signifikant aber mittlerer Effekt....Tja was das jetzt bedeuten soll weiß ich auch nicht

Es liegt eine Verwechslung von Stichprobendaten mit Effektstärken vor. Bei kleinen Stichproben sind die "wahren" Effektstärken (die in der Grundgesamtheit, aus der die Stichprobe stammt), durch den Stichprobenfehler verzerrt. Eben darum rechnet man ja Signifikanztests, weil man eine Aussage zumindest darüber will, ob man als wahren Effekt Null oder nicht-Null annehmen sollte. Irgendwelche Effekstärke-Maße in kleinen Stichproben zu berechnen und diese dann wie "wahre" Effekte zu diskutieren, obwohl man weiß, der Effekt wird hier eventuell grob über- oder unterschätzt, ist nicht überzeugend. Aber wenn sie das so will, musst Du's wohl machen.

Mit freundlichen Grüßen

PonderStibbons

[bele]

la donna è mobile!

Mir erscheint das Ansinnen Deiner Professorin recht klar: Sie will mit einer kleinen Pilotstudie ein Gefühl dafür bekommen, ob es sich lohnt, diese Frage in einer größeren Studie zu beantworten. Meines Erachtens lassen sich Deine Ergebnisse wie folgt interpretieren: Männer sind SVO-stabiler als Frauen in ihrem Naturwesen (also ohne medikamentöse Beeinflussung) und Frauen mit Medikamenten hattet ihr nur 20 Stück, und das hat hier halt nicht gereicht (p=0,067 hätte halt bei noch 10 Frauen in die eine oder in die andere Richtung gehen können). Ich hätte jetzt vorgeschlagen, für alle drei Gruppen die 95%-Konfidenzintervalle des Korrellationskoeffizienten anzugeben: Da bekäme man dann nicht nur ein Gefühl für die Abstände, sondern auch für die Unwägbarkeiten durch die Unterschiede in den Stichprobengrößen.

Ja, hier tappe ich in das Problem, dann ich Konfidenzintervalle wie Vorhersageintervalle verwende, aber das ist sehr weit verbreitet und würde hier wohl kaum den Gesamteindruck verzerren.

LG,
Bernhard

[nachtfalter87]

r wäre vielleicht passender, es handelt sich um Korrelationen, nicht Mittelwertvergleiche, auch wenn man die Maße ineinander überführen kann.

Hm, Aber ich hab ja schon korreliert?!
Männer: r = .881
Frauen ohne Hormone: r = .678
Frauen mit Hormone: r = .653
Das kam bei der Pearson Korrelation raus.

@bele:
T1 T2
M(SD) 95% CI M(SD) 95% CI
Gruppe 1a 24.50 (16.19) [17.66, 31.34] 24.11 (15.12) [17.73, 30.50]
Gruppe 2b 31.38 (11.18) [28.06, 34.70] 33.17 (11.91) [29.63, 36.70]
Gruppe 3c 30.38 (9.76) [25.81, 34.95] 31.02 (11.41) [25.69, 36.37]
an= 24. bn= 46. cn= 20

Meinst du die?
Aber warum ist dann die Effektstärke bei den Frauen untereinander so gering und bei Frauen mit Hormonen und Männern mittel?!

[nachtfalter87]

Liege ich richtig in der Annahme, dass der kleine Effekt besagt, dass der Unterschied in der Stabilität nur sehr klein ist ...

=> ja, zumindest in unserem Datensatz

... und durch weitere Testungen die ggf. noch andere Faktoren mit einschließen weiter abgesichert werden sollte?

=> das könnte man diskutieren, ist aber keine zwingende Konsequenz

Für die H1 in Bezug auf den mittleren Effekt lässt sich doch schließen, dass dieser Effekt tatsächlich vorhanden ist.

=> unsere Daten sprechen dafür, aber natürlich bleibt immer noch eine Fehlerwahrscheinlichkeit von 5% (Alphafehler)

Für die explorative Analyse habe ich ebenfalls einen mittleren Effekt gefunden aber einen nicht signifikanten p Wert. Heißt doch, dass sich Männer von Frauen mit Hormonen unterscheiden da wir einen mittleren Effekt gefunden haben? Aber wieso ist der p Wert dann nicht signifikant?

=> das kann z.B. an einer zu geringen Teststärke liegen; welche Effektstärke nötig gewesen wäre um ihn für unsere Stichprobengröße mit einer Wahrscheinlichkeit von mindestens 80% zu finden, können Sie in G*Power über die Sensitivity bestimmen.

....das war jetzt ihre Erklärung dazu.
Jetzt muss ich das nur noch alles irgendwie zusammen kriegen.