STATISTIK-FORUM.de

[Anonymosaurus]

Statistische Auswertung von Experiment

Beitragvon Statistikneuling1265 » 11.12.2019, 10:03
Hallo, ich habe ein Experiment konzipiert und bin gerade daran, mir die Auswertung zu überlegen. Zum Experiment:
Spieler haben die Möglichkeit, für das Lösen von Matheaufgaben 50 Cent für sich zu bekommen (wenn sie richitg gelöst haben). Danach bekommen sie die Möglichkeit, das Geld für eine NonprofitOrganisation zu spenden (in Inkrementen von 10 Cent ist alles möglich).
Danach kommt Feedback abhängig vom Treatment:
Kontrollgruppe, Treatment 1 und 2: Nur wie viel sie bisher gespendet haben, kumuliert (das Experiment geht über 12 Runden und jedes Treatment besteht aus 8 Spielern).
Treatment 3: Position im Treatment in Abhängigkeit zu den anderen Spielern) sowie anonymes Treatment
Treatment 43: Position im Treatment in Abhängigkeit zu den anderen Spielern) sowie nicht anonymes Treatment
Danach kommt die nächste Matheaufgabe bis zur letzten Runde.
Dann kommt die Ergebinsseite mit folgenden Abwandlungen:
Kontrollgruppe (KG): Wie viele Bäume hat dieser Spieler insgesamt gespendet?
Treatment 1: Wie KG + welche Position/Rang hat er im Experiment innerhalb der Gruppe erreicht?
Treatment 2; Wie KG + Nicht anonymes Ranking
Treatment 3: Wie KG + Position + Anonymes Ranking
Treatment 4: Wie KG + Position + Nicht anonymes Ranking

Ich will damit untersuchen, ob 1. Wettbewerb einen positiven Effekt auf Spendenverhalten hat und 2. Ob sozialer Druck eine mediator Wirkung auf das Spendenverhalten hat.
Dafür würde ich gerne 1. Die Häufigkeit der Spende anschauen (Also wie oft von insgesamt 12 Runden wurde gespendet) sowie 2. Die Gesamtspende.

Allerdings bin ich mir über die Tests sehr unsicher:
Die Spenden in Inkrementen von 10 Cents dürften intervallskaliert und quasi-stetig sein, die Häufigkeit der Spende eher diskret?

Wie genau sollte man jetzt bei der Auswertung vorgehen? Ich habe die Kontrollgruppe als Baseline. Rein theoretisch könnte ich die Gesamtspende sowie die Häufigkeit jedes treatments ja immer im Vergleich zur Kontrollgruppe anschauen.
Aber eine Regression ist hier ja nicht möglich oder? Ich weiss ja nicht mal ob die Residuen normalverteilt sind, das würde ich dann testen.

Gilt der soziale Druck in Form von Treatment als unabhängige Variable?

Wie genau kann man analysieren?
1. Innerhalb von Treatments ob die Tests wirklich verlässlich sind (das Experiment soll insgesamt 5 mal getestet werden)
2. Zwischen Treatments? Treatment 1 und 2 hat eine unabhängige Variable, aber wie siehts bei Treatment 3 und 4 aus?

Ich bin sehr verwirrt und über jede Hilfe sehr dankbar

[PonderStibbons]

Treatment 3: Position im Treatment in Abhängigkeit zu den anderen Spielern) sowie anonymes Treatment
Treatment 4: Position im Treatment in Abhängigkeit zu den anderen Spielern) sowie nicht anonymes Treatment

D.h. in Treatment 4 wird die Rückmeldung unter Nennung des Namen gegeben?

Dann kommt die Ergebinsseite mit folgenden Abwandlungen:

Welche Funktion hat diese Ergebnisseite im Experiment? Die Messungen der abhängigen Variablen (Geldbeträge, Zahl der Spenden) sind dann doch bereits erledigt.

Aber eine Regression ist hier ja nicht möglich oder?

Was meinst Du damit?

1. Innerhalb von Treatments ob die Tests wirklich verlässlich sind

Was meinst Du damit?

Mit freundlichen Grüßen

PonderStibbons

[Anonymosaurus]

D.h. in Treatment 4 wird die Rückmeldung unter Nennung des Namen gegeben?

Genau, in Treatment 4 wird der Vorname mit veröffentlich, um sozialen Druck zu modellieren.

Welche Funktion hat diese Ergebnisseite im Experiment? Die Messungen der abhängigen Variablen (Geldbeträge, Zahl der Spenden) sind dann doch bereits erledigt.

Das Ganze ist ein verhaltenswissenschaftliches Experiment, in denen den Spielern mitgeteilt werden muss, wie sie am Ende abgeschnitten haben. Es fasst einfach die Gesamtergebnisse zusammen.

Aber eine Regression ist hier ja nicht möglich oder?

Ich möchte ja sehen, inwiefern Wettbewerb wirklich das Spendenverhalten beeinflusst. Mit einer Regressionsanalyse könnte ich ja einen Korrelationskoeffizienten berechnen und diesen auf Signifikanz testen. Leider ist die abhängige Variable ordinal skaliert (Wettbewerb Treatment 1 < Wettbewerb Treatment 2 etc.). Eine Rangkorrelation könnte sinnvoll sein, aber laut Internet geht das nur, wenn ich 2 Variablen habe. Ich hätte aber bei Treatment 3 und 4 jeweils 3 (Unabhängige Variable = Spenden, Abhängige Variable = Wettbewerbsausprägung, 3. Variable (als Mediator = Sozialer Druck).

1. Innerhalb von Treatments ob die Tests wirklich verlässlich sind

Naja das Experiment wird in jeder Session mit allen TreatmentGroups + Kontrollgruppe (jeweils 8 Personen, also insgesamt 40) durchgeführt. Da 8 Datenpunkte pro Treatment zu wenig für eine Aussage wären, wird das Experiment öfters durchgeführt (ich rechne mal mit 5 Durchgängen). Wie genau kann ich feststellen, ob dieErgebnisse zum Beispiel von Treatmentgroup 1 im ersten Durchlauf ähnlich zu denen im zweiten, dritten, vierten und fünften sind?

Vielen Dank und beste Grüße

[PonderStibbons]

Das Ganze ist ein verhaltenswissenschaftliches Experiment, in denen den Spielern mitgeteilt werden muss, wie sie am Ende abgeschnitten haben. Es fasst einfach die Gesamtergebnisse zusammen.

Das heißt, dass Kontrollgruppe und "Treatments 1" und "Treatment 2" identisch sind,
ein Unterschied ergibt sich erst, wenn die Daten bereits erhoben wurden? Damit
gibt es nur noch 3 Versuchsbedingungen (Kontrolle, dreifach besetzt; anonymes
ranking; namentliches ranking). Wobei sich die Frage stellt, warum man Kontrolle
gleich dreifach besetzt.

Aber eine Regression ist hier ja nicht möglich oder?

Ich möchte ja sehen, inwiefern Wettbewerb wirklich das Spendenverhalten beeinflusst. Mit einer Regressionsanalyse könnte ich ja einen Korrelationskoeffizienten berechnen und diesen auf Signifikanz testen. Leider ist die abhängige Variable ordinal skaliert (Wettbewerb Treatment 1 < Wettbewerb Treatment 2 etc.). Eine Rangkorrelation könnte sinnvoll sein, aber laut Internet geht das nur, wenn ich 2 Variablen habe. Ich hätte aber bei Treatment 3 und 4 jeweils 3 (Unabhängige Variable = Spenden, Abhängige Variable = Wettbewerbsausprägung, 3. Variable (als Mediator = Sozialer Druck).

Die abhängigen Variablen in dem Design sind die Zahl der Spenden bzw. der gespendete Betrag.
Diese will man vorhersagen durch Gruppenzugehörigkeit (unabhängige Variable). Diese hat nach
obiger Überlegung 3 Ausprägungen. Man kann das mit einer linearen Regressionsanalyse auswerten
(hierfür müssten 2 der 3 Gruppen als 0/1-dummy-Variablen codiert werden, die dritte Gruppe
braucht dabei als Referenz keinen eigenen dummy), oder als einfaktorielle Varianzanalyse. Die
Verfahren sind äquivalent.

Was Du mit sozialer Druck als Mediator meinst, ist mir nicht ganz klar. Sozialer Druck ist
operationalisiert über die Versuchsbedingung. Oder hast Du irgendwo noch eine unabhängige
Messung von erlebtem sozialem Druck auf Personenebene? Wenn nicht, kannst Du Dir Überlegungen über
Mediatorwirkungen sparen, eine nicht gemessene Variable kann man nicht in eine Auswertung einbauen.

das Experiment wird in jeder Session mit allen TreatmentGroups + Kontrollgruppe (jeweils 8 Personen, also insgesamt 40) durchgeführt. Da 8 Datenpunkte pro Treatment zu wenig für eine Aussage wären, wird das Experiment öfters durchgeführt (ich rechne mal mit 5 Durchgängen).

Fünfmal mit denselben Personen? Oder 5*40 Personen?

Wie genau kann ich feststellen, ob dieErgebnisse zum Beispiel von Treatmentgroup 1 im ersten Durchlauf ähnlich zu denen im zweiten, dritten, vierten und fünften sind?

Wenn es dieselben Personen sind, Varianzanalyse für Messwiederholungen. Wenn es
verschiedene Personen (Gruppen) sind, dann kann "Durchlauf" als 2. Faktor in die
Varianzanalyse eingebracht werden (wodurch es eine zweifaktorielle wird), oder als
4 dummy-codierte Variablen in die lineare Regressionsanalyse.

Mit freundlichen Grüßen

PonderStibbons

[Anonymosaurus]

Das heißt, dass Kontrollgruppe und "Treatments 1" und "Treatment 2" identisch sind,
ein Unterschied ergibt sich erst, wenn die Daten bereits erhoben wurden? Damit
gibt es nur noch 3 Versuchsbedingungen (Kontrolle, dreifach besetzt; anonymes
ranking; namentliches ranking). Wobei sich die Frage stellt, warum man Kontrolle
gleich dreifach besetzt.

Nicht ganz, ich kommuniziere am Anfang des Experimentes bei Treatment 1 dass am Ende die Position mitgeteilt wird, bei Treatment 2 ein nicht anonymes Ranking. So möchte ich reinen Wettbewerb modellieren, ohne irgendeine Beeinflussung durch Feedback. Die Kontrollgruppe weiss nicht einmal, dass sie mit anderen Menschen spielt. Die Ausprägung des Wettbewerbes nimmt von Treatment 1 bis Treatment 4 stetig zu.Entschuldige, hätte ich dazu sagen sollen.

Die abhängigen Variablen in dem Design sind die Zahl der Spenden bzw. der gespendete Betrag.
Diese will man vorhersagen durch Gruppenzugehörigkeit (unabhängige Variable). Diese hat nach
obiger Überlegung 3 Ausprägungen. Man kann das mit einer linearen Regressionsanalyse auswerten
(hierfür müssten 2 der 3 Gruppen als 0/1-dummy-Variablen codiert werden, die dritte Gruppe
braucht dabei als Referenz keinen eigenen dummy), oder als einfaktorielle Varianzanalyse. Die
Verfahren sind äquivalent.

Was Du mit sozialer Druck als Mediator meinst, ist mir nicht ganz klar. Sozialer Druck ist
operationalisiert über die Versuchsbedingung. Oder hast Du irgendwo noch eine unabhängige
Messung von erlebtem sozialem Druck auf Personenebene? Wenn nicht, kannst Du Dir Überlegungen über
Mediatorwirkungen sparen, eine nicht gemessene Variable kann man nicht in eine Auswertung einbauen.

Genau, die abhängige Variable ist die Zahl der Spenden, bzw der gespendete Betrag. Die unabhängige Variable wäre doch die Ausprägung des Wettbewerbs + Feedback bei Treatment 3 und 4. Ich dachte, dass bei der einfaktoriellen Varianzanalyse eine Normalverteilung zugrunde gelegt wird, kann ich das hier wirklich sagen? ich wollte die Daten mit Boxplots und Scatter Diagrammen analysieren. Falls keine Normalverteilung angenommen werden kann, wollte ich den Kruskal Wallis Test nehmen. Oder kann ich einfach die Varianzanalyse nehmen?

Wie sähe die Auswertung für Treatment 3 und 4 aus? Ich verstehe was du damit meinst, aber sozialer Druck ist ja nur bei 4 und am Ende bei 2 präsent, wenn die Teilnehmer mehr spenden, so denke ich, dass eine Aussage, dass das evenutell auf den Sozialen Druck zurückzuführen ist, möglich ist. Weil ich ja die anderen Treatments als Vergleich habe. Wenn nicht, hätte ich ja eine Abhängige Variable und 2 Unabhängige bei Treatment 3 und 4 (Wettbewerb und Feedback).

Fünfmal mit denselben Personen? Oder 5*40 Personen?

5*40, also unabhängige Messungen

Wenn es dieselben Personen sind, Varianzanalyse für Messwiederholungen. Wenn es
verschiedene Personen (Gruppen) sind, dann kann "Durchlauf" als 2. Faktor in die
Varianzanalyse eingebracht werden (wodurch es eine zweifaktorielle wird), oder als
4 dummy-codierte Variablen in die lineare Regressionsanalyse.

Also schlägst du eine einfaktorielle Varianzanalyse für die Auswertung innerhalb der Treatments und zwischen den Treatments vor?
Was genau du damit meinst, dass der "Durchlauf" als 2. Faktor eingebrcht werden kann, ist mir nicht ganz klar. Ich müsste ja alle 5 Durchläufe miteinander vergleichen. Das wäre ja selbst mit einer linearen Regression sehr mühsam, weil das ja für jede Treatmentgroup gemacht werden müsste, also insgesamt 5*5 = 25 mal...

[PonderStibbons]

Ich dachte, dass bei der einfaktoriellen Varianzanalyse eine Normalverteilung zugrunde gelegt wird,

Wer hat Dich denn derart falsch informiert?

Wie genau kann ich feststellen, ob die Ergebnisse zum Beispiel von Treatmentgroup 1 im ersten Durchlauf ähnlich zu denen im zweiten, dritten, vierten und fünften sind?

Warum sollten sie systematisch anders sein? Wenn die Ergebnisse von Mal
zu Mal variieren, dann ist das eben so, und der Effekt des Treatments ist
schlechter bis gar nicht nachzuweisen.

Wichtig wäre, ob die Mitglieder einer Gruppe in irgendeiner
Weise miteinander interagieren bzw. ob die Messungen innerhalb einer
Gruppe aus sonstigen Gründen als nicht voneinander unabhängig sein
könnten.

Mit freundlichen Grüßen

PonderStibbons

[Anonymosaurus]

Wer hat Dich denn derart falsch informiert?

Das war die Mwthodenberatung der Uni Zürich
https://www.methodenberatung.uzh.ch/de/ ... rianz.html

Warum sollten sie systematisch anders sein? Wenn die Ergebnisse von Mal
zu Mal variieren, dann ist das eben so, und der Effekt des Treatments ist
schlechter bis gar nicht nachzuweisen.

Ich weiß, was das gemeint ist, allerdings fände ich es schon schön das Ganze mit statistischen Mitteln irgendwie auf Reliabilität testen. Sowas wie die Retest-Reliabilität, aber eben nicht für Messwiederholungen, sondern für unabhängige Messungen.
Im zweiten Schritt würde ich dann die Ergebnisse in Verbindung mit den anderen Treatments testen.
Laut der methodenberatung der Uni Zürich:

https://www.methodenberatung.uzh.ch/de/ ... _spss.html

Käme dann bei mir ja nur die einfaktorielle Varianzanalyse oder Kruskal Wallis in Frage. Oder würde für Treatment 3 und 4 das Feedback als zusätzliche unabhängige Variable gelten? Ich bin mir bei dieser Auswertung wirklich alles andere als sicher

[PonderStibbons]

Wer hat Dich denn derart falsch informiert?

Das war die Methodenberatung der Uni Zürich
https://www.methodenberatung.uzh.ch/de/ ... rianz.html

Da Du es anders zitiert hast, als es da steht, kannst Du die Methodenberatung der Uni Zürich
nicht haftbar machen.

Letztlich ist die Normalverteilungsbetrachtung reichlich irrelevant. Für das Allgemeine Lineare
Modell wird angenommen, dass die Vorhersagefehler (Residuen) des Modells aus einer
normalverteilten Grundgesamtheit stammen. Ist die Stichprobe groß genug (häufig wird
n > 30 genannt, mitunter auch > 50), dann gilt der F-Test aber als robust auch bei nicht
normalverteilten Residuen.

Ich weiß, was das gemeint ist, allerdings fände ich es schon schön das Ganze mit statistischen Mitteln irgendwie auf Reliabilität testen. Sowas wie die Retest-Reliabilität, aber eben nicht für Messwiederholungen, sondern für unabhängige Messungen.

Ich erkenne leider den Sinn nicht. Wenn Du aus derselben Grundgesamtheit Stichproben der Größe 8 ziehst,
werden diese sich hinsichtlich der abhängigen Variable unterscheiden.

Wenn die Mitglieder der Gruppen nicht miteinander interagieren und die Beobachtungen daher
unabhängig voneinander sind, daher auf Ebene der Einzelprobanden ausgewertet werden können,
haben wir es mit 5 Gruppen jeweils der Größe 40 zu tun und naheliegend wäre eine einfaktorielle
Varianzanalyse.

Mit freundlichen Grüßen

PonderStibbons

[Anonymosaurus]

Da Du es anders zitiert hast, als es da steht, kannst Du die Methodenberatung der Uni Zürich
nicht haftbar machen.

Letztlich ist die Normalverteilungsbetrachtung reichlich irrelevant. Für das Allgemeine Lineare
Modell wird angenommen, dass die Vorhersagefehler (Residuen) des Modells aus einer
normalverteilten Grundgesamtheit stammen. Ist die Stichprobe groß genug (häufig wird
n > 30 genannt, mitunter auch > 50), dann gilt der F-Test aber als robust auch bei nicht
normalverteilten Residuen.

Vielen Dank für die Aufklärung! Also kann ich die einfaktorielle Varianzanalyse ohne große Bedenken anwenden.

Wenn die Mitglieder der Gruppen nicht miteinander interagieren und die Beobachtungen daher
unabhängig voneinander sind, daher auf Ebene der Einzelprobanden ausgewertet werden können,
haben wir es mit 5 Gruppen jeweils der Größe 40 zu tun und naheliegend wäre eine einfaktorielle
Varianzanalyse.

Also kann ich die Gruppen mit demselben Treatment mit der einfaktoriellen Varianzanalyse analysieren?

Wie genau könnte ich denn zum Beispiel Treatment 1 (nur Wettbewerb als abhängige Variable) mit der Kontrollgruppe vergleichen? Durch eine einfache Regression? Oder lieber durch den Kruskal Wallis Test?

Und wie sähe die Auswertung bei Treatment 3 und 4 aus? Dort gibt es ja 2 unabhängige Variablen (Wettbewerb & Feedback)