Auswertung der Daten eines Kreuzexperiments

Auswertung der Daten eines Kreuzexperiments

Beitragvon statistik_newbee » Mo 15. Jul 2019, 13:53

Hallo Miteinander,

ich bin gerade dabei für meine Abschlussarbeit mein Experiment auszuwerten und würde sicherheitshalber gern die Meinung von Euch Experten zu den gewählten Tests wissen.

Versuchsaufbau:
Ich möchte untersuchen, ob Probanden in der Lage sind eine Aufgabe besser zu lösen, wenn sie eine Unterstützung erhalten. Hierfür bekommen die Probanden im 1. Durchlauf eine Aufgabe, die sie ohne Unterstützung (Treatment 1) bearbeiten. Im 2. Durchlauf erhalten sie eine vergleichbare Aufgabe, die sie nun aber MIT Unterstützung (Treatment 2) bearbeiten. In Durchlauf 1 und 2 werden unterschiedliche Aufgaben eingesetzt, damit kein Lerneffekt entsteht. Der Typ der Aufgabe ist jedoch ähnlich. Außerdem erhalten alle Probanden erst im zweiten Durchlauf die Unterstützung, damit kein Überlagerungseffekt entsteht und evtl. Einflüsse aus der Unterstützung den Durchlauf ohne Unterstützung beeinflussen könnte.

Ich habe also 2 UVs a 2 Ausprägungen, die nominalskaliert sind:
(1) X = Treatment 1 (ohne Unterstützung) und Treatment 2 (mit Unterstützung)
(2) Y = Aufgabenmaterial 1 und Aufgabenmaterial 2.

Fall 1 (Fragebogen): Ich habe 4 AVs (ordinalskaliert). Die Probanden sollten jeweils einen Fragebogen ausfüllen, wobei anhand einer 5-Punkt-Likert-Skala eine Bewertung für ein bestimmtes Kriterium abgegeben werden sollte, z.B. Wie sicher haben Sie sich bei der Bearbeitung der Aufgabe gefühlt?

Fall 2 (Bewertung): Ich habe anhand festgelegter Kritierien die von den Probanden bearbeiteten Aufgaben bewertet und verschiedene Arten von Auffälligkeiten gezählt. Auch hier haben ich 4 AVs (intervallskalliert).

Ich habe insgesamt 20 Studienteilnehmer.

Das ganze habe ich aufgrund von Mangel an Probanden als Kreuzexperiement durchgeführt. D.h. Alle Probanden haben im 1. Durchlauf die Aufgabe OHNE Unterstützung bearbeitet. 10 Probanden haben dabei mit dem Aufgabenmaterial 1 und die anderen 10 Probanden mit dem Aufgabenmaterial 2 begonnen.

Ziel:
(1) Ich möchte gern nachweisen, dass das Treatment einen Effekt auf die entsprechenden AVs hat, d.h. dass MIT Unterstützung die Welt besser ist. ;-)
(2) Ich möchte zeigen, dass es keinen Einfluss durch das Aufgabenmaterial gab. (Und im Umkehrschluss, dass es einen signifikanten Einfluss durch das Treatment gab.)

Vorgehen und eingesetzte Tests:

Vortest: Ich habe den Shapiro-Wilk Test durchgeführt und gesehen, dass meine Daten NICHT normalverteilt sind. Daraus schließe ich, dass ich keine parametrischen Tests (z.B. t-Test, ANOVA) durchführen kann.

Fall 1:
Im Fall 1 habe ich eine abhängige Stichprobe, weil ich möchte die Antworten der Probanden aus dem Fragebogen zum Zeitpunkt t_1 (nach Durchlauf 1) und zum Zeitpunkt t_2 (nach Durchlauf 1) vergleichen. Da es sich um den gleichen Probanden handelt, der die jeweilige Frage beantwortet besteht ein Zusammenhang zwischen den Messpunkten. Deshalb würde ich sagen, dass es sich um eine abhängige Stichprobe handelt.
Welche Tests habe ich durchgeführt?
(1) Wilcoxon-Test um zu untersuchen, ob sich die zentralen Tendenzen unterscheiden, und Effektstärke r.
(2) Fisher's Exact Test bzw. Fisher-Freeman-Halton Test (weil Stichprobe ist recht klein und es gibt Zellen <5), um zu untersuchen, ob die Beantwortung der jeweiligen Frage unabhängig von dem jeweiligen Aufgabenmaterial war. Ich habe hier eine 2x5 Kontingenztabelle: UV Y hat zwei Ausprägungen (Aufgabenmaterial 1 und 2) und die AV hat 5 Ausprägungen entsprechend der Likert-Skala. Da es eine Kontingenztabelle größer 2x2 ist berechne ich noch den Kontingenzkoeffizient C und Cramer's V.


Fall 2:
Im Fall 2 habe ich unabhängige Stichproben, weil ich die Anzahl der Auffälligkeiten pro System vergleiche. D.h. Ergebnisse aller 10 Probanden die Aufgabe 1 OHNE Unterstützung mit den Ergebnissen der anderen 10 Probanden die Aufgabe 1 MIT Unterstützung bearbeitet haben. Das sind immer verschiedene Probanden gewesen.
Welche Tests habe ich durchgeführt?
(1) Mann-Whitney-U-Test um zu untersuchen, ob sich die zentralen Tendenzen unterscheiden, und Effektstärke r.
(2) Hier müsste ich vermutlich den Eta-Koeffizient nehmen, weil das Aufgabenmaterial eine nominalskalierte UV ist und die Anzahl der Auffälligkeiten intervallskaliert ist. Allerdings bin ich mir da unschlüssig, wie ich damit nachweisen kann, dass das Aufgabenmaterial keinen signifikanten Einfluss hatte. Wäre hier evtl. der Kruskal-Wallis-Test oder der Scheirer-Ray-Hare-Test sinnvoller?


Insgesamt würde mich interessieren, ob ich die richtigen Tests gewählt habe und ob vielleicht noch jemand einen Tipp hat, was man sich noch anschauen sollte oder besser machen kann zwecks der Auswertung.

Ich bin gespannt auf Eure Antworten :-)
statistik_newbee
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Mo 15. Jul 2019, 08:19
Danke gegeben: 0
Danke bekommen: 1 mal in 1 Post

Re: Auswertung der Daten eines Kreuzexperiments

Beitragvon PonderStibbons » Mo 15. Jul 2019, 19:39

Die Probanden sollten jeweils einen Fragebogen ausfüllen, wobei anhand einer 5-Punkt-Likert-Skala

Anscheinend handelt es sich nur um einzelne Items, nicht um Likert-Skalen?
nutzung-des-forums-f44/likertskalen-und-anderes-t9192.html
(1) Ich möchte gern nachweisen, dass das Treatment einen Effekt auf die entsprechenden AVs hat

Ich nehme an, das kannst Du nicht, weil "Wiederholung" (Übungseffekt) und "Instruktion" vollständig konfundiert sind.

(2) Ich möchte zeigen, dass es keinen Einfluss durch das Aufgabenmaterial gab.

Das sollte doch durch die Variation in der Darbietungsreihenfolge sichergestellt sein, mal ist die eine ufgabe die erste, mal die andere.

Ich habe den Shapiro-Wilk Test durchgeführt und gesehen, dass meine Daten NICHT normalverteilt sind.

Du hast keine intervallskalierten Merkmale, deswegen ist die Frage von vornherein gar nicht stellbar.

(1) Wilcoxon-Test um zu untersuchen, ob sich die zentralen Tendenzen unterscheiden, und Effektstärke r.

Falls es um die ordinalskalierten Items geht, wäre der Vorzeichentest geeignet. Der Wilcoxon erfordert intervallskalierte Messungen.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11228
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 49
Danke bekommen: 2467 mal in 2451 Posts

Re: Auswertung der Daten eines Kreuzexperiments

Beitragvon statistik_newbee » Mi 17. Jul 2019, 08:59

Hi,

danke für die schnelle Antwort :-)

Genau, es handelt sich um einzelne Likert-Items. Zu den anderen Punkten hätte ich noch Fragen:

(2) Ich möchte zeigen, dass es keinen Einfluss durch das Aufgabenmaterial gab.

Das sollte doch durch die Variation in der Darbietungsreihenfolge sichergestellt sein, mal ist die eine ufgabe die erste, mal die andere.


=> Genau das war die Intension, dass man die Darbietungsreihenfolge abwechselt. Allerdings würde ich trotzdem gern zeigen, dass das Aufgabenmaterial tatsächlich keinen Einfluss auf das Ergebniss hatte, sondern es auf das Treatment zurück zu führen ist. Wenn die Voraussetzungen gegeben wären, dann könnte man das ja mittels einer ANOVA ptüfen. Allerdings muss ich aufgrund der Datenlage ein nichtparametrisches Verfahren verwenden. Deshalb habe ich den exakten Test nach Fisher eingesetzt.

Ich habe den Shapiro-Wilk Test durchgeführt und gesehen, dass meine Daten NICHT normalverteilt sind.

Du hast keine intervallskalierten Merkmale, deswegen ist die Frage von vornherein gar nicht stellbar.


=> Wenn man einen Test auf Normalverteilung durchführen möchte, müssen dann alle Daten intervallskaliert sein, also AVs und UVs oder nur die AVs?

(1) Ich möchte gern nachweisen, dass das Treatment einen Effekt auf die entsprechenden AVs hat

Ich nehme an, das kannst Du nicht, weil "Wiederholung" (Übungseffekt) und "Instruktion" vollständig konfundiert sind.


=> Hmm ... das wäre schade. :-( Die Instruktionen waren für jeden Probanden jeweils identisch, da Videos gezeigt wurden, die den Ablauf erklären.

Falls es um die ordinalskalierten Items geht, wäre der Vorzeichentest geeignet. Der Wilcoxon erfordert intervallskalierte Messungen.


=> Laut diesem Link hier, lässt sich der Wilcoxon-Test auf ordinalsaklierten Daten ausführen. Oder ist hier der Wilcoxon-Vorzeichen-Rang-Test gemeint?
https://www.methodenberatung.uzh.ch/de/datenanalyse_spss/unterschiede/zentral/wilkoxon.html

Gibt es ansonsten eine Möglichkeit für unabhängige Stichproben einen (nichtparametrischen) Test durchzuführen, um zu überprüfen welche UVs einen bzw. keinen signifikanten Einfluss hatten?
statistik_newbee
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Mo 15. Jul 2019, 08:19
Danke gegeben: 0
Danke bekommen: 1 mal in 1 Post

Re: Auswertung der Daten eines Kreuzexperiments

Beitragvon PonderStibbons » Mi 17. Jul 2019, 09:58

Wenn man einen Test auf Normalverteilung durchführen möchte, müssen dann alle Daten intervallskaliert sein, also AVs und UVs oder nur die AVs?

Eine Variable, deren Verteilung (in der Grundgesamtheit) man testen möchte,
muss mindestens Intervallskalenniveau aufweisen.

In aller Regel ist es aber sowieso überflüssig, überhaupt die Verteilungseigenschaften
von Variablen zu betrachten, weil bei den meisten Verfahren nicht die
abhängige Variable in der Grundgesamtheit normalverteilt sein soll, sondern
die Modellfehler (Residuen) bzw. die Verteilung innerhalb der Gruppen
(bei einer Varianzanalyse oder einem t-Test).

=> Laut diesem Link hier, lässt sich der Wilcoxon-Test auf ordinalskalierten Daten ausführen.

Wenn wir uns die Berechnung des Wilcoxon-Rangsummentests ansehen, wird
unmittelbar klar, dass dieser mindestens intervallskalierte Merkmale erfordert.
https://en.wikipedia.org/wiki/Wilcoxon_ ... ssumptions

Gibt es ansonsten eine Möglichkeit für unabhängige Stichproben einen (nichtparametrischen) Test durchzuführen, um zu überprüfen welche UVs einen bzw. keinen signifikanten Einfluss hatten?

"Signifikant" ist ein Merkmal, das sich auf Testung bezieht, sie ist keine
Eigenschaft von Variablen, Effekten oder Zusammenhängen.

Nonparametrische Tests für den Vergleich unabhängiger Gruppen sind der H-Test,
der U-Test, der Chi²-Test, Fisher's exact Test, je nach Skalenniveau der abhängigen
Variable und Anzahl der Gruppen.

Mit freundlichen Grüßen

PondrStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11228
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 49
Danke bekommen: 2467 mal in 2451 Posts


Zurück zu Nichtparametrische Tests

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste