Welche Tests für Evaluationsstudie

Fragen, die sich auf kein spezielles Verfahren beziehen.

Welche Tests für Evaluationsstudie

Beitragvon junixd » So 22. Okt 2023, 21:35

Hallo,

ich brauche dringend Hilfe bei der Auswertung meiner Daten für meine Abschlussarbeit.
Leider habe ich nicht die größte Ahnung von Statistik und hoffe auf Eure Hilfe!

In meiner Studie möchte ich die Wirksamkeit einer Bildungsrallye untersuchen. Dafür habe ich Schulklassen eingeladen, die die Rallye durchgeführt haben und zu drei Messzeitpunkten einen Fragebogen ausgefüllt haben. Vor, direkt nach der Rallye und einige Wochen später. Also ein Pre-Post-FollowUp Design.
Ich habe damit eine abhängige Stichprobe. Weiterhin habe ich auch auf Normalverteilung getestet. Meine Daten sind nicht normalverteilt.

Jetzt ist die Frage, welche statistischen Tests bieten sich an für die Datenanalyse? Ich habe nach nichtparametrischen Tests gesucht und bin bei dem Friedman Test hängen geblieben. Würde das schon ausreichen? Oder brauche ich auch noch einen weiteren Test, um z.B. die Zusammenhänge zu untersuchen?

Ich bin über jede Hilfe sehr dankbar!
junixd
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: So 22. Okt 2023, 21:27
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Welche Tests für Evaluationsstudie

Beitragvon bele » So 22. Okt 2023, 22:09

Hi!

Das Ergebnis des Fragebogens ist jeweils eine intervallskalierte Zahl? Größere Werte sind besser? Die Fragebögen sind dreimal die gleichen? Wie groß ist der Stichprobenumfang? Müssen weitere Größen mituntersucht werden, beispielsweise der Vergleich von Jungen und Mädchen, Deutschen und Migranten, Unterschiede zwischen den Schulklassen?

Wahrscheinlich kommt am Ende heraus, dass Du zwei oder drei t-Tests für verbundene Stichproben rechnen kannst, aber diese Fragen müssen erst auf den Tisch.

LG, Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5779
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1357 mal in 1344 Posts

folgende User möchten sich bei bele bedanken:
junixd

Re: Welche Tests für Evaluationsstudie

Beitragvon PonderStibbons » So 22. Okt 2023, 22:42

Ergänzend zu beles Fragen,
wie viele Schulklassen waren es, welche Größe haben die Klassen (von - bis), wie groß ist die Gesamtstichprobe?
Lässt sich abschätzen, wie viele Teilnehmende zu t2 und/oder t3 fehlen?

Weiterhin habe ich auch auf Normalverteilung getestet. Meine Daten sind nicht normalverteilt.

Das wiederum ist irrelevant. Oder gab es einen besonderen Grund für diese Betrachtung?

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11264
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2474 mal in 2458 Posts

folgende User möchten sich bei PonderStibbons bedanken:
junixd

Re: Welche Tests für Evaluationsstudie

Beitragvon junixd » So 22. Okt 2023, 22:50

Hallo Bernhard,

vielen Dank für die schnelle Antwort.

Insgesamt habe ich 180 Teilnehmer, die zu drei unterschiedlichen Zeitpunkten den gleichen Fragebogen ausgefüllt haben.
Die Items werden auf einer 5-stufige Likert-Skala gemessen, bei der höhere Werte auch eine positivere Ausprägung bedeuten z.B. 1 = "Ich stimme nicht zu" und 5 = "Ich stimme vollständig zu".

Weitere Größen wie das Geschlecht, Herkunft oder Klassenstufe werden erstmal nicht weiter beachtet.

LG
Julia
junixd
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: So 22. Okt 2023, 21:27
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Welche Tests für Evaluationsstudie

Beitragvon PonderStibbons » So 22. Okt 2023, 22:56

Die Items werden auf einer 5-stufige Likert-Skala gemessen,

Nur zur Sicherheit, das 5-stufige Antwortformat eines einzelnen Items ist keine Likert-Skala.
Likert-Skala ist die Bezeichnung eines Messinstruments, das aus mehreren Items vom Likert-Typ
besteht, deren Scores summiert werden. Liegen Deine abhängigen Messungen als einzelne
Items mit fünfstufigem Antwortformat vor (streng genommen ordinalskaiert), oder als
Summenscores mehrerer Items (das wird in der Regel als intervallskaliert behandelt)?


Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11264
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2474 mal in 2458 Posts

Re: Welche Tests für Evaluationsstudie

Beitragvon junixd » So 22. Okt 2023, 22:59

insgesamt haben 9 Schulklassen teilgenommen, mit jeweils min-max 17-22 Kindern.

t1 hat 185 TN
t2 hat 180 TN
t3 hat 157 TN (eine Klasse hat an der dritten Befragung nicht mehr teilgenommen)
junixd
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: So 22. Okt 2023, 21:27
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Welche Tests für Evaluationsstudie

Beitragvon junixd » So 22. Okt 2023, 23:04

PonderStibbons hat geschrieben:oder als
Summenscores mehrerer Items (das wird in der Regel als intervallskaliert behandelt)?


entschuldige die missverständliche Ausdrucksweise.
Genau, ich habe insgesamt vier Skalen mit mehreren Items.
junixd
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: So 22. Okt 2023, 21:27
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Welche Tests für Evaluationsstudie

Beitragvon junixd » So 22. Okt 2023, 23:17

vielleicht auch noch wichtig zu wissen:
Die Stichprobe hat sich daraus ergeben, dass ich Schulklassen aus der Umgebung angefragt habe, die innerhalb der Zielgruppe (Klassen 3 - 6 mit Kindern im Alter von 8 - 12 Jahren) lagen, an der Rallye teilzunehmen. Dabei haben sich dann insgesamt neun Klassen angemeldet aus unterschiedlichen Jahrgangsstufen (3 dritte Klassen, 3 sechste Klassen, 1 vierte Klasse, 1 fünfte Klasse).
junixd
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: So 22. Okt 2023, 21:27
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Welche Tests für Evaluationsstudie

Beitragvon bele » Mo 23. Okt 2023, 06:40

Hi,

Weitere Größen wie das Geschlecht, Herkunft oder Klassenstufe werden erstmal nicht weiter beachtet.


wenn das belastbar ist, würde ich erstens eine schöne Grafik zeichnen (damit man so Dinge wie Decken- und Bodeneffekte sehen kann) und ansonsten mehrere t-Tests für verbundene Stichproben rechnen:

Vergleich vor der Rallye mit nach der Rallye um zu sehen, ob die was gebracht hat und wenn ja, dann vor der Rallye mit ganz am Schluss um zu sehen, ob die Verbesserung nachhaltig ist.
Man kann die Normalverteilung der Vorher-Nachher-Differenzen prüfen, bei n=180 kann man das aber auch lassen. Wenn schon Verteilubgsgedanken, dann hätte
ich viel mehr Sorge vor Deckeneffekten als vor der Normalität.

LG, Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5779
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1357 mal in 1344 Posts

Re: Welche Tests für Evaluationsstudie

Beitragvon junixd » Mo 23. Okt 2023, 15:01

prima, vielen Dank bele!

Deine Anmerkungen werde ich berücksichtigen! :)
junixd
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: So 22. Okt 2023, 21:27
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Nächste

Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: Google [Bot] und 11 Gäste