Seite 1 von 1

z-Standardisierung - die Signifikanz geht flöten?

BeitragVerfasst: So 6. Aug 2017, 19:15
von Meike1985
Ihr Lieben,

ich habe folgendes SPSS-Problem...

Ich habe mit t-Tests für abhängige Stichproben Lernzuwachs berechnet.
(Punktzahlen aus dem prä-Test addiert zum Gesamtergebnis, das gleiche mit dem Post-Test gemacht, dann MIttelwertsunterschiede prä-post - klassisch eben).
Alles prima, Lernzuwachs bestätigt, signifikant. (Hurra!)

Jetzt habe ich über 500 Schüler aus verschiedenen Klassen, und die Klasse scheint (das ergaben andere Rechnungen) einen Einfluss auf das Ergebnis zu haben, als Ko-Variate quasi.
Daraufhin habe ich mit dem Faktor "Klasse" eine z-Standardisierung der Gesamtergebnisse der Tests gemacht. Jetzt gibt es keinen signifikanten Lernzuwachs mehr (was mir irgendwie logisch erscheint - immerhin habe ich das schön standardisiert).


Frage: Wenn ich geplante Kontraste zwischen meinen Treatment-Gruppen rechne, kann ich dafür die z-standardisierten Werte nehmen oder verzerrt das mein Ergebnis?

Problem 2: Sechs Klassen von 22 haben in zwei von sechs Tests mehr Items bekommen. Das habe ich im ersten Schritt berücksichtigt, indem ich die t-Tests gesondert berechnet habe (mit Filtern). Durch die Standardisierung konnte ich die Klassen einfach mit einrechnen, aber was mache ich, wenn das wegfällt?


Danke für eure Hilfe!

Re: z-Standardisierung - die Signifikanz geht flöten?

BeitragVerfasst: So 6. Aug 2017, 22:05
von PonderStibbons
Daraufhin habe ich mit dem Faktor "Klasse" eine z-Standardisierung der Gesamtergebnisse der Tests gemacht.

Was soll das bedeuten, was hast Du konkret durchgeführt?
Jetzt gibt es keinen signifikanten Lernzuwachs mehr

Was heißt das, Veränderung von p=0,049 auf p=0,050? Von p=0,0001 auf p=0,99? Wie sehen die jeweiligen Teststatstiken aus?
Frage: Wenn ich geplante Kontraste zwischen meinen Treatment-Gruppen rechne,

Nanu, was für Treatment-Gruppen?

Mit freundlichen Grüßen

PonderStibbons

Re: z-Standardisierung - die Signifikanz geht flöten?

BeitragVerfasst: Mo 7. Aug 2017, 09:29
von Meike1985
PonderStibbons hat geschrieben:
Daraufhin habe ich mit dem Faktor "Klasse" eine z-Standardisierung der Gesamtergebnisse der Tests gemacht.

Was soll das bedeuten, was hast Du konkret durchgeführt?


UNIANOVA r_KFT_gesamt BY class
/METHOD=SSTYPE(3)
/INTERCEPT=INCLUDE
/SAVE=ZRESID
/PLOT=PROFILE(class)
/PRINT=ETASQ HOMOGENEITY DESCRIPTIVE
/CRITERIA=ALPHA(.05)
/DESIGN=class.


Jetzt gibt es keinen signifikanten Lernzuwachs mehr

Was heißt das, Veränderung von p=0,049 auf p=0,050? Von p=0,0001 auf p=0,99? Wie sehen die jeweiligen Teststatstiken aus?

t-tests mit nicht-standardisierten Ergebnissen: p<.001. t-tests mit standardisiertn Ergebnissen p=.6...

Frage: Wenn ich geplante Kontraste zwischen meinen Treatment-Gruppen rechne,

Nana, was für Treatment-Gruppen?
Ich habe mit acht verschiedenen Kombinationen von Lernumgebungen gearbeitet, habe also acht Treatment-Gruppen, auf die sich meine Probanden verteilen.

Mit freundlichen Grüßen

PonderStibbons

Re: z-Standardisierung - die Signifikanz geht flöten?

BeitragVerfasst: Mo 7. Aug 2017, 09:57
von PonderStibbons
Demnach hast Du eine einfaktorielle Varianzanalyse mit "Klasse" als Faktor berechnet und die Residuen abgespeichert. Ich nehme an, das ist mit den vorher- und dann mit den nachher-Werten erfolgt. Was soll denn die Differenz aus den Residuen prä versus post aussagen, die hat doch mit Lernzuwachs nichts zu tun?

Angebracht wäre z.b. eine zweifaktorielle Varianzanalyse mit Testwertdifferenz prä versus post als abhängige Variable und "Klasse" und "Treatment" als Faktoren.

Übrigens, Teststatistiken sind sowas wie z.B. t(1;87)=... oder ein F-Wert samt Freiheitsgraden.

Mit freundlichen Grüßen

PonderStibbons

Re: z-Standardisierung - die Signifikanz geht flöten?

BeitragVerfasst: Mo 7. Aug 2017, 10:03
von Meike1985
PonderStibbons hat geschrieben:Demnach hast Du eine einfaktorielle Varianzanalyse mit "Klasse" als Faktor berechnet und die Residuen abgespreichert. Ich nehme an, das ist mit den vorher- und dann mit den nachher-Werten erfolgt. Was soll denn die Differenz aus den Residuen prä versus post aussagen, die hat doch mit Lernzuwachs nichts zu tun?


Genau das war mein Bauchgefühl dabei. Wir haben die Daten zu zweit ausgewertet und Person 2 ist "weg" ;-)

Angebracht wäre z.b. eine zweifaktorielle Varianzanalyse mit Testwertdifferenz prä versus post als abhängige Variable und "Klasse" und "Treatment" als Faktoren.


Das hatte ich auch schon überlegt, aber da meine Statistikkenntnisse nicht so groß sind UND die ersten Analysen einige Zeit her (ich habe durch einen Jobwechsel die Arbeit jetzt einige Jahre nicht angefasst), bin ich mir einfach sehr unsicher gewesen.

DANKE!