z-Standardisierung - die Signifikanz geht flöten?

Alle Verfahren der Regressionanalyse.

z-Standardisierung - die Signifikanz geht flöten?

Beitragvon Meike1985 » So 6. Aug 2017, 19:15

Ihr Lieben,

ich habe folgendes SPSS-Problem...

Ich habe mit t-Tests für abhängige Stichproben Lernzuwachs berechnet.
(Punktzahlen aus dem prä-Test addiert zum Gesamtergebnis, das gleiche mit dem Post-Test gemacht, dann MIttelwertsunterschiede prä-post - klassisch eben).
Alles prima, Lernzuwachs bestätigt, signifikant. (Hurra!)

Jetzt habe ich über 500 Schüler aus verschiedenen Klassen, und die Klasse scheint (das ergaben andere Rechnungen) einen Einfluss auf das Ergebnis zu haben, als Ko-Variate quasi.
Daraufhin habe ich mit dem Faktor "Klasse" eine z-Standardisierung der Gesamtergebnisse der Tests gemacht. Jetzt gibt es keinen signifikanten Lernzuwachs mehr (was mir irgendwie logisch erscheint - immerhin habe ich das schön standardisiert).


Frage: Wenn ich geplante Kontraste zwischen meinen Treatment-Gruppen rechne, kann ich dafür die z-standardisierten Werte nehmen oder verzerrt das mein Ergebnis?

Problem 2: Sechs Klassen von 22 haben in zwei von sechs Tests mehr Items bekommen. Das habe ich im ersten Schritt berücksichtigt, indem ich die t-Tests gesondert berechnet habe (mit Filtern). Durch die Standardisierung konnte ich die Klassen einfach mit einrechnen, aber was mache ich, wenn das wegfällt?


Danke für eure Hilfe!
Meike1985
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: So 6. Aug 2017, 18:53
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: z-Standardisierung - die Signifikanz geht flöten?

Beitragvon PonderStibbons » So 6. Aug 2017, 22:05

Daraufhin habe ich mit dem Faktor "Klasse" eine z-Standardisierung der Gesamtergebnisse der Tests gemacht.

Was soll das bedeuten, was hast Du konkret durchgeführt?
Jetzt gibt es keinen signifikanten Lernzuwachs mehr

Was heißt das, Veränderung von p=0,049 auf p=0,050? Von p=0,0001 auf p=0,99? Wie sehen die jeweiligen Teststatstiken aus?
Frage: Wenn ich geplante Kontraste zwischen meinen Treatment-Gruppen rechne,

Nanu, was für Treatment-Gruppen?

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11228
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 49
Danke bekommen: 2466 mal in 2450 Posts

Re: z-Standardisierung - die Signifikanz geht flöten?

Beitragvon Meike1985 » Mo 7. Aug 2017, 09:29

PonderStibbons hat geschrieben:
Daraufhin habe ich mit dem Faktor "Klasse" eine z-Standardisierung der Gesamtergebnisse der Tests gemacht.

Was soll das bedeuten, was hast Du konkret durchgeführt?


UNIANOVA r_KFT_gesamt BY class
/METHOD=SSTYPE(3)
/INTERCEPT=INCLUDE
/SAVE=ZRESID
/PLOT=PROFILE(class)
/PRINT=ETASQ HOMOGENEITY DESCRIPTIVE
/CRITERIA=ALPHA(.05)
/DESIGN=class.


Jetzt gibt es keinen signifikanten Lernzuwachs mehr

Was heißt das, Veränderung von p=0,049 auf p=0,050? Von p=0,0001 auf p=0,99? Wie sehen die jeweiligen Teststatstiken aus?

t-tests mit nicht-standardisierten Ergebnissen: p<.001. t-tests mit standardisiertn Ergebnissen p=.6...

Frage: Wenn ich geplante Kontraste zwischen meinen Treatment-Gruppen rechne,

Nana, was für Treatment-Gruppen?
Ich habe mit acht verschiedenen Kombinationen von Lernumgebungen gearbeitet, habe also acht Treatment-Gruppen, auf die sich meine Probanden verteilen.

Mit freundlichen Grüßen

PonderStibbons
Meike1985
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: So 6. Aug 2017, 18:53
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: z-Standardisierung - die Signifikanz geht flöten?

Beitragvon PonderStibbons » Mo 7. Aug 2017, 09:57

Demnach hast Du eine einfaktorielle Varianzanalyse mit "Klasse" als Faktor berechnet und die Residuen abgespeichert. Ich nehme an, das ist mit den vorher- und dann mit den nachher-Werten erfolgt. Was soll denn die Differenz aus den Residuen prä versus post aussagen, die hat doch mit Lernzuwachs nichts zu tun?

Angebracht wäre z.b. eine zweifaktorielle Varianzanalyse mit Testwertdifferenz prä versus post als abhängige Variable und "Klasse" und "Treatment" als Faktoren.

Übrigens, Teststatistiken sind sowas wie z.B. t(1;87)=... oder ein F-Wert samt Freiheitsgraden.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11228
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 49
Danke bekommen: 2466 mal in 2450 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Meike1985

Re: z-Standardisierung - die Signifikanz geht flöten?

Beitragvon Meike1985 » Mo 7. Aug 2017, 10:03

PonderStibbons hat geschrieben:Demnach hast Du eine einfaktorielle Varianzanalyse mit "Klasse" als Faktor berechnet und die Residuen abgespreichert. Ich nehme an, das ist mit den vorher- und dann mit den nachher-Werten erfolgt. Was soll denn die Differenz aus den Residuen prä versus post aussagen, die hat doch mit Lernzuwachs nichts zu tun?


Genau das war mein Bauchgefühl dabei. Wir haben die Daten zu zweit ausgewertet und Person 2 ist "weg" ;-)

Angebracht wäre z.b. eine zweifaktorielle Varianzanalyse mit Testwertdifferenz prä versus post als abhängige Variable und "Klasse" und "Treatment" als Faktoren.


Das hatte ich auch schon überlegt, aber da meine Statistikkenntnisse nicht so groß sind UND die ersten Analysen einige Zeit her (ich habe durch einen Jobwechsel die Arbeit jetzt einige Jahre nicht angefasst), bin ich mir einfach sehr unsicher gewesen.

DANKE!
Meike1985
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: So 6. Aug 2017, 18:53
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post


Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast