STATISTIK-FORUM.de

[Knallberto]

Hallo zusammen,

Für meine Bachelorarbeit muss ich ein Förderprogramm evaluieren, jedoch bin ich unsicher welche Methode hierfür geeignet ist. Vielleicht kann mir hier ja jemand helfen. Wäre super.

Also:

Es wurden 147 Kinder getestet (vor und nach der Trainingsmaßnahme, welche nur in der EG durchgeführt wurde)

102 in der Experimentalgruppe und 45 in der Vergleichsgruppe.

Die Zuteilung zu den Gruppen erfolgte nach Kitazugehörigkeit. Insgesamt auf 17 Kitas verteilt (8 VG und 9 EG).

In der "Anleitung" die mein "Betreuer" hochgeladen hat steht nun, dass zunächst getestet werden muss, ob sich die Gruppen zum Messzeitpunkt 1 signifikant voneinander unterscheiden. Wenn nicht, dann soll ein t-Test zum 2. Zeitpunkt gerechnet werden. Jedoch ist dem nicht so. In diesem Fall soll nun eine Kovarianzanalzse gerechnet werden. Nun steht in einem Buch von Rost (Interpretation und Bewertung pädagogisch-psychologischer Studien), dass Kovarianzanalysen nur bei starken Designs (randomisiert) gerechnet werden sollten und bei quasi experimentellen Designs "nur mit besonderer Vorsicht oder lieber gar nicht".

Heißt das jetzt, dass ich eine Kovarianzanalyse machen kann, oder eher nicht? Bzw. unter welchen Bedingungen kann ich es? Und wie kann ich diese Bedingungen ggf. ueberüpruefen?

Vielen Dank schonmal und lieben Gruss,

Andi

[PonderStibbons]

Die Zuteilung zu den Gruppen erfolgte nach Kitazugehörigkeit. Insgesamt auf 17 Kitas verteilt (8 VG und 9 EG).

Gab es eine Randomisierung, zumindest auf Ebene der Kitas?

Heißt das jetzt, dass ich eine Kovarianzanalyse machen kann, oder eher nicht?

Es ist eine aus dem Wusch gespeiste Vorstellung, dass eine Kovarianzanalyse
ungleiche Gruppen vergleichbar macht. Dem ist aber leider nicht so. Das Buch
hat da eher recht als Dein Betreuer. Eine Varianzanayse für Messwiederholungen
wäre da zumindest leichter interpretierbar. Die wäre übrigens auch im Fall
paralleler Baselinewerte angebracht gewesen, weil sie die Daten besser ausschöpft
als ein t-Test der post-Werte.

Was ich aber erheblich bedenklicher finde: wie wird denn die Clusterung der
Einzelfälle in den Einrichtungen berücksichtigt? Gerade in der pädagogischen
Forschung ist das Problem doch schon lange gut bekannt. Im extremen Fall
musst Du n=8 Einrichtungen gegen n=9 testen. Oder gibt es ein schlagendes
Argument, die Fälle innerhalb einer Einrichtung als unkorreliert zu betrachten?

Mit freundlichen Grüßen

P.

[Knallberto]

Erstmal vielen Dank für die Antwort.

Eine Varianzanayse für Messwiederholungen
wäre da zumindest leichter interpretierbar. Die wäre übrigens auch im Fall
paralleler Baselinewerte angebracht gewesen, weil sie die Daten besser ausschöpft
als ein t-Test der post-Werte.

Kann ich dann also keine wirkliche Aussage über Kausalität des Trainingsprogrammes machen, wenn die Gruppen sich zu Beginn unterscheiden?

Was ich aber erheblich bedenklicher finde: wie wird denn die Clusterung der
Einzelfälle in den Einrichtungen berücksichtigt? Gerade in der pädagogischen
Forschung ist das Problem doch schon lange gut bekannt. Im extremen Fall
musst Du n=8 Einrichtungen gegen n=9 testen. Oder gibt es ein schlagendes

Da bin ich ehrlich gesagt überfragt. Wie kann ich denn die Clusterung berücksichtigen? Bedeutet das, dass ich nicht die Mittelwerte der gesamten Gruppe gegeneinander teste, sondern alle Kita Cluster einzeln?

[PonderStibbons]

Kann ich dann also keine wirkliche Aussage über Kausalität des Trainingsprogrammes machen, wenn die Gruppen sich zu Beginn unterscheiden?

Ein einfacher Gruppenvergleich der post-Werte ist da natürlich nicht
mehr sonderlich aussagekräftig. Deswegen bezieht man ja die prä-
Werte ein (z.B. in Form einer Messwiederholungs-ANOVA).

Da bin ich ehrlich gesagt überfragt. Wie kann ich denn die Clusterung berücksichtigen? Bedeutet das, dass ich nicht die Mittelwerte der gesamten Gruppe gegeneinander teste, sondern alle Kita Cluster einzeln?

Schlimmstenfalls hast Du wie gesagt n=17, die Werte innerhalb einer Einrichtung
wären dazu zusammenzufassen zu einem Gesamtwert. Ein Mehrebenenmodell
wäre die moderne Lösung, erfordert aber viel statistisches Wissen. Das altbekannte
Problem, dass Probanden innerhalb einer Kita, Schulklasse oder Schulungsgruppe keine
voneinander unabhängigen Beobachtungen darstellen, ist bei der Besprechung
Deiner Auswertung nie Thema gewesen? -- Aber wie gesagt, vielleicht gibt es ja ein
gutes Argument, das auszuklammern.

Mit freundlichen Grüßen

P.

[Knallberto]

Ein einfacher Gruppenvergleich der post-Werte ist da natürlich nicht
mehr sonderlich aussagekräftig. Deswegen bezieht man ja die prä-
Werte ein (z.B. in Form einer Messwiederholungs-ANOVA).

Wie du wahrscheinlich schon gemerkt haben wirst, kenne ich mich diesbezüglich nich allzugut aus. Darum mal eine Verständnisfrage: Heißt das, dass man die einfache ANOVA mit Messwiederholung hierfür sowieso benutzen kann? Dann verstehe ich gar nicht wieso man eine Kovarianzanalyse machen sollte. Die Anova sagt mir doch dann, ob sich der Mittelwert signifikant verbessert, oder nicht? Rechne ich dies dann für die EG und VG und schaue dann, ob sich diese untereinander in ihrer Veränderung signifikant voneinander unterscheiden? (Wenn ich jetzt annehmen würde, dass sich die Cluster nicht unterscheiden?)

Schlimmstenfalls hast Du wie gesagt n=17, die Werte innerhalb einer Einrichtung
wären dazu zusammenzufassen zu einem Gesamtwert. Ein Mehrebenenmodell
wäre die moderne Lösung, erfordert aber viel statistisches Wissen. Das altbekannte
Problem, dass Probanden innerhalb einer Kita, Schulklasse oder Schulungsgruppe keine
voneinander unabhängigen Beobachtungen darstellen, ist bei der Besprechung
Deiner Auswertung nie Thema gewesen? -- Aber wie gesagt, vielleicht gibt es ja ein
gutes Argument, das auszuklammern.

Und hier: Bedeutet das dann, dass ich nicht mehr die Kindern einzeln sehe, sondern die Cluster Mittelwerte als einen Wert betrachte? Kann ich denn irgendwie überprüfen, ob sich die Cluster voneinander unterscheiden ? Ich werde das alles auch nochmal mit dem Betreuer besprechen, jedoch dauert es noch bis zur Sprechstunde und ich würde gerne möglichst viel davon "verstehen".

Lieben Gruss und nochmal vielen Dank

Andi

[PonderStibbons]

Wie du wahrscheinlich schon gemerkt haben wirst, kenne ich mich diesbezüglich nich allzugut aus.

Da ist es etwas überraschend, dass Du gleich eine Studie mit 17 Einrichtungen und
147 minderjährigen Probanden durchführst.

Darum mal eine Verständnisfrage: Heißt das, dass man die einfache ANOVA mit Messwiederholung hierfür sowieso benutzen kann? Dann verstehe ich gar nicht wieso man eine Kovarianzanalyse machen sollte.

Manche haben die Kovarianzanalyse als Lösung für ungleiche Baselines
im Kopf. Meines Wissens ist die Messwiederholungs-ANOVA allemal vorzuziehen.
Falls Du Muße hast, kannst Du mal nach "Lord's Paradox" suchen. Das
beschreibt, dass beide Verfahren zu sehr unterschiedlichen Resultaten
führen können. Da die Baselines Deiner Gruppen unterschiedlich sind,
hast Du ja wohl auch keine Randomisierung.

Die Anova sagt mir doch dann, ob sich der Mittelwert signifikant verbessert, oder nicht? Rechne ich dies dann für die EG und VG und schaue dann, ob sich diese untereinander in ihrer Veränderung signifikant voneinander unterscheiden?

Die Rechnung wäre: Messwiederholungsfaktor (vorher-nachher), Gruppe
("Zwischensubjektfaktor") und deren Wechselwirkung. Ob die Entwicklung
der beiden Gruppen von prä zu post unterschiedlich war (bzw. ob der
Unterchied der Gruppen hinterher anders ist als vorher), wird über die
Wechselwirkung getestet.

Und hier: Bedeutet das dann, dass ich nicht mehr die Kindern einzeln sehe, sondern die Cluster Mittelwerte als einen Wert betrachte?

Ich kenne die Standardlösungen in Deinem Forschungsbereich nicht.
Aber man könnte den Mittelwert oder den Median von jeweils allen
Kindern einer Einrichtung nehmen und diesen dann als Messwert
in der Analyse verwenden.

Kann ich denn irgendwie überprüfen, ob sich die Cluster voneinander unterscheiden ?

Die Kinder sind Kita-weise geclustert, wenn ich Deine
Skizze recht verstehe. Um zu sehen, ob das tatsächlich die
Ergebnisse verzerrt, führt man meines Wissens eine
"IntraClass-Correlation" durch. Auf Basis von deren Ergebnissen
kann man entscheiden, ob man entweder (weitgehend) voneinander
unabhängige Beobachtungen annimmt, oder ob die Fälle innerhalb
einer Gruppe/Klasse/Kita/whatever so stark miteinander
korrelieren, dass man nicht mehr von unabhängigen Beobachtungen
ausgehen darf.

[Knallberto]

Da ist es etwas überraschend, dass Du gleich eine Studie mit 17 Einrichtungen und
147 minderjährigen Probanden durchführst.

Die Daten stammen aus einer Studie vom Lehrstuhl. Ich schreibe nur mit einem Teil der Daten meine Bachelorarbeit. Die "richtige" Evaluation erfolgt glaube ich im Rahmen einer Doktorarbeit. Trotzdem würde ich das gerne so gut wie möglich machen, um auch möglichst viel zu lernen. Vielen Dank nochmal für alles bis hier. Ich werd mich unter deinen Stichpunkten mal so gut es geht einlesen und dann in der Sprechstunde nochmal schauen was dazu gesagt wird.

Eine Frage noch. Wenn man die geclusterten Daten mit einer "Intrclass" Überprüfung untersucht hat und rauskommen würde, dass die Daten nicht von den Clustern beeinflusst werden würden. Könnte man dann mit den Daten umgehen, als wären sie randomisiert erhoben?

Lieben Gruß

Andi