STATISTIK-FORUM.de

[bele]

Upsi, dann werde ich wohl nochmal beidseitig testen. Ich dachte ich vermute ja eine Richtung des Zusammenhangs (nämlich Nicht-Deutschen gefällt der Vortrag besser) und teste daher einseitig...

Was wäre denn gewesen, wenn der Vortrag den deutschstämmigen besser gefallen hätte? Das kannst Du nicht von vorneherein ausschließen. Das wäre Dir doch nicht egal gewesen, sondern das hättest Du auch diskutiert und Schlussfolgerungen gezogen, kurz: da hättest Du auch eine Nachricht draus gemacht, die Du auch mit einem p-Wert unterfüttert hättest. Das geht aber nur mit einem beidseitigen Test.

Also teste ich jetzt beidseitig und schließe daraus, dass es einen Zusammenhang zwischen Herkunft und Bewertung gibt, darf aber nicht sagen in welche Richtung?

Doch, natürlich darfst Du auf Deine Balkengrafiken schauen und sagen, dass die Bewertungen der nicht-deutschstämmigen höher ausgefallen sind.

Um zu überprüfen ob ich den Wilcoxon Test interpretieren darf, habe ich mir außerdem die Standardabweichung ausgeben lassen.

Du darfst immer als Interpretation schreiben, dass die Rangsumme in der einen Gruppe höher als in der anderen ist und dass sie verschiedene zentrale Tendenzen haben.

Wenn Du versessen darauf währest, eine Annahme über den Median zu machen, könntest Du überlegen, anstelle des Rangsummentests einen Median-Test zu rechnen. Für diese Entscheidung kann es hilfreich sein, den ersten Absatz im Wikipediaeintrag dazu zu lesen: https://de.wikipedia.org/wiki/Median-Test
Ich hab auch bei CrossValidated mal was dazu geschrieben, wie man einen Median mit Bootstrapping (in R) untersucht: https://stats.stackexchange.com/questio ... 747#488747

Aber wenn Dir der Median nicht so wichtig ist dann schreib einfach, dass die Bewertungen in der einen Gruppe systematisch höher waren als in der anderen.

LG,
Bernhard

[PonderStibbons]

Der Wilcoxon-Test ist ein Verfahren für ordinale Daten bzw. Rangdaten. Für diese gibt es keine Standardabweichung und auch keinen Mittelwert als statische Kennwerte. Dementsprechend ist Deine Betrachtung für die Durchführung überflüssig. Was Deine Quelle zu ihrer Aussage bewegt hat, weiß ich nicht.

Im Ergebnis sagt der Test, das die eine Gruppe zu höheren Rängen tendiert als die andere. Es ist kein Test auf Median-Unterschiede.

Da Du die Clusterung der innerhalb von Schulklassen nicht berücksichtigst, ist das Ergebnis angreifbar. Zumindest sollte der Anteil Nicht-Deutscher (wie immer das auch definiert sein mag) in allen betrachteten Klassen ähnlich sein, um eine Konfundierung etwaiger Effekte von Klasse mit denen von Herkunft auszuschließen.

Mit freundlichen Grüßen

PonderStibbons

[miri96]

-

[PonderStibbons]

Klumpeneffekte in Schulklassen sind von jeher die Standardannahme, daher ist ein Ausschließen solcher Effekte ohne triftiges Argument bzw. Prüfung ungewöhnlich.

[bele]

Hallo miri,

Ich habe außerdem geschaut was bei einem Median Test über SPSS herauskommen würde. Dieser wird deutlicher (p = .5) nicht signifikant.

Drum hatte ich Dich ja auf dne Wikipedia-Absatz verwiesen, in dem steht, dass der Test eine schlechte Power hat.

Erstmal habe ich zweiseitig getestet, was zu einem p-Wert von .055 führt. Also knapp nicht signifikant

Das ist richtig.

Also schlussfolgere ich, dass beide Verfahren auf keine systematische Unterschiede zwischen den Gruppen hindeuten.

Das ist Unsinn. Oder doch zumindestens eine maßlose Überschätzung der Bedeutung von p-Werten. Du hast zwei Balkendiagramme die klar auf einen Effekt in der vor Dir vorhergesagten Richtung hindeuten aber es nicht gelungen, den Effekt auf 5%-Signifikanzniveau zu belegen. Es könnte sein, dass der Effekt nicht stark genug für diese Stichprobengröße war, es könnte sein, dass Du wesentliche Confounder nicht erhoben hast (Mädchen finden alles super, Jungs alles doof, in der Ausländergruppe waren überdurchschnittlich viele Jungen,...) oder es könnte sein, dass der Effekt da ist, dass er stark ist und Du einfach Pech mit dem Stichprobeneffekt hattest.
"Auf etwas hindeuten" und "etwas beweisen" sind zwei verschiedene Paar Schuhe.

Researchers often wish to turn a p-value into a statement about the truth of a null hypothesis, or about the
probability that random chance produced the observed
data. The p-value is neither. It is a statement about data
in relation to a specified hypothetical explanation, and is
not a statement about the explanation itself

Das hat nicht "irgendwer im Internetforum'" geschrieben, das stammt aus einer offiziellen Stellungnahme der American Statistical Association ASA. Wenn Du ein bisschen Englisch kannst solltest Du Dir etwas Zeit nehmen, die zu lesen: http://amstat.tandfonline.com/doi/abs/1 ... t2XIOaE2MN (oder google nach "ASA statement on p-values")

Vielleicht fällt es Dir danach leichter eine Diskussion zu schreiben, die die Ungewissheit in der Forschungsfragestellung ebenso akzeptiert wie das Reißen der 0.05-Linie ohne gleich das Kind mit dem Bade auszuschütten. Oder Du greifst PonderStibbons Anregung mit der hierarchischen Analyse nochmal auf.

LG,
Bernhard

[miri96]

-

[bele]

Hallo miri,

p-Werte werden teils als "Alles oder nichts Kriterium" gelehrt. Forschungsergebnisse wie Dein hier beschriebenes sind aber nicht "Alles oder Nichts". Und weil ich gerne Andrew Gelman zitiere:

In summary, I agree with most of the ASA’s statement on
p-values but I feel that the problems are deeper, and that the
solution is not to reform p-values or to replace them with some
other statistical summary or threshold, but rather to move toward
a greater acceptance of uncertainty and embracing of variation.

( http://www.stat.columbia.edu/~gelman/re ... values.pdf )

Grundsätzlich kann man beispielsweise mit sog. proportional odds Modellen durchaus auch 7stufig-ordinale Antwortmöglichkeiten mittels logistischer Regression modellieren. Wenn Du 4 Klassen mit 10 bis 18 Schülern hast dann bedeutet das 48 bis 64 Schüler, was jetzt nicht so irrsinnig komplexe Modelle zulässt bzw. hohe Standardfehler und damit wenig Signifikanz befürchten lässt. Dazu kommt, dass wahrscheinlich weit weniger als die Hälfte der Kinder nicht-deutscher Herkunft ist, sodass auf dieser Seite besonders wenig Informationen zu erwarten sind. Bin mal gespannt, ob PonderStibbons einen Vorschlag hat.
Kannst Du vorher mal schreiben, wieviele Kinder es sind und wie groß der Anteil der nicht-deutschen Herkünfte ist?

LG,
Bernhard

[miri96]

-

[bele]

Normalerweise findet man bei SPSS ja "Handlunsgvorlagen", wie man sich das entsprechende Verfahren zusammenklickt.

Ich weiß über SPSS wenig, habe mir aber sagen lassen, dass man ab einem gewissen Anspruch nicht mehr umhin komme, die eingebaute Programmiersprache Syntax zu benutzen. Sie wird jedenfalls auch soviel genutzt, dass Leute im R Forum immer wieder von "Syntax" sprechen, wenn sie "Code" meinen.

Den von dir verlinkten R Artikel habe ich überflogen und muss ich mir morgen nochmal in Ruhe durchlesen.

Der war von mir gar nicht programmiersprachenspezifisch gemeint sondern nur um einen Eindruck vom statistischen Ansatz / vom Modell zu bekommen. Damit nimmt man ja nicht vorweg, ob und in welcher Software man das nachher auch umsetzt.

Insgesamt sind es 62 Schüler*innen, wobei etwa die Hälfte deutsch sind.

Die 50/50-Verteilung ist ein Lichtschimmer.

Zu einer hierarchischen/ Multilevel logistischen Regression konnte ich eine solche Anleitung bislang nicht finden.

Ich hatte ja weiter oben schon mal einen Vorschlag angedeutet, der alles sehr einfach hält: Wir drehen die Sache um und versuchen vorherzusagen, ob ein Kind deutscher oder ausländischer Herkunft ist. Dann landen wir bei einer einfachen binären fixed-effects logistischen Regression und die kannst Du Dir in SPSS zusammenklicken.

Ein Vorschlag wäre: Die Schule lassen wir unter den Tisch fallen, unabhängige Variablen sind die Klasse und die Bewertung und die binäre Abhängige ist die Herkunft.

Dann kann jede Bewertung durch einen Klassenkonstante korrigiert werden und die Klassen sind nicht ganz unberücksichtigt. Bedeutet halt, dass man für vier Klassen und sieben Bewertungsmöglichkeiten in Dummycodierung etwa zehn Koeffizienten schätzen muss, was mit 62 Schüler*innen halt sehr sportlich ist. Es kann aber keiner sagen, Du hättest es nicht probiert und Du musst nicht unangemessen tief in fortgeschrittene Statistik einsteigen. Bin gespannt, was PonderStibbons zu diesem Vorschlag sagt.

LG,
Bernhard

[miri96]

-