STATISTIK-FORUM.de

[Feuerfüchsin]

Guten Morgen ihr lieben Statistik-Nerds,

Hier kommt eine Frage zum Erstellen meines Versuchsaufbaus bzw. zur zufälligen Verteilung meiner Testitems über die Probanden hinweg. Es wäre großartig, wenn ihr mir weiterhelfen könnt.

Zum Hintergrund: In einem linguistischen Experiment soll untersucht werden, welchen Einfluss die Faktoren schlechte Stimmqualität und Hintergrundlärm auf die Sprachverarbeitung von Erstklässlern haben. Um dies herauszufinden, sollen 6-jährige Kinder zwei verschiedene Höraufgaben bearbeiten, die über Kopfhörer präsentiert werden. Es handelt sich um zwei Aufgaben, zu denen bereits Normdaten vorliegen (Aufgaben normalerweise jedoch in etwas anderer Form dargeboten: Stimuli werden vom Tester gesprochen und nicht über Kopfhörer präsentiert. Auch Hintergrundlärm und Stimmqualität wurden bei der Normdatenerhebung nicht kontrolliert).

Aufgaben: Aufgabe 1 ist eine Satz-Bild-Zuordnung. Das Kind hört einen Satz, sieht dabei vier Bilder und wählt jenes Bild aus, welches zu dem Satz passt. Insgesamt gibt es 21 Sätze unterschiedlicher Komplexität. 21 Punkte können erreicht werden (1 Pkt für jedes korrekt gezeigte Bild, 0 für jedes inkorrekt gezeigte Bild). Aufgabe 2 testet die Fähigkeit, Lautunterschiede wahrzunehmen. Das Kind bekommt ein Wortpaar vorgespielt und entscheidet, ob es 2x das gleiche Wort (Haus – Haus) oder 2 unterschiedliche Wörter (Haus – Maus) gehört hat. Insgesamt gibt es 36 Wortpaare und somit 36 zu erreichende Punkte (1 Pkt für jede korrekte, 0 für jede inkorrekte Antwort).

Bedingungen: Es soll der Einfluss von 6 verschiedenen Hörbedingungen getestet werden: (B1 / Kontrollbedingung) normale Stimme, kein Lärm; (B2) normale Stimme, moderater Lärm; (B3) normale Stimme, hoher Lärm; (B4) gestörte Stimme, kein Lärm; (B5) gestörte Stimme, moderater Lärm; (B6) gestörte Stimme, hoher Lärm.

Ursprüngliche Idee: Da sich die Stimuli in Länge und Komplexität etwas unterscheiden, bin ich davon ausgegangen, ein between-subjects Design wählen zu müssen. Ein Kind hätte dann beide Aufgaben unter der immer gleichen Bedingung absolviert. Aufgrund beschränkter Ressourcen gehe ich davon aus, nur etwa 60 Kinder testen zu können --> 10 Kinder pro Bedingung. Zugegebenermaßen ist das selbst für nicht-parametrische Verfahren ziemlich mau. Ich dachte jedoch, ich hätte keine andere Wahl, da sich nur auf diese Weise der Einfluss der Stimulikomplexität kontrollieren ließe (Normdaten liegen je für die gesamte Aufgabe, nicht aber die einzelnen Items vor). Nun habe ich mich mit einem Statistiker getroffen, der sagte, dass ein within-subjects Design trotzdem zu realisieren sei und auf jeden Fall eine höhere Teststärke erzielen würde.

Neue Idee: Jedes Kind durchläuft jede Bedingung. Für Aufg. 1 bedeutet das ca. 3 Stimuli, für Aufg. 2 genau 6 Stimuli pro Bedingung.

Auswertung: Mit meinen Ergebnissen möchte ich Aussagen darüber treffen, (1) ob unterschiedliche Hörbedingungen einen Effekt auf die Performanz haben, (2) ob der Effekt sich je nach Aufgabentyp unterscheidet, und am liebsten auch, (3) ob der Effekt von der Art der Stimuli abhängig ist. Punkt 1 und 2 sollte ich ja mit 2-faktoriellen ANOVAs und dem Vergleich zu den Normdaten beantworten können. Ob und wie ich Punkt 3 beantworten kann, ist mir noch nicht klar.

Fragen an euch: Hat der Statistiker Recht und ich kann/sollte ein within-subjects Design wählen, obwohl die Schwierigkeit der Stimuli variiert? Wie erstelle ich in R oder SPSS eine zufällige Zuweisung der verschiedenen Stimuli zu den 6 Bedingungen, so dass ich (bei geschätzten 60 Kindern) am Ende pro Stimuli 10 Ergebnisse pro Bedingung herausbekomme? Was ich bei der Randomisierung noch beachten? Wie gehe ich mit dem Aspekt der Homogenität der Stimuli um? Sollte ich die Stimuli bspw. nach 3 verschiedenen Schwierigkeitsgraden einteilen? Wenn ja, wie stelle ich sicher, dass jedem Kind pro Bedingung jeweils Stimuli in unterschiedlichen Schwierigkeitsgraden präsentiert werden?

Zu Einzelheiten bzgl. der statistischen Tests hätte ich dann auch noch Fragen, aber eins nach dem anderen . Danke, dass ihr euch durch meine lange Ausführung durchgearbeitet habt. Wenn mir jemand weiterhelfen kann, weiß ich es sehr zu schätzen!

Beste Grüße und ein feines, sonniges Wochenende,

Eure Firefoxy

[bele]

Hallo Firefoxy,

mich würde interessieren, ob Du diese Fragestellung aus einer Sprachwissenschaftlichen (Linguistik), einer therapeutischen (Logopädie?), einer medizinischen (Phoniatrie, Pädaudiologie) oder pädagogischen (Förderpädagogik) Fragestellung heraus bekommen hast. Vielleicht hast Du ja Lust, etwas dazu zu erzählen. Musst Du natürlich nicht.

Was ich bei der Randomisierung noch beachten? Wie gehe ich mit dem Aspekt der Homogenität der Stimuli um? Sollte ich die Stimuli bspw. nach 3 verschiedenen Schwierigkeitsgraden einteilen?

Das kommt sicher darauf an, ob sich aus der Natur der Sätze eine Untergliederung in drei Schwierigkeitsgrade anbietet, oder nicht, und ob es für Deine Fragestellung wichtig ist, dass die Kinder bei ihren drei Sätzen drei verschieden schwere Sätze hören. In jedem Fall musst Du das klar kriegen, bevor Du Dir einen Algorithmus für die Zuordnung von Stimuli und Hörbedingungen zu den Kindern überlegst.

(2) ob der Effekt sich je nach Aufgabentyp unterscheidet

Da habe ich gerade Verständnisprobleme. Du hast einmal das Satzverstehen mit einer Ratewahrscheinlichkeit von 25% und einmal die Phonemdifferenzierung mit einer Ratewahrscheinlichkeit von 50% und selbstverständlich unvergleichbarem Testmaterial (einmal Sätze, einmal Minimalpaare). Wie Du da eine einheitliche und mit beiden Vergleichbare Effekstärke hinkriegst, das habe ich noch nicht verstanden. Vielleicht kommt das ja noch.

LG,
Bernhard

[Feuerfüchsin]

Lieber Bernhard,

vielen Dank, dass du dir die Zeit genommen hast, meine Fragen zu lesen und zu beantworten!

Dein Interesse am Forschungsgebiet ist berechtigt. Ich selbst bin Klinische Linguistin (also akad. Sprachtherapeutin mit Schwerpunkt auf grammatischen Störungen). Die beiden Aufgaben, die ich ausgewählt habe kommen aus den Bereichen Linguistik und Sprachtherapie. Auch in der kognitiven Psychologie werden solche Aufgaben durchgeführt. Meine Forschungsergebnisse werden am Ende aber vor allem für die Pädagogik von Interesse sein. Jedenfalls hoffe ich das .

Das kommt sicher darauf an, ob sich aus der Natur der Sätze eine Untergliederung in drei Schwierigkeitsgrade anbietet, oder nicht, und ob es für Deine Fragestellung wichtig ist, dass die Kinder bei ihren drei Sätzen drei verschieden schwere Sätze hören. In jedem Fall musst Du das klar kriegen, bevor Du Dir einen Algorithmus für die Zuordnung von Stimuli und Hörbedingungen zu den Kindern überlegst.

--> Ich verstehe, was du meinst. Das Wichtigste ist, dass ich überhaupt herausfinden kann, ob die Bedingungen einen Effekt auf die Performanz haben und, wenn ja, wie sich dieser darstellt. Kann ich dies allein über einen within-subjects Design mit Randomisierung beantworten? Oder könnte man dann kritisieren, dass die Stimuli meine Ergebnisse beeinflusst haben könnten? Aus linguistischer Perspektive wäre es gut, wenn ich anhand der Ergebnisse Aussagen treffen könnte wie "Während eine gestörte Stimme insgesamt das Satzverstehen (Aufg. 1) verschlechtert, ist dieser Effekt v.a. für lange Sätze noch stärker ausgeprägt als für kurze."

Da habe ich gerade Verständnisprobleme. Du hast einmal das Satzverstehen mit einer Ratewahrscheinlichkeit von 25% und einmal die Phonemdifferenzierung mit einer Ratewahrscheinlichkeit von 50% und selbstverständlich unvergleichbarem Testmaterial (einmal Sätze, einmal Minimalpaare). Wie Du da eine einheitliche und mit beiden Vergleichbare Effekstärke hinkriegst, das habe ich noch nicht verstanden. Vielleicht kommt das ja noch

--> Da habe ich mich wohl etwas falsch ausgedrückt. Beide Aufgaben müssten getrennt voneinander betrachtet werden (d.h. zwei 2-faktorielle ANOVAS). Wäre es denn nicht mit einem Vergleich zu den Normdaten trotzdem möglich herauszufinden, ob sich z.B. B3 stärker auf die Leistung in Aufg. 1 auswirkt als auf die in Aufg. 2?

Beste Grüße,

Feuerfüchsin

[bele]

Hallo Feuerfüchsin,

Aus linguistischer Perspektive wäre es gut, wenn ich anhand der Ergebnisse Aussagen treffen könnte wie "Während eine gestörte Stimme insgesamt das Satzverstehen (Aufg. 1) verschlechtert, ist dieser Effekt v.a. für lange Sätze noch stärker ausgeprägt als für kurze."

Das ist eine neue Fragestellung. Wenn Du die bearbeiten möchtest, dann musst Du selbstverständlich die Länge der Sätze in Deine Auswertung mit hinein nehmen. Dann ist das schon mal keine Frage mehr.


Du hast 21 Sätze, bei drei Schwierigkeitsgraden also 7 Sätze pro Schwierigkeitsgrad. Wenn Du da einem Satz einen falschen Schwierigkeitsgrad zuordnest, dann geht die Power schnell in den Keller (es kann ja mal ein Satz schwer sein, obwohl er kurz ist und umgekehrt - ein universelles Maß für Satzschwere hast Du ja wohl nicht.). Wenn Du nur Kinder pro Hörbedingung hast und nur 7 Sätze pro Satzschwierigkeit hast und vieles testen willst, dann bist Du in Sachen Power schon ohnehin nicht mehr ganz vorne mit dabei.

--> Da habe ich mich wohl etwas falsch ausgedrückt. Beide Aufgaben müssten getrennt voneinander betrachtet werden[/quoten]
Klingt vernünftiger. Dann solltest Du für jede der beiden Aufgaben eine Hauptfragestellung formulieren und danach das Design aufbauen. Nebenfragestellungen kann man dann immer noch einbauen, aber wenn Du mit 60 Kindern jede Frage dieser Welt beantworten willst, wird das nicht klappen.

Wäre es denn nicht mit einem Vergleich zu den Normdaten trotzdem möglich herauszufinden, ob sich z.B. B3 stärker auf die Leistung in Aufg. 1 auswirkt als auf die in Aufg. 2?

Einerseits beklagst Du, dass die Normdaten keine Informationen zur Hörsituation definiert haben, andererseits willst Du sie mit Deinen definierten Hörsituationen vergleichen. Ich habe noch nicht ganz verstanden, wie Du das machen willst, aber es klingt so, also wolltest Du Deine wertvolleren Daten mit den weniger wertvollen verunreinigen. Vielleicht verstehe ich es auch nur falsch. Bei ausreichender Fallzahl wird jede Deiner Hörsituationsgruppen von den Normwerten abweichen, einfach schon deshalb, weil Du ein anderes Kollektiv untersuchst, als die Normwertersteller und weil außer der Hörsituation noch anderes gegenüber der Normwerterstellung abweichen wird.

LG,
Bernhard