STATISTIK-FORUM.de

Liebes Forum, könnte mir jemand bei folgendem Problem weiterhelfen?

Die Hypothese lautet grob: Die Bewertung der Maßnahmen durch Zeitungen in der Corona-Krise in Kommentare und Nachrichten gleichen sich.

Die Hypothese stellt also darauf ab, dass hinsichtlich der Bewertungen kein bivariater Zusammenhang zwischen den beiden Formaten vorliegt. Somit würde ein niedriges Cramer-V oder ein Odds Ratio nahe 1 die Hypothese stützen.

Die Variablen für einen Test sind folgende:
VAR 1: Format (Kommentar, Nachricht) VAR 2: Tendenz (--, -, -/+, +, ++) für Odds Ratio: VAR2 auf dichotom (-,+) gestaucht

Cramer's V und Odds stützen nun auch teilweise die Hypothese. Die Ergebnisse sind allerdings nicht signifikant (gültig für diese Variablen: n = 135, ich berechne wegen mehreren Zellwerten unter 5 auch die exakte Signifikanz bzw. die Monte-Carlo-Schätzung). Die Konfidenzintervalle bei Odds Ratio schließen die 1, also den Null-Effekt mit ein und wären deshalb ebenfalls nicht signifikant. In den Tabellen lässt sich aber anhand der Werte sehen, dass es die Übereinstimmungen zwischen den Kommentaren und Nachrichten gibt.

Muss im Fall einer Hypothesenstützung bei Eintreten des Null-Effekts die Signifikanz bzw. das Konfidenzintervall anders interpretiert werden?

Ich danke Ihnen schon einmal für jede Hilfe!

Beste Grüße
Lukas

PS: Dass die Signifikanz auch von der (hier relativ niedrigen) Grundgesamtheit abhängt, ist mir bewusst.

VAR 1: Format (Kommentar, Nachricht) VAR 2: Tendenz (--, -, -/+, +, ++) für Odds Ratio: VAR2 auf dichotom (-,+) gestaucht

Die zweite Variable sieht ordinal aus. Man könnte die Mediane vergleichen, oder die Rangsummen.

Cramer's V und Odds stützen nun auch teilweise die Hypothese. Die Ergebnisse sind allerdings nicht signifikant

Wieso "allerdings"? Deine Hypothese sagt doch gerade voraus, dass es keinen Unterschied zwischen
Kommentar und Nachricht gibt.

PS: Dass die Signifikanz auch von der (hier relativ niedrigen) Grundgesamtheit abhängt, ist mir bewusst.

Du meinst, von der geringen Stichprobengröße. Das ist aber gerade der Knackpunkt, wenn man
einen nicht-Unterschied belegen will.

Du kannst für Deine Ziele vielleicht mal nach "Äquivalenztestung" / equivalence testing schauen.

Mit freundlichen Grüßen

PonderStibbons

Danke für die Antwort, Ponder!

Wieso "allerdings"? Deine Hypothese sagt doch gerade voraus, dass es keinen Unterschied zwischen
Kommentar und Nachricht gibt.

Basiert die Signifikanz nicht aber auf der Irrtumswahrscheinlichkeit für jedes Ergebnis, also auch für schwache Effekte bzw. Null-Effekte?

Die zweite Variable sieht ordinal aus. Man könnte die Mediane vergleichen, oder die Rangsummen.

Wäre dann ein Mann-Whitney-U-Test die richtige Wahl?

Basiert die Signifikanz nicht aber auf der Irrtumswahrscheinlichkeit für jedes Ergebnis, also auch für schwache Effekte bzw. Null-Effekte?

Ich verstehe leider die Frage nicht. Ein Signfikanztest gibt Auskunft darüber,
wie wahrscheinlich die Stichproben-Daten wären, wenn die Nullhypothese
gelten würde. "Irrtumswahrscheinlichkeit" sollte man besser nicht verwenden.
das führt meist in die Irre.

Mit freundlichen Grüßen

PonderStibbons

Vielen vielen Dank!

Besten Gruß
Lukas