STATISTIK-FORUM.de

[bele]

Hallo Forumsaktive,

manche Probleme tauchen im Forum wieder und wieder neu auf und manchmal fühlt man sich wie eine Gebetsmühle. Eine dieser Gebetsmühlen betrifft den Vergleich zweier ordinalskalierter und miteinander verbundener Stichproben. Da man unverbundene ordinale Stichproben mit "Wilcoxons" Rangsummentest vergleichen kann wird dann angenommen und im Internet propagiert, man könne verbundene ordinale Stichproben mit "dem anderen Wilcoxon", dem Vorzeichenrangtest, untersuchen. PonderStibbons hat schon oft darauf hingewiesen, dass am Anfang des Vorzeichenrangtests eine Subtraktion steht und die ist nunmal für ordinale Daten nicht möglich.

Nun hat mich (auf Youtube ) jemand auf diese Arbeit hingewiesen:
Diana E. Kornbrot, The rank difference test, A new and meaningful alternative to the Wilcoxon signed rank test for ordinal data, British Journal of Mathematical and Statistical Psychology (1990), 43:241-246
<doi:10.1111/j.2044-8317.1990.tb00939.x>

Kornblum beschreibt darin folgenden Test: Gegeben seien zwei verbundene ordinalskalierte Stichproben X und Y. Nun wird erst allen Beobachtungen und X und Y ein Rang zugeordnet. Über diese Ränge, die ja jetzt metrisch sind, wird dann im Wesentlichen ein Vorzeichenrangtest gerechnet ("im Wesentlichen" weil eine etwas andere Verteilung der Teststatistik angenommen wird, ist aber im Paper teils tabelliert, teils beschrieben).

Dieser Rangdifferenztest scheint eine valide Option für die Fragestellung zu sein. Stellt sich die Frage, warum trotzdem soviele Internettexte den falschen Test empfehlen, wenn es einen richtigen gibt und warum der richtige so wenig bekannt zu sein scheint. Eine schnelle Google-Suche zeigt für SPSS keinen Treffer, für R gibt es ein Zusatzpaket das genau diesen Test anbietet: https://brettklamer.com/work/rankdifferencetest/ bzw. https://cran.r-project.org/package=rankdifferencetest

Weiß jemand, warum nicht überall der Kornblum's rank difference Test empfohlen wird und ob wir den hier empfehlen sollten?

Viele Grüße,
Bernhard

[PonderStibbons]

Kenne ich nicht, die Gründe für die nicht-Berücksichtigung dementsprechend auch nicht. Vielleicht besteht kein Bedarf jenseits von Wilcoxon einerseits und Vorzeichentest andererseits.

[bele]

Hallo!

Ich berichte mal konkret, warum ich mich damit beschäftigt habe:

Ich habe gestern ein Peer Review geschrieben. Die Autoren haben Tonaufnahmen vor und nach einer Operation im HNO-Gebiet gemacht und auf das Vorhandensein eines Stimmmerkmals auf einer 4-stufigen Skala von "gar nicht" bis "sehr stark" gerated. Es gibt also für jeden der 24 Patienten je einen ordinalen Wert vor und einen nach der Operation und es ist zu zeigen, dass die Operation zu einer Verbesserung führt.
Die Autoren haben eine 4x2 Vierfeldertafel erstellt und die mit einem -Test untersucht und eine Ungleichverteilung zwischen prä- und postoperativ gefunden ("p < .0001"). Natürlich geht der -Test gar nicht, weil das ja keine 48 unabhängigen Beobachtungen sind sondern eine Messwiederholung mit n = 24 ist. Als Reviewer soll man aber nicht nur kritisieren sondern auch Verbesserungsvorschläge machen. Was wäre mein mein Gegenvorschlag zum -Test?

Ein Vorzeichenrangtest geht nicht, weil man nicht "sehr stark minus mittel" rechnen kann. Ein McNemar-Bowker-Test testet auf nominalem Skalenniveau auf Veränderung, nicht auf Verbesserung, wie das bei ordinalen Daten möglich und hier das Ziel ist. Ein Friedmann-Test? Ich muss zugeben, dass ich nicht mal weiß, ob man den mit nur zwei Gruppen rechnen kann, Vielleicht noch ein Vorzeichentest. Da beschreibt die Wikipedia als Voraussetzung: die" zugrundeliegende Zufallsvariable ist in der Grundgesamtheit stetig verteilt". Warum das so ist, habe ich noch nicht verstanden. Aber vielleicht ist das die Antwortoption, die ich übersehen habe. Eine mixed effects logistische Regression mit 4stufigem Outcome bei n = 24??

Was also ist die richtige Empfehlung für dieses sehr übersichtliche Studiendesign?

Viele Grüße,
Bernhard

[PonderStibbons]

Friedman und Vorzeichntest tun sich nicht viel:
"...note that a Friedman test ranks within blocks. With two dependent samples (i.e. paired data), ranking within the blocks (i.e. allocating either 1, or 2) should be entirely equivalent to a two-tailed sign test (allocating either 0 or 1 whose sum would give the number of positive pair-differences). The only differences would be in things like whether an asymptotic approximation of the distribution was used and in handling of ties." https://stats.stackexchange.com/questio ... wo-samples.

Demnach wäre der Vorzeichentest wohl naheliegend. Bei dem Kornbrot-Verfahren könnte sich das Problem ergeben, Referenzen außerhalb der Originalveröffentlichung aufzutreiben, was zumindest mir auf die Schnelle nicht gelungen ist.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Ja, dann war es wohl die Tauglichkeit des Vorzeichentests die mir nicht rechtzeitig eingefallen ist. Danke Dir für den Hinweis.

Das Kornbrot-Verfahren ist nicht ganz ohne Folgepublikationen geblieben, beispielsweise diese Untersuchung zur Power im Vergleich zu t-Test und Vorzeichenrangtest:
https://digitalcommons.wayne.edu/cgi/vi ... sertations bzw http://pubs.sciepub.com/ajams/1/5/4/index.html, dann gibt es neben der von mir verlinkten R Implementierung hier einen Bericht über eine Stata-Implementierung: https://www.stata-press.com/journals/st ... /stb29.pdf , hier hat das mal jemand IRL benutzt: https://www.thieme-connect.com/products ... 07-1002123
Das hier steckt für mich hinter einer Paywall aber Google meint, dass es die Kornbrot-Publikation zitiert: https://doi.org/10.1111/j.2044-8317.1992.tb00983.x
Aber natürlich hast Du Recht, und das ist alles ziemlich wenig. Deshalb wollte ich ja mal in die Runde fragen.

Viele Grüße,
Bernhard

[bele]

Hallo,

ich habe noch einen Kandidaten unklarer Signifikanz gefunden. Eine Veröffentlichung von 2011 die behauptet, ihr Test sei dem Vorzeichentest dann überlegen, wenn es viele Bindungen gibt. Da die Frage hier im Forum immer wieder im Kontext von fünfstufigen Antworten kommt, wo Bindungen die Regel und nicht die Ausnahme sind, könnte das für die eine oder den anderen interessant sein:

Guorui Bian, Michael McAleer, Wing-Keung Wong: A trinomial test for paired data when there are many ties, Mathematics and Computers in Simulation
Volume 81, Issue 6, February 2011, Pages 1153-1160
https://doi.org/10.1016/j.matcom.2010.11.002

To circumvent the low power of the sign test in the presence of zero observations, in this paper we develop a new test statistic, the trinomial test, for pairwise ordinal data samples by incorporating the zeros in the sign test to improve power performance significantly. This new trinomial test is found to be more powerful than the sign test with the improvement becoming more obvious when the number of ties is large.
[...]
The poor performance of the sign test is due to the fact that it ignores the information from the observations resulting in ties.
[...]
Simulations demonstrated the power superiority of the proposed trinomial test statistic over the sign test in small samples in the presence of zero observations. We also showed that the proposed trinomial test was substantially superior to the sign test in power in large samples in the presence of zero observations as the sign test ignores information from the observations resulting in ties.

Nach Umsetzungen in den großen Statistikprogrammen habe ich noch nicht gesucht - das kann ja die/der tun, die das hier findet und für sich interessant findet.

LG,
Bernhard

[bele]

Hallo!

Anlass zu diesem Thread war folgendes:

Ich habe gestern ein Peer Review geschrieben. Die Autoren haben Tonaufnahmen vor und nach einer Operation im HNO-Gebiet gemacht und auf das Vorhandensein eines Stimmmerkmals auf einer 4-stufigen Skala von "gar nicht" bis "sehr stark" gerated. Es gibt also für jeden der 24 Patienten je einen ordinalen Wert vor und einen nach der Operation und es ist zu zeigen, dass die Operation zu einer Verbesserung führt.

Und so ging es weiter: Inzwischen ist eine überarbeitete Version eingereicht worden. Ein Statistikdienstleister hat die Daten in die Hand genommen und einen Stuart-Maxwell-Test gerechnet. Den kann ich bisher nicht. Es ist ein Test für verbundene Stichproben und damit schon mal die bessere Wahl. Es ist aber auch ein Test auf Nominalskalenniveau und da frage ich mich dann doch, ob ein bezahlter Statistikdienstleister nicht vielleicht etwas mit passenderem Skalenniveau hätte finden können.

Im konkreten Fall war es kein Problem: Ein Blick auf die Ergebnistabelle zeigt, dass die nachgewiesen Veränderung eine Verbesserung ist.

LG,
Bernhard