STATISTIK-FORUM.de

[a51991]

Hallo und vielen Dank für Ihre Antworten!

Bitte teste nicht einseitig sondern zweiseitig. Tests sind eine Frage der Konvention. Die magische Grenze von p<0,05 ist nur Konvention. Und in dieser Konvention testet man zweiseitig. Immer wenn ich lese, dass irgendwas einseitig getestet wurde, werde ich ganz misstrauisch, warum jemand so etwas tut und verdopple in Gedanken den p-Wert. Lass es einfach. Du kannst es Dir mit deinem kleinen p ohne weiteres leisten.

Das habe ich bei meinem Post unterschlagen. Ich habe den Vorzeichen Rangtest zweiseitig auf die relativen Differenzen ((Volumen - GT)/GT) durchgeführt. Den Test auf Normalverteilung habe ich durch den Shapiro-Will-Test durchgeführt. Bei den Relativen Differenzen ist dabei bei beiden Algorithmen ein P-Wert von p<0,0001 heraus gekommen. Damit kann bei den relativen Differenzen keine Normalverteilung angenommen werden, da die Nullhypothese widerlegt worden ist. Somit wird der Vorzeichen Rangtest durchgeführt.

Mit einem p<0,0001 hast Du empirisch gezeigt, dass eine Gruppe im Allgemeinen zu kleineren Werten neigt als die andere. Genau das wolltest Du. Herzlichen Glückwunsch.

Kann ich durch einen Vergleich der Mediane der beiden Algorithmen nun sagen: Mein Algorithmus hat einen geringeren Median als der Andere, also ist mein Verfahren besser?
Mir wird die Beweisführung noch nicht ganz klar. Fallen Ihnen beiden noch Andere Methoden ein, um die Algorithmen miteinander zu vergleichen? Es macht ja nur Sinn normierte Werte miteinander zu vergleich oder sehe ich das falsch?

Ich habe, da ich mich gegen die Normalverteilung entschieden habe, den Vorzeichen Rangtest durchgeführt. Dabei ist ein p-Wert von p<0,0001 bei herausgekommen.

- das ist aber keine Begründung (auf welche Stichprobenumfänge von Volumenmaßen und wie ist die NV geprüft worden?)
- auf welche Daten 'Quantile' konkret ist der Vorz_Rang Test angewendet worden mit p <0.0001?

Die Volumina wurden von zwei Algorithmen auf 45 unterschiedlichen Bilddatensätzen bestimmt. Zu beiden Volumina wurden die relativen Differenzen zur Ground Truth bestimmt und diese durch den Vorzeichen Rangtest bestimmt. Dadurch kam der p-Wert von p<0.0001 zustande. Ich hoffe ich habe Ihre Frage richtig verstanden.

Muss ich die Verteilung der Ground Truth eigentlich auch statistisch beweisen, da ich die Bilddaten selbst erzeugt habe? Um sagen zu können, es handelt sich wirklich um unterschiedliche Volumina?

Vielen Dank für Ihre Hilfe!
Gruß
E.

[a51991]

Hallo nochmals!

Ich habe jetzt die Algorithmen mit einer größeren Anzahl von Datensätzen getestet. 565 Bilddatensätze mit unterschiedlichen Volumina wurden untersucht. Das Ergebnis ist, dass die Messungen definitiv nicht normalverteilt sind. Normalerweise müssten die Ergebnisse in der Nähe von 0 liegen (da die Differenz vorzugsweise bei 0 sein soll). Ist nicht der Fall. Heißt das jetzt als Rückschluss das die Algorithmen einfach schlecht sind?

Ich würde gerne Anhänge zu den QQ Plots der Algorithmen hochladen, aber "das Kontingent für Dateianhänge ist bereits vollständig ausgenutzt".

Gruß
Erik

[bele]

Hallo a51991,

ich kann Deine Fixiertheit auf Normalverteilung nicht verstehen. Statistik ist nicht die Lehre von der Normalverteilung und dem Vorzeichenrangtest ist das egal.

Mir wird die Beweisführung noch nicht ganz klar.

Welche Beweisführung und was ist unklar?

Kann ich durch einen Vergleich der Mediane der beiden Algorithmen nun sagen:

Der Wilcoxon-Test vergleicht keine Mediane sondern Ränge. Streng genommen müsstest Du also die Ränge vergleichen oder gleich noch zwei einseitige Wilcoxon-Tests rechnen. Bei Deinem Ergebnis reicht es wahrscheinlich, einen flüchtigen Blick auf die Histogramme zu werfen und dann wird alles klar sein.

Normalerweise müssten die Ergebnisse in der Nähe von 0 liegen (da die Differenz vorzugsweise bei 0 sein soll). Ist nicht der Fall. Heißt das jetzt als Rückschluss das die Algorithmen einfach schlecht sind?

Die Begriffe "in der Nähe von" und "einfach schlecht" sind nicht scharf genug definiert. Das kannst Du so sehen, muss man aber wahrscheinlich nicht so sehen. Im nächsten logischen Schritt ginge es darum, eine Anzahl von Ärzten geschickt zu befragen, ob die verbesserte Erkennungsgenauigkeit für sie einen Unterschied macht. Oder man sucht in echten Patientenakten, wie groß die Schwankungen echter Tumoren bei Verlaufsbeobachtung sind und prüft, wie groß der "Fehler" im Verhältnis zu den zu messenden Veränderungen ist, oder...

LG,
Bernhard

[a51991]

Hallo nochmal!

Mir ist eine andere Problematik aufgefallen.
Der Wilcoxon-Rangsummentest darf nur angewendet werden, wenn die Varianzen der Verteilungen gleich sind. Das ist bei mir nicht der Fall, da die Abweichungen ja durch die Algorithmen unterschiedlich sind. Ich habe eine Levent-Test angewendet um dieses zu untersuchen. Der sagt aus, dass die Varianzen nicht gleich sind. Damit ist der Wilcoxon-Rangsummentest für mich nicht anwendbar!?
Wie kann ich nun einen signifikanten Unterschied der beiden Messreihen nachweisen? Ich habe langsam echt keine Ahnung mehr was ich machen soll.
Es wäre nett, wenn Sie mir weiterhelfen könnten.

Mit freundlichen Grüßen
E.

[bele]

Hi!

Der Wilcoxon-Rangsummentest darf nur angewendet werden, wenn die Varianzen der Verteilungen gleich sind.

Wo steht das? Wer sagt das? Wieso hat diese Quelle die größere Glaubwürdigkeit?

Es wäre nett, wenn Sie mir weiterhelfen könnten.

nutzung-des-forums-f44/netiquette-t2928.html Punkt 5

LG,
Bernhard