STATISTIK-FORUM.de

[a51991]

Schönen guten Tag!

Ich habe im Rahmen meiner Bachelorarbeit einen Algorithmus zur Volumenbestimmung von Tumoren entwickelt. Subjektiv ist dieser besser als ein anderer, aber im Ramen der Arbeit gilt es dies natürlich zu beweisen.

Es werden zwei Algorithmen zur Volumenbestimmung auf ein und dem selben Bilddatensatz ausgeführt. Dabei sind die Bilddatensätze selbst von mir generiert, da ich das genaue Volumen wissen muss (ground truth vorhanden) . Die Algorithmen geben unterschiedliche Ergebnisse aus, da die Volumenbestimmung von umliegenden Gewebe negativ beeinflusst wird. Bei der Generierung der Bilddatensätze bleibt das originale Volumen erhalten. Nur der Einfluss durch umliegendes Gewebe ändert sich.

Die Frage ist nun, wie die Verfahren miteinander Evaluieren soll. Grundlegend hätte ich erstmal gesagt, einen gepaarten t-test anzuwenden. Die Frage ist aber ob eine Abhängigkeit besteht, da die Algorithmen auf dem selben Datensatz angewendet werden?
Zu Anfang müsste ich auch noch eine Normalverteilung nachweisen. Dies hätte ich mit einem Kolmogorow-Smirnow-Test gemacht. Ist das zu empfehlen?

Ich würde mich freuen, wenn Sie mir helfen könnten, da dieses Gebiet für mich totales Neuland ist.
Lieben Gruß!

[strukturmarionette]

Hi,

am besten das Zustandenkommen aller Messungen (Variablen), getrennt nach unabhängigen und abhängigen Variablen und insbesondere deren Anzahlen (i.e. (Teil-)Stichprobenumfänge)) zunächst darlegen.

Gruß
S.

[bele]

Hallo Namenloser,

ich vermute, Du willst gar nicht die Ergebnisse beider Verfahren direkt vergleichen, sondern deren Abweichung vom "wahren" Volumen. Es böte sich dann an, zunächst für jede Bestimmung der absoluten oder quadratischen Abweichung vom Soll-Volumen zu berechnen und dann mit einem statistischen Test zu vergleichen, ob diese bei dem einen oder anderen Verfahren größer ist. Wenn Du je ein Bild mit variablem Drumherumgewebe dem einen und dem anderen Verfahren vorlegst, dann sind diese beiden Messungen natürlich miteinander verbunden.

Da die wenigsten Größen im wirklichen Leben streng normalverteilt sind, ist der Kolmogorov-Smirnov-Test (KS-Test) eher ein Test, ob Deine Stichprobe groß genug ist, um die Abweichungen zu finden. Je größer Deine Stichprobe, umso eher wird der KS-Test positiv. Je größer Deine Stichprobe, umso robuster wird der t-Test gegen Verletzungen der Normalverteilung. Sehr hilfreich ist der KS-Test daher nicht.

Es gibt zu diesem Problem nicht die eine richtige Antwort. Sinnvoll ist sicher, eine große Zahl von Beispielfällen zu simulieren: Bei großen Zahlen wird in der Statistik immer alles leichter. Wenn das "nur" Rechnerzeit kostet, dann mach das. Im Übrigen könntest Du Dir Quantile-Quantile-Plots anschauen oder den Vorzeichen-Rangtest.

LG,
Bernhard

[strukturmarionette]

Hi,

eher ein Test, ob Deine Stichprobe groß genug ist, um die Abweichungen zu finden. Je größer Deine Stichprobe, umso eher wird der KS-Test positiv.

- Je größer N, desto eher muss die NV-Annahme zurückgewiesen werden, oder?

Gruß
S.

[a51991]

Hallo!
Vielen lieben Dank für die Antworten von Ihnen beiden!
Wie bele schon richtig festgestellt hat, möchte ich die Abweichung vom wahren Volumen messen. Das wahre Volumen von der zu bestimmenden Läsion ist gegeben. Dieses bleibt auch erhalten (man müsste vielleicht im weiteren mit anderen Volumina testen). Momentan ändert sich nur das Gewebe in der Umgebung, was die Bestimmung des richtigen Volumens massiv erschwert. Mein Verfahren approximiert das Volumen subjektiv besser.

Wie würden Sie denn eine Normalverteilung an meiner Stelle nachweisen? Es handelt sich dabei ja um eine Normalverteilung der Abweichung von dem richtigen Volumen, da sich ja sonst keine Parameter verändern. Also nur diese kann ich nachweisen.
Nun stellt sich für mich aber die Frage, wie ich nachweisen kann, dass mein Verfahren besser funktioniert. Wenn ich die absoluten oder quadratischen Abweichung vom Soll-Volumen bestimme und diese jetzt besser sind, dann kann ich ja durch einen statistischen Test nur den Unterschied auf Gleichheit und Ungleichheit bestimmen. Bzw. durch einen einseitigen Test, dass die quadratische Abweichung zueinander kleiner oder größer ist. Reicht es wen ich durch einen Einseitigen Test damit sage, dass meine Quadratische Abweichung kleiner ist, als die von dem anderen Verfahren? Ich kann ja nur durch ein bestimmtes Signifikanzniveau (5%) die Nullhypothese bestätigen oder widerlegen. Bei einer Nullhypothese basierend auf Gleichheit ist es logisch, dass diese widerlegt wird. Ergo: einseitiger Test.
Wenn ich nun als Nullhypothese annehme : Quadratische Abweichung meines Verfahrenes < Quadratische Abweichung des anderen Verfahrens. Reicht das als Beweis aus?
Ich freue mich über jede Antwort!
Vielen Dank!
Gruß E.

[strukturmarionette]

Hi,

dass diese widerlegt wird. Ergo: einseitiger Test.

- nee.

Soweit es darum geht, NV-Verteilungsprüfungen vorzunehmen, müssen diese auch Sinn machen.
In diesem Fall müssen zuallererst (u.a.) die Stichprobenumfänge bekannt sein.

Gruß
S.

[a51991]

Hallo nochmal!

Ich bin leider immer noch nicht viel weiter. Es hat sich nun etwas geändert. Nach Absprache mit meinem Betreuer ändern sich die Volumina in dem Test. Das heißt es werden für jeden Bilddatensatz ein anderes Volumen bestimmt. Ground Truth bekannt.

Soweit es darum geht, NV-Verteilungsprüfungen vorzunehmen, müssen diese auch Sinn machen.
In diesem Fall müssen zuallererst (u.a.) die Stichprobenumfänge bekannt sein.

Ich habe jetzt pauschal 45 Testbilder erzeugt. In anderen Foren-Einträgen wurde gesagt, dass wenn n>30 ist, der Zentrale Grenzwertsatz bestätigt ist und eine Normalverteilung anzunehmen ist. Das lässt sich bestimmt nicht so verallgemeinern oder? Das würde mir einige Probleme ersparen.

Es gibt zu diesem Problem nicht die eine richtige Antwort. Sinnvoll ist sicher, eine große Zahl von Beispielfällen zu simulieren: Bei großen Zahlen wird in der Statistik immer alles leichter. Wenn das "nur" Rechnerzeit kostet, dann mach das. Im Übrigen könntest Du Dir Quantile-Quantile-Plots anschauen oder den Vorzeichen-Rangtest.

Danke für den Tipp. Ich habe nun absolute Differenzen von der Ground Truth bestimmt, als auch relative Differenzen (= (Volume-GT)/GT) um eine Normierung der Daten zu erhalten. Dadurch soll eine Vergleichbarkeit hergestellt werden. Die Fehler in der Bestimmung des Volumens würden sonst mit steigendem Volumen wachsen. Durch diese Normierung soll dies kompensiert werden. Gibt es noch andere Wege um die Daten zu normieren? Und im Anschluss zu vergleichen?
Ich habe des Weiteren auf Normalverteilung getestet (Shapiro-Will-Test). Bei den absoluten Differenzen war eine Normalverteilung zu verzeichnen, bei den relativen Differenzen nicht. Was soll ich also tun?

Ich habe, da ich mich gegen die Normalverteilung entschieden habe, den Vorzeichen Rangtest durchgeführt. Dabei ist ein p-Wert von p<0,0001 bei herausgekommen. Das heißt nun das die beiden Reihen nicht der selben Distribution folgen. Heißt das im direkten Sinne das das eine Verfahren besser ist als das andere? Darf ich den Vorzeichen-Rangtest ohne Voraussetzungen durchführen?

Ich würde mich sehr über Hilfe freuen. Ich bin langsam echt verzweifelt.

[a51991]

Eine weitere Frage:

Muss ich meine selbst generierten Daten (die Verschiedenen Volumina) auch auf Normalverteilung überprüfen, um zu beweisen, dass ich wirklich randonomisierte Volumina genommen habe?

Gruß

[bele]

Hallo a51991,

der Vorzeichen-Rangtest trifft keine Verteilungsannahme. Du bist damit aus dem ganzen Thema Normalverteilung komplett ausgestiegen und brauchst darauf keine Gedanken mehr zu verschwenden. Mit einem p<0,0001 hast Du empirisch gezeigt, dass eine Gruppe im Allgemeinen zu kleineren Werten neigt als die andere. Genau das wolltest Du. Herzlichen Glückwunsch.

Bitte teste nicht einseitig sondern zweiseitig. Tests sind eine Frage der Konvention. Die magische Grenze von p<0,05 ist nur Konvention. Und in dieser Konvention testet man zweiseitig. Immer wenn ich lese, dass irgendwas einseitig getestet wurde, werde ich ganz misstrauisch, warum jemand so etwas tut und verdopple in Gedanken den p-Wert. Lass es einfach. Du kannst es Dir mit deinem kleinen p ohne weiteres leisten.

LG,
Bernhard

[strukturmarionette]

Hi,

Ich habe, da ich mich gegen die Normalverteilung entschieden habe, den Vorzeichen Rangtest durchgeführt. Dabei ist ein p-Wert von p<0,0001 bei herausgekommen.

- das ist aber keine Begründung (auf welche Stichprobenumfänge von Volumenmaßen und wie ist die NV geprüft worden?)
- auf welche Daten 'Quantile' konkret ist der Vorz_Rang Test angewendet worden mit p <0.0001?

Gruß
S.