Seite 1 von 1

Sensitivitätsvergleich bei mehreren Readings pro Datenpunkt

BeitragVerfasst: Fr 17. Dez 2021, 18:58
von Flog92
Hallo,

ich habe folgendes Problem: Ich möchte zwei radiologische Tests hinsichtlich ihrer Sensitivität für eine Erkrankung miteinander vergleichen. 6 erkrankte Tiere wurden auf zwei unterschiedliche Arten geröntgt. Für jede Aufnahme liegen von jeweils drei Ratern jeweils 2 Readings zu unterschiedlichen Zeitpunkten mit einer binären Antwortmöglichkeit vor (1, also Tier ist krank;0, also Tier ist nicht krank). Somit habe ich zu jedem Test 6 (3x2) Readings; pro Gruppe dann also 36 Readings. Wie kann ich hierzu am besten die Sensitivitäten der beiden Tests miteinander vergleichen? Bilde ich den median und mache dann einen Chi Square Test oder gibt es da einen anderen Test den ich nehmen muss? Falls der Median und Chi Square Test gehen, wäre das für mich natürlich das einfachste.
Vielen Dank schonmal!!
Florian

Re: Sensitivitätsvergleich bei mehreren Readings pro Datenpu

BeitragVerfasst: Fr 17. Dez 2021, 22:45
von bele
Hallo Florian,

Welche Rolle spielen die beiden Zeitpunkte? Was war der Gedanke dahinter? Ist "radiologischer Test" dasselbe wie "Gruppe"? Möchtest Du einen Median aus Nullen und Einsen berechnen?

Für einen Vergleich von Proportionen kann man einen Chiquadrattest im Prinzip verwenden, aber erstens hast Du recht wenig Beobachtungen für eine Chiquadrat-Verteilungs-Approximation und zweitens hast Du abhängige und nicht unabhängige Beobachtungen. An der Stelle kommt zum Beispiel die Intention hinter dem zweiten Zeitpunkt ins Spiel.

Das ist nicht banal, aber vielleicht muss man trotzdem einfache Verfahren wegen der kleinen Stichprobe (6 Mäuse oder wirklich 36 Readings?) wählen?

LG, Bernhard

Re: Sensitivitätsvergleich bei mehreren Readings pro Datenpu

BeitragVerfasst: So 19. Dez 2021, 14:02
von Flog92
Hallo Bernhard,

vielen Dank für die schnelle Antwort. Ich habe den rechten Lungenflügel von 6 Mäusen bestrahlt und diese haben dann im Verlauf der Zeit eine Lungenfibrose entwickelt. Zu 5 Zeitpunkten (0 Wochen, 12 Wochen, 16 Wochen, 20 Wochen und 24 Wochen) habe ich sie dann in einem herkömmlichen CT und einer neueren Variante (Dunkelfeld) untersucht. Diese 2x6 Aufnahmen zu jedem Zeitpunkt wurden dann von 3 Radiologen gelesen, wobei die Antwortmöglichkeiten “vorhanden” und “nicht vorhanden” in Bezug auf die Lungenfibrose waren. Diese Readings wurden dann nach 4 Wochen wiederholt um die Reliability zu bestimmen. Jetzt möchte ich für jeden Zeitpunkt einzeln bestimmen ob die neue Methode eine höhere Sensitivität hat als die herkömmliche.
Zu deinen Rückfragen:

Welche Rolle spielen die beiden Zeitpunkte? Was war der Gedanke dahinter? -> Die Tiere entwickeln die Fibrose über Zeit.
Ist "radiologischer Test" dasselbe wie "Gruppe"? -> In diesem Fall würde ich sagen ja, auch wenn es im Prinzip die gleichen Tiere sind.
Möchtest Du einen Median aus Nullen und Einsen berechnen? -> Ja, das war die Frage ob man das darf?
Das ist nicht banal, aber vielleicht muss man trotzdem einfache Verfahren wegen der kleinen Stichprobe (6 Mäuse oder wirklich 36 Readings?) wählen? -> Es sind zwar nur 6 Mäuse, aber pro Methode 36 Readings. Ich nehme an, ich darf nicht mit den 36 rechnen, weil ich dann ja künstlich durch mehr Readings mehr Datenpunkte erzeuge, oder ist das möglich?

Vielen, vielen Dank schonmal!!!

Re: Sensitivitätsvergleich bei mehreren Readings pro Datenpu

BeitragVerfasst: So 19. Dez 2021, 17:51
von bele
Hallo Flog92,

mal sehen, was mir dazu einfällt. Primär würde ich sagen: Schau doch mal, ob Du den Tierschutzantrag für dieses Experiment in die Hände bekommst, ob da schon was zur Auswertung geschrieben wurde (böte sich an, denn da muss ja irgendeine Rechtfertigung für die Zahl der Tiere drin stehen). Gehen wir mal davon aus, dass Du da nichts findest und denken ohne das weiter.

Zunächst einmal willst Du die Sensitivität bestimmen, deshalb brauchen wir hier nur die bestrahlten Lungen(flügel) zu betrachten. Da wir mehrere Einflussfaktoren haben bietet sich eine multiple Regression an und da die Ergebnisse als 0 oder 1 codiert sind bietet sich eine binär-logistische Regression an.
Nun zu den Einflussfaktoren: Ob eine Fibrose sichtbar ist hängt davon ab, wie sehr eine Maus zur Fibrosebildung neigt, wie schnell sich ein Radiologe für das Vorhandensein von Fibrosezeichen entscheidet und natürlich davon, ob Du klassische CT oder Dunkelfeld-Röntgen verwendest. Sagen wir mal, Erst- und Zweitreading seien ganz zufällig und keines von beiden systematisch anders als das andere, dann ist der Unterschied zwischen Erst- und Zweitreading zufällig und keine Einflussgröße.
Alle diese Einflussgrößen aus 36 Beobachtungen schätzen zu wollen ist sportlich. Es scheint mir geschickter zu sein, die Fibrosebildung jeder Maus und die Tendenz jedes Radiologen, eine Fibrose zu sehen, aus der Gesamtzahl aller Readings zu schätzen (sog partial pooling) und das dann für den Unterschied der Erkennungshäufigkeit pro Zeitpunkt zu nutzen.

Das wäre dann also ein binär logistisches Regressionsmodell mit "wurde als Fibrose erkannt (0/1)" als abhängiger Variable und als unabhängigen Variablen: die Identität der Maus (dummycodiert), die Identität des Radiologen (dummycodiert), und einer dummycodierten Variable die jeweils die Kombination aus einen Untersuchungszeitpunkt und einem Untersuchungsverfahren codiert.
Entscheiden müsste man noch, ob die Mäuse und die Radiologen tatsächlich dummycodiert als fixed effect oder als random effect codiert werden sollten.

An der Stelle muss ich jetzt mal zurückfragen, ob das soweit nachvollziehbar ist oder nur "Bahnhof und Abfahrt".

Vielleicht ganz lesenswert (habe es selbst nicht gelesen):
Hierarchical Partial Pooling for Repeated Binary Trials [hier eine praktische Anleitung zur Umsetzung] und [hier die Theorie dazu]

HTH,
Bernhard

Re: Sensitivitätsvergleich bei mehreren Readings pro Datenpu

BeitragVerfasst: Mo 20. Dez 2021, 21:37
von Flog92
Hallo Bernhard,

vielen Dank schonmal!! Einen Teil verstehe ich. Also mir ist klar was eine binäre logistische Regression ist und wie ich sie anwende. Das mit dem partial pooling kenne ich nicht. Ich schaue mir das mal an und melde mich dann wieder.
Vielen Dank
Florian