STATISTIK-FORUM.de

[seabunny]

Hallo und vor allem jetzt gerade "Mahlzeit",

ich habe folgende Frage bzgl. geplanter bzw korrekter Auswertung:

Im Rahmen einer medizinisch-biologischen Bac-Arbeit wurden mehrere anaerobe Bakterien (Pasteurella, Haemophilus....) zunächst mit dem "Golden standard" der Artbestimmung "DNA-Analysen" bestimmt. Das Verfahren ist aber für den Routinebetrieb zu teuer und wird daher auch nicht als "Screeningmethode" angewandt.
Nachfolgend wurden daher zu jeder Keimprobe weitere Routinemethoden durchgeführt (zB mehrere API-Tests...), welche ebenfalls für die Artbestimmung herangezogen werden.

Welches Verfahren hilft mir nun festzustellen, dass sich die Artbestimmungsergebnisse der Routinemethode (API-System 1, API-System 2,...) von den Ergebnissen der Methode des "Golden Standard" signifikant unterscheidet - oder eben nicht?

Zuerst dachte ich, dass ich mit einem McNemar-Test weiter komme. Allerdings habe ich bei den API-Ergebnissen teilweise komplett andere Arten bzw. sogar andere Gattungen im Vergleich zur DNA-Analyse (siehe beigefügte Datei)

Tja, und nun steh ich an

Bin für jeden Hinweis dankbar...


LG

[PonderStibbons]

Welches Verfahren hilft mir nun festzustellen, dass sich die Artbestimmungsergebnisse der Routinemethode (API-System 1, API-System 2,...) von den Ergebnissen der Methode des "Golden Standard" signifikant unterscheidet - oder eben nicht?

Dass sich die Ergebnisse vom Goldstandard unterscheiden, dürfte wohl
vorauszusetzen sein und keines inferenzstatistischen Tests bedürfen. Ob
bei einem Test ein inferenzstatistisch "signifikantes" Ergebnis (heißt: man
darf auf Basis der Stichprobendaten annehmen, dass der Unterschied in
der Grundgesamtheit nicht = 0,0000000000... beträgt) herauskommt, ist
dann allein eine Frage der Stichprobengröße. Die eigentlich relevanten
Fragen wären normalerweise, wie groß die Abweichungen der Routinemethoden
vom Goldstandard sind, und ob die Routinemethoden sich hinsichtlich
ihrer Qualität voneinander unterscheiden.

Mit freundlichen Grüßen

P.

[seabunny]

...danke für die Antwort.

D.h. also in anderen Worten: einzig die jeweilige Stichprobengrößen der einzelnen Keime entscheiden über:
Die alternative Routine-Methode ist "gleichwertig" bzw. "ist nicht gleichwertig".

So wäre etwa die Keimgruppe "Haemophilus influenzae" mit einem n=20 "nur" 13mal mit der Routinemethode korrekt identifiziert worden (siehe Anhang).
Lässt sich daraus eine "korrekte" Analyse bzgl. einer auffällig hohen Abweichung mit Hilfe inferenzstatistischer Methoden durchführen?

Dezitiert danke nochmals für die Antwort.


LG S

[PonderStibbons]

D.h. also in anderen Worten: einzig die jeweilige Stichprobengrößen der einzelnen Keime entscheiden über:
Die alternative Routine-Methode ist "gleichwertig" bzw. "ist nicht gleichwertig".

Entscheidungen trifft der Anwender, nicht der Test. Und eine Nullhypothese
beizubehalten ist nicht gleichzusetzen ist mit deren Gültigkeit ("Absence of
evidence is not evidence of absence"). Bei kleinen Stichproben reicht die
Evidenz eben manchmal nicht aus. Ein Nullhypothesentest Screening versus
Goldstandard ist uninformativ und fehl am Platz.

Lässt sich daraus eine "korrekte" Analyse bzgl. einer auffällig hohen Abweichung mit Hilfe inferenzstatistischer Methoden durchführen?

Was heißt das? Du willst wissen, ob ein inferenzstatistischer Test dem Anwender
mitteilen kann, ob eine Abweichung relevant/wichtig/erheblich ist? Das kann kein
solcher Test. Inferenzstatistische Tests drehen sich um die Frage, ob die Nulhypothese
"der Unterschied beträgt in der Grundgesamtheit exakt 0,00000.." beibehalten oder
abgelehnt werden kann. Häufig behelfen sich Anwender mit der Berechnung von
Konfidenzintervallen um die Trefferquote herum. Das beruht zwar auch auf
einer Fehlinterpretation von Inferenzstatistik, aber gestattet zumindest Einblicke.
Mich wundert, dass es kein Routinevorgehen in Deiner Literatur gibt, Qualitätssicherung
bei biologischen Messverfahren unter Nutzung von Goldstandards ist nicht gerade
ein exotisches Thema.

Mit freundlichen Grüßen

P.