STATISTIK-FORUM.de

Es geht um eine Benchmark Studie welche 13 verschiedene statistische Modelle auf 18 verschiedenen Datensätzen miteinander vergleicht. Für jeden dieser 18 Datensätze wurden 25 CV iterationen durchgeführt.
Das heißt mein Datensatz besteht aus 18 verschiedenen Datensätzen mit je 25 CV Iterationen und den cindex bzw. ibrier für 13 verschiedene statistische Methoden. Und mein Ziel ist es nun die Performance der Methoden anhand des cindex bzw. ibrier miteinander zu vergleichen.

Laut dieser Seite:

https://www.datanovia.com/en/lessons/re ... nova-in-r/

könnte ich eine ANOVA mit Messwiederholungen durchführen und dann eine posthoc Analyse mit dem gepaarten T-Test durchführen.

Allerdings könnte es jetzt wiederrum problematisch sein, dass die 25 CV iterationen innerhalb eines Datensatzes ja auch irgedenwie abhängig sind. Das heißt ich habe zwei Abhängigkeiten, einmal die Messwiederholungen und zum anderen die Abhängigkeit eines Datensatzes.

könnte ich eine ANOVA mit Messwiederholungen durchführen und dann eine posthoc Analyse mit dem gepaarten T-Test durchführen.

Ja, das wäre ein gängiges Verfahren.

Allerdings könnte es jetzt wiederrum problematisch sein, dass die 25 CV iterationen innerhalb eines Datensatzes ja auch irgedenwie abhängig sind. Das heißt ich habe zwei Abhängigkeiten, einmal die Messwiederholungen und zum anderen die Abhängigkeit eines Datensatzes.

Da Du nicht erklärt hast, was CV iterationen sind, kann ich das leider nicht
beurteilen. Ich ging davon aus, dass zu jedem Verfahren insgesamt genau
18mal die outcomes gemssen wurden.

Mit freundlichen Grüßen

PonderStibbons

Vielen Dank! Ich werde jetzt auf jeden Fall erst mal so vorgehen. Und dann meine Professorin fragen ob ich das mit den CV Iterationen auch betrachten muss.

CV iterationen, bedeutet, dass die statistischen Methoden auf k verschiedenen Teilmengen evaluiert wurden, damit man für einen Datensatz nicht nur einen Trainings und Testdatensatz hat, sondern eine Methode k mal pro datensatz evaluiert um so noch zufällige Faktoren welche die Performance beeinflussen könnten zu vermeiden.

Das heißt also, dass es für die 18 Datensätze 25 Werte für ibrier und cindex pro Methode gibt. Und so wie ich den Artikel über die ANOVA mit Messwiederholungen verstanden habe, dann könnten zwar die 13 Methoden abhängig sein, aber die Beobachtungen untereinander müssen unabhängig sein. Eine Methode welche beide Abhängigkeiten berücksichtigt habe ich leider nicht gefunden.