Overfitting logistische Regression?

Alle Verfahren der Regressionanalyse.

Overfitting logistische Regression?

Beitragvon Monolog » Mo 4. Nov 2013, 01:33

Hallo!

Zur Zeit mache ich eine binäre logistische Regression mit 5 Einflussfaktoren. Nun habe ich gelesen, dass es eine 5:1 Regel gibt. D.H. 5 Ereignisse pro Faktor. Also müsste ich doch bei mind. einer Variable mind. 25 Ereignisse haben oder? Leider beträgt diese bei mir 19... :/
Ich habe bereits zwei Variablen rausgeschmissen, die mir weniger wichtig erschienen, dadurch hat sich das Ergebnis dann doch ziemlich verändert. Ein Einflussfaktor wurde signifikant (p=0.008). Odds Ratio beträgt 1.004 (CI:[1.001 - 1.008]). Geht das überhaupt?

Falls es wichtig ist: Nagelkerze beträgt: 0,185. Ca 76% der Ereignisse wurden richtig vorhergesagt. n insgesamt beträgt 567 mit 144 Ereignisse. Es handelt sich um eine biostatistische Fragestellung.

Kann mir einer was dazu sagen?
Monolog
Grünschnabel
Grünschnabel
 
Beiträge: 8
Registriert: Fr 11. Okt 2013, 20:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Overfitting logistische Regression?

Beitragvon PonderStibbons » Mo 4. Nov 2013, 10:30

n insgesamt beträgt 567 mit 144 Ereignissen.

Nach der von Dir zitierten Faustregel wären demnach rund 29 Prädiktoren
möglich. 5 Faktoren sollten normalerweise auf keine Bedenken stoßen,
außer diese sind ordinale oder kategoriale Variablen und müssten für die
Rechnung in eine sehr große Zahl Dummy-Variablen umgewandelt werden.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11258
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2473 mal in 2457 Posts

Re: Overfitting logistische Regression?

Beitragvon Monolog » Mo 4. Nov 2013, 12:27

Ich habe 2 intervallskalierte Variablen, 2 binäre und eine multinomiale Variable. Die anderen zwei sind intervallskaliert...
Wie funktioniert denn so ein Dummy-Coding? Hab sowas noch nie gemacht und bin leicht verzweifelt :(
Monolog
Grünschnabel
Grünschnabel
 
Beiträge: 8
Registriert: Fr 11. Okt 2013, 20:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Overfitting logistische Regression?

Beitragvon PonderStibbons » Mo 4. Nov 2013, 13:37

Ich habe 2 intervallskalierte Variablen, 2 binäre und eine multinomiale Variable. Die anderen zwei sind intervallskaliert...

Jetzt sind es demnach 7 Prädiktoren, nicht mehr 5.
Wie funktioniert denn so ein Dummy-Coding?

Manche Statistksoftware leistet das automatisch, wenn ein Prädiktor
in der logistischen Regression als kategorial angegeben wird. Ansonsten
sollte sich das im Netz finden lassen.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11258
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2473 mal in 2457 Posts

Re: Overfitting logistische Regression?

Beitragvon Monolog » Mo 4. Nov 2013, 16:54

Ok das mit dem Dummy-Coding macht SPSS schon von alleine... mein Fehler.

Warum sind es denn 7?

2 intervallskalierte
2 binäre
1 multinomial (n=3)

oder gilt das multinomial gesondert?

Sorry für die Fragen, aber hab schon mit meinem Betreuer geredet und der kann mir leider auch nicht helfen...


Eine ganz andere Frage: 1 intervallskalierte (V1) und eine multinomiale (V2) wurden zu 3 verschiedenen Zeitpunkten vermessen. Wäre es ok die restlichen Variablen mit den beiden jeweils zu den drei Zeitpunkten zu analysieren. Oder wäre das ganz falsch?
Hab gehört, dass man auch ein Generalized Estimating Equation bei SPSS durchführen kann. Bin aber schon mit der logistischen Regression so unsicher, weil ich das alles zum ersten Mal mache, da hört sich das andere noch komplizierter an.
Monolog
Grünschnabel
Grünschnabel
 
Beiträge: 8
Registriert: Fr 11. Okt 2013, 20:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Overfitting logistische Regression?

Beitragvon PonderStibbons » Mo 4. Nov 2013, 21:59

Eine ganz andere Frage: 1 intervallskalierte (V1) und eine multinomiale (V2) wurden zu 3 verschiedenen Zeitpunkten vermessen. Wäre es ok die restlichen Variablen mit den beiden jeweils zu den drei Zeitpunkten zu analysieren. Oder wäre das ganz falsch?

Leider verstehe ich nicht.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11258
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2473 mal in 2457 Posts

Re: Overfitting logistische Regression?

Beitragvon Monolog » Mo 4. Nov 2013, 23:25

EIne Variabe V1 wurde zum Zeitpunkt X1, X2 vermessen.
Gleiches gilt für Variable V2. Beide Variablen haben für X1, X2 verschiedene Werte. Nun würde ich gerne wissen, ob diese Unterschiede einen Einfluß auf meinen binären Outcome haben. Die drei anderen Variablen sind beispielsweise Geschlecht, Alter (also jetzt nicht zeitabhängig).

Was ich gemacht habe ist, ich hab eine log. Regression durchgeführt zum Zeitpunkt X1 mit den zwei Variabel (V1, V2) zum Zeitpunkt X1 mit den drei anderen Variablen.
Das gleiche dann für den Zeipunkt X2.

Ich hab das u.a. auch gemacht, weil ich ein Overfitting vermeiden wollte und weil (ja es klingt blöd) mir am einfachsten erschien. Leider bin ich unsicher, ob das so richtig ist.
Monolog
Grünschnabel
Grünschnabel
 
Beiträge: 8
Registriert: Fr 11. Okt 2013, 20:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Overfitting logistische Regression?

Beitragvon PonderStibbons » Di 5. Nov 2013, 10:26

Damit wärst Du bei 9 Prädiktoren, wenn ich es richtig sehe,
das ist bei 144 Fällen nicht von vornherein bedenklich.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11258
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2473 mal in 2457 Posts

Re: Overfitting logistische Regression?

Beitragvon Monolog » Di 5. Nov 2013, 17:37

Nur für mein Verständnis: eine binäre Variable = 2 Prädikatoren und wenn es eine multinomiale (mit n=3) Variable ist, sind es dann drei Prädikatoren?
Monolog
Grünschnabel
Grünschnabel
 
Beiträge: 8
Registriert: Fr 11. Okt 2013, 20:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post


Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast