Shapiro-Wilk-Test bei Big Data

Shapiro-Wilk-Test bei Big Data

Beitragvon Tellos » Mo 22. Feb 2016, 17:10

Hallo,

ich würde gerne wissen warum der Shapiro-Wilk-Test nur bis zu einer Datengröße von max. 5000 zulässig ist? Wie verhält es sich mit anderen Test AD oder Kolmogorow-Smirnov, ich glaube dies lassen sogar weniger Stichproben zu?
Bin auf eure Antworten gespannt.
Gruß
Tellos
Tellos
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: Mo 22. Feb 2016, 17:05
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon PonderStibbons » Mo 22. Feb 2016, 17:21

Ich würde gerne wissen warum der Shapiro-Wilk-Test nur bis zu einer Datengröße von max. 5000 zulässig ist?

Wer behauptet denn sowas?

Allerdings sind Verteilungstests, wie z.B. Normalverteilungstests, bei großen Stichproben weitgehend sinnlos, weil sie allenfalls anzeigen, was man schon vorher weiß, nämlich dass die Stichprobendaten aus einer nicht perfekt normalverteilten Grundgesamtheit stammen. Und wozu will man überhaupt Normalverteilungsbetrachtungen bei n > 5000 anstellen?

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11265
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2474 mal in 2458 Posts

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon Tellos » Mo 22. Feb 2016, 21:17

Hallo,

SAS gibt an das unter der PROC UNIVARIATE die Stichprobe <2000 sein soll. Bei Wikipedia (ja ich weiß :roll: ) hingegen steht der Stichprobenumfang soll 3 bis 5000 Beobachtungen umfassen. Was mach ich denn wenn ich eine Regression auf 100.000 Beobachtungen anwende und das Residuum untersuchen möchte?

Gruß

Tellos
Tellos
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: Mo 22. Feb 2016, 17:05
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon strukturmarionette » Di 23. Feb 2016, 01:51

Hi,

100.000 Beobachtungen

- graphische Verfahren wie PP-Plots oder QQ-Plots. Aber keine Signfikanztests.

Gruß
S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 4314
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 32
Danke bekommen: 582 mal in 579 Posts

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon PonderStibbons » Di 23. Feb 2016, 09:35

Was mach ich denn wenn ich eine Regression auf 100.000 Beobachtungen anwende

100.000 unabhängige Beobachtungen?
und das Residuum untersuchen möchte?

Wozu? Die Verteilung der Residuen ist doch bei diesen Größenordnungen völlig irrelevant.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11265
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2474 mal in 2458 Posts

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon Tellos » Di 23. Feb 2016, 11:19

Hallo,

wieso ist die Verteilung der Residuuen bei dieser Größenordnung irrelevant? Ich dachte die Normalverteilung der Residuuen ist eine der Voraussetzungen der Regression.
Tellos
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: Mo 22. Feb 2016, 17:05
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon PonderStibbons » Di 23. Feb 2016, 11:46

Nur für kleine Stichproben. Spätestens ab n > 50 ist das entbehrlich.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11265
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2474 mal in 2458 Posts

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon Tellos » Di 23. Feb 2016, 14:00

ok. Warum ist das so? Kannst du mir Literatur empfehlen wo ich das nochmal nachlesen kann.
Tellos
Grünschnabel
Grünschnabel
 
Beiträge: 7
Registriert: Mo 22. Feb 2016, 17:05
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Shapiro-Wilk-Test bei Big Data

Beitragvon PonderStibbons » Di 23. Feb 2016, 19:24

Suche nach regression residuals central limit theorem.
Bzw. Regression Residuen zentraler Grenzwertsatz.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11265
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2474 mal in 2458 Posts


Zurück zu Nichtparametrische Tests

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast