Methoden und Argumentationen bei kleiner Stichprobe

Fragen, die sich auf kein spezielles Verfahren beziehen.

Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon joost » Fr 31. Jul 2015, 13:28

Hallo mal wieder :)

Ich bräuchte mal Hilfe bei Auswahl und Argumentation der Methoden bzw. eure Absolution;

Ich habe einen Gruppenvergleich zu zwei Zeitpunkten, dazwischen ne Intervention, also im Prinzip eine Anova mit zwei Faktoren, einmal Gruppe, einmal Messzeitpunkt. Ich lese immer mal wieder pauschal, dass solche Gruppengrößen >30 sein sollten. Warum, steht meist nicht dabei. Ich habe dann gelesen, dass bei kleineren Gruppen tatsächliche Effekte nicht entdeckt würden, besonders, wenn man Interaktionen berechnet.
Nun, ich habe sowohl sig Effekte bei den Haupteffekten (p<.000) als auch bei Interaktionseffekten (p=.003) bei einer Gruppengröße von 14 Personen. Die Merkmale erfüllen dabei jeweils Normalverteilungsannahme (kolmogorov etc..). Kann ich das dann so berichten oder hab ich da möglicherweise einen Methodenfehler/Fehlinterpretation drin?

Zweitens: Ich teste 5 AV auf direkte und Interaktionseffekte; zum Teil einseitig, zur Erhöhung der Teststärke, zum Teil auf Gleichheit (Hypothese: beide Interventionen wirken gleich stark). Bei letzteren habe ich meine methodischen Bedenken, denn die Statistiken testen doch eh immer auf Gleichheit, so dass ich in diesem Falle keine Gegenhypothese widerlege - und Popper dreht sich im Grabe um?

Drittens: Fehlerkumulation. Die reine Alphafehlerangleichung mag ich nicht verwenden, weil sonst der beta-Fehler davonläuft. Ich dachte an eine Alpha-Adjustierung nach Bonferoni - Holm. Wo ich mir unsicher bin: welche Untersuchungen spielen da alle mit rein? Mir ist klar: je sep. AV 1x berücksichtigen. Wen ich aber Haupteffekte UND Interaktionseffekte auf EINE AV teste, muss ich dort bereits auf Kumulation achten? Wie sieht es mit berichteten Signifikanzen in Korreltaionen aus? Wie mit Effektstärkenberechnungen?

Ich würde mich freuen, wenn ihr mir da ein wenig Klarheit ins Denken bringen könnten - ich hab es weder bei Bortz noch bei Field herauslesen können :(

Danke schon mal
joost
User
User
 
Beiträge: 35
Registriert: Mi 6. Aug 2014, 21:38
Danke gegeben: 15
Danke bekommen: 1 mal in 1 Post

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon DHA3000 » Fr 31. Jul 2015, 14:24

joost hat geschrieben:Hallo mal wieder :)

Ich habe einen Gruppenvergleich zu zwei Zeitpunkten, dazwischen ne Intervention, also im Prinzip eine Anova mit zwei Faktoren, einmal Gruppe, einmal Messzeitpunkt. Ich lese immer mal wieder pauschal, dass solche Gruppengrößen >30 sein sollten. Warum, steht meist nicht dabei. Ich habe dann gelesen, dass bei kleineren Gruppen tatsächliche Effekte nicht entdeckt würden, besonders, wenn man Interaktionen berechnet.
Nun, ich habe sowohl sig Effekte bei den Haupteffekten (p<.000) als auch bei Interaktionseffekten (p=.003) bei einer Gruppengröße von 14 Personen. Die Merkmale erfüllen dabei jeweils Normalverteilungsannahme (kolmogorov etc..). Kann ich das dann so berichten oder hab ich da möglicherweise einen Methodenfehler/Fehlinterpretation drin?


Normalerweise braucht es kein warum, weil man sich das durch nachdenken auch einfach mal verdeutlich kann. Du braucht eine gewisse Anzahl von Beobachtungen, um überhaupt eine Verteilung beschreiben zu können. Diese wird durch den zentralen Grenzwertsatz bei der Normalverteilung determiniert. Du kannst auch mit nur 5 Beobachtungen versuchen eine Normalverteilung dazurstellen, was dir, wenn du es mal aufmalen willst, höchstwahrscheinklich nicht gelingen wird.
Was dir ein ökonometrischer Test dann sagt, ist irrelevant, weil du schon die Vorraussetzungen nicht erfüllst.
DHA3000
Elite
Elite
 
Beiträge: 478
Registriert: So 8. Jul 2012, 15:08
Danke gegeben: 0
Danke bekommen: 62 mal in 62 Posts

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon joost » Fr 31. Jul 2015, 17:10

Danke zunächst für die schnelle Antwort :!:

Du kannst auch mit nur 5 Beobachtungen versuchen eine Normalverteilung dazurstellen, was dir, wenn du es mal aufmalen willst, höchstwahrscheinklich nicht gelingen wird.

ok, ich habe aber, wie bereits erwähnt, 14, nicht 5. Und sie scheinen normalverteilt zu sein. Das wäre die Voraussetzung, richtig?
Kann ich trotzdem weitermachen, obwohl diese "magische "Grenze von 30 nicht erreicht ist?
Wer legt die genau fest?
Oder anders: ich weiss jetzt gar nicht so recht, was ich mit der Antwort anfangen soll :(
joost
User
User
 
Beiträge: 35
Registriert: Mi 6. Aug 2014, 21:38
Danke gegeben: 15
Danke bekommen: 1 mal in 1 Post

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon PonderStibbons » Fr 31. Jul 2015, 20:37

Nun, ich habe sowohl sig Effekte bei den Haupteffekten (p<.000) als auch bei Interaktionseffekten (p=.003) bei einer Gruppengröße von 14 Personen.

Wieviele Gruppen sind es den, wie groß ist n(Gesamt)?

Die Merkmale erfüllen dabei jeweils Normalverteilungsannahme (kolmogorov etc..).

Das kann man bei n=14 nicht mit ausreichender power testen.

Zweitens: Ich teste 5 AV auf direkte und Interaktionseffekte; zum Teil einseitig, zur Erhöhung der Teststärke,

Einseitig ist keine gute Idee. http://www.uni-graz.at/ilona.papousek/t ... s/faq.html FAQ #3

und Popper dreht sich im Grabe um?

Der hat mit diesem unserem ganzen Nullhypothesentestquatsch
nichts zu tun. Gut für ihn.

Mir ist klar: je sep. AV 1x berücksichtigen. Wenn ich aber Haupteffekte UND Interaktionseffekte auf EINE AV teste, muss ich dort bereits auf Kumulation achten?

Das ist nicht üblich.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11270
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2476 mal in 2460 Posts

folgende User möchten sich bei PonderStibbons bedanken:
joost

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon joost » Fr 31. Jul 2015, 21:02

Einseitig ist keine gute Idee. http://www.uni-graz.at/ilona.papousek/t ... s/faq.html FAQ #3
Gold wert! Danke!
Wieviele Gruppen sind es den, wie groß ist n(Gesamt)?
2 Gruppen, N= 14 und 15, insgesamt also 29


Das kann man bei n=14 nicht mit ausreichender power testen

seufz. Ja was berichte ich denn dann da?
joost
User
User
 
Beiträge: 35
Registriert: Mi 6. Aug 2014, 21:38
Danke gegeben: 15
Danke bekommen: 1 mal in 1 Post

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon PonderStibbons » Fr 31. Jul 2015, 21:41

Du kannst die Residuen des Modells testen, das ist bei n=29 schon eher aussagekräftig.
Und schau Dir Q-Q plots an. ANOVAs gelten als einigermaßen robust gegen nonnormale
Verteilungen, solange es nicht extrem wird, sollte das reichen.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11270
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2476 mal in 2460 Posts

folgende User möchten sich bei PonderStibbons bedanken:
joost

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon joost » Mo 3. Aug 2015, 08:14

Du kannst die Residuen des Modells testen,

*erröt*
da fehlt mir jetzt die Theorie UND Praxis;
Wie mache ich das und wie berichte ich das?

Q-Q-Plots kenne ich hingegen. Wenigstens :|

Und was ich wohl noch nicht richtig verstanden haben:
Die Alpha-Fehlerkumulierung entsteht durch Testung mehrerer AVs. Was ist jedoch, wenn ich gleiche AVs mehrmals teste - einmal mit Intervention A, dann mit Intervention B und dann mit a priori-Kontrasten mit beiden?
Ich kann einseitiges Testen übrigens begründen; eine der Interventionen hat ihre Wrkung bereits gezeigt, die zweite soll nur auf gleiche oder stärkere Wirkung getestet werden.
joost
User
User
 
Beiträge: 35
Registriert: Mi 6. Aug 2014, 21:38
Danke gegeben: 15
Danke bekommen: 1 mal in 1 Post

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon PonderStibbons » Mo 3. Aug 2015, 11:55

Deine Software dürfte in der Lage sein, die Residuen Deiner jeweiligen Modelle
abzuspeichern. Diese lassen sich dann mittels Q-Q-plots bzw. wenn es denn sein
muss Normalverteilungs-Tests analysieren.

Die Alpha-Fehlerkumulierung entsteht durch Testung mehrerer AVs. Was ist jedoch, wenn ich gleiche AVs mehrmals teste - einmal mit Intervention A, dann mit Intervention B und dann mit a priori-Kontrasten mit beiden?

Ich kann mir Deine Auswertungsstrategie leider nicht stimmig vor Augen führen.
Falls Du in Deiner Studie sehr viele Tests durchführst, kommt zur Absicherung
vielleict enfach ein konservativeres Signifikanzniveau (p < 0,01) in Betracht.
Ich kann einseitiges Testen übrigens begründen; eine der Interventionen hat ihre Wrkung bereits gezeigt, die zweite soll nur auf gleiche oder stärkere Wirkung getestet werden.

Es ist nicht von vornherein ausgeschlossen, dass die Intervention
in unerwartete Richtung einen Unterschied zeigt. Sowas nachweisen zu
können von vonherein auszuschließen, klingt nicht überzeugend.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11270
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2476 mal in 2460 Posts

Re: Methoden und Argumentationen bei kleiner Stichprobe

Beitragvon joost » Mo 3. Aug 2015, 17:23

Es ist nicht von vornherein ausgeschlossen, dass die Intervention
in unerwartete Richtung einen Unterschied zeigt.

okok - ich hab gerichtete Hypothesen mit einseitigem Testen zusammengeworfen - geht mir nicht allein so, wenn ich ein wenig im Forum stöbere :)

Dankeschön - ich lerne hier gerade sehr viel :)
joost
User
User
 
Beiträge: 35
Registriert: Mi 6. Aug 2014, 21:38
Danke gegeben: 15
Danke bekommen: 1 mal in 1 Post


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 15 Gäste