STATISTIK-FORUM.de

[neckarkind]

Hallo,
ich habe eine Frage zu ANCOVA.
Wir haben ein Experiment mit 2 Gruppen durchgeführt und anschließend eine ANCOVA gerechnet, um zu schauen, ob sich die AV zwischen den Gruppen unterscheidet.
Kovariat waren das Geschlecht der Probanden und deren politische Orientierung (PO).
Es wurde kritisiert, dass die PO in unserem Sample schief ist, da wir mehr linke als rechte Probanden haben. Es wurde vorgeschlagen, noch einmal nachzusampeln und gezielt poltisch rechts orientierte Menschen anzuwerben.
Die Kritik kann u.a. inhaltlich entkräftet werden. Zudem bringt eine Nacherhebung zu einem deutlich späteren Zeitpunkt & gezieltes oversampeln einer bestimmten Gruppe andere Probleme mit sich.
Ich habe jedoch auch den Tip bekommen, zu argumentieren, dass eine solche Veränderung im Kovariat vermutlich keine großen Änderungen im Ergebnis mit sich bringen würde, lediglich kleinere Standardfehler.
Derjenige wusste die genaue Begründung dazu jedoch auch nicht mehr.
Kann mir hier vielleicht jemand einen Tipp geben, wie ich das begründen könnte und/oder Literaturtipps dazu? Meine Recherche war bisher erfolglos....
Danke!
Viele Grüße

[strukturmarionette]

Hi,

Wir haben ein Experiment durchgefürt

- WelchenTyps?

mit 2 Gruppen

- welche denn?
- n1?, n2?

anschließend eine ANCOVA gerechnet

- ?

um zu schauen, ob sich die AV zwischen den Gruppen unterscheidet.

- Was ist AV?
- N?
- Zielpopulation?

Es wurde kritisiert

- wer und mit welcher Berechtigung und Motivation?

Gruß
S.

[neckarkind]

Hallo,
danke für die Antwort.
Es war ein Online-Experiment - die Fragen zu den Gruppen verstehe ich nicht. Die Personen sahen unterschiedliche Bilder in jeder der beiden Gruppe, nennen wir sie einfach g1 und g1.
Das Fragezeichen zur ANCOVA verstehe ich auch nicht.
AV ist die abhängige Variable, also hier: Die Gruppe, g1 vs. g2.
N = 170.
Wer und mit welcher Motivation kritisitert hat, spielt für meine Frage denke ich keine Rolle, aber es war ein Reviewer.
Viele Grüße

[PonderStibbons]

Zu wissen, wer den Einwand gebracht hat, ist schon relevant. Mit dem Betreuer einer Abschlussarbeit
kann man im Zweifel diskutieren, mit einem Reviewer in der Regel nicht.

Der Einwand des Reviewers ist auf der Basis der Angaben nicht recht nachvollziehbar. Wie sieht denn die
Verteilung der politischen Orientierung in der Stichprobe aus?

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hi!

Ich sehe das auch so, dass es relevant ist, mit wem man es zu tun hat. Abweichend von PonderStibbons Meinung würde ich aber durchaus mit dem Reviewer diskutieren. Natürlich immer freundlich, hart an der Sache und möglichst mit guten Belegen. Natürlich kann man an einen Reviewer geraten, der das nicht verträgt, dann muss man halt nach einem anderen Journal suchen, aber ich glaube das viele gar nicht so sind und die Reviewer Rolle mehr als die eines Helfers denn die eines Richters sehen.

Dieser Blogpost beginnt mit:

In your statistics class, your professor made a big deal about unequal sample sizes in one-way Analysis of Variance (ANOVA) for two reasons.

und vielleicht hat das der Professor Deines Reviewers auch getan.

So if you have equal variances in your groups and unequal sample sizes, no problem. If you have unequal variances and equal sample sizes, no problem.

Vielleicht macht es Sinn die Varianzen in Deinen Gruppen mal zu vergleichen und in der Erwiderung auf den Reviewer zu zitieren.

The statistical power of a hypothesis test that compares groups is highest when groups have equal sample sizes.

Power is based on the smallest sample size, so while it doesn’t hurt power to have more observations in the larger group, it doesn’t help either.

Der Eionwand von zu geringer Power ist dann relevant, wenn Deine ANOVA nicht signifikant wird. Wenn sie signifikant wird, dann entfällt dieser Kritikpunkt.

Freilich würde ich in so einer Situation nicht mit einem Blogpost argumentieren, sondern angemessene Literatur suchen. Diese Arbeiten habe ich nicht selbst gelesen, würde ich aber machen, wenn ich in Deiner Situation steckte:

• Shaw, R.G. and Mitchell-Olds, T. (1993), Anova for Unbalanced Data: An Overview. Ecology, 74: 1638-1645. https://doi.org/10.2307/1939922
  
• Hector, A., Von Felten, S. and Schmid, B. (2010), Analysis of variance with unbalanced data: an update for ecology & evolution. Journal of Animal Ecology, 79: 308-316. https://doi.org/10.1111/j.1365-2656.2009.01634.x

Bestimmt findet man auch mehr, wenn man sich etwas mehr Zeit für Literatursuche nimmt.

LG,
Bernhard

[PonderStibbons]

Ich sehe das auch so, dass es relevant ist, mit wem man es zu tun hat. Abweichend von PonderStibbons Meinung würde ich aber durchaus mit dem Reviewer diskutieren. Natürlich immer freundlich, hart an der Sache und möglichst mit guten Belegen. Natürlich kann man an einen Reviewer geraten, der das nicht verträgt, dann muss man halt nach einem anderen Journal suchen, aber ich glaube das viele gar nicht so sind und die Reviewer Rolle mehr als die eines Helfers denn die eines Richters sehen.

Das ist richtig und ich habe unpräzise formuliert. Man kann und darf seine Gegenargumente bringen, aber eine Diskussion im Sinne
eines Hin und Her ist technisch schwierig.

[bele]

So gelesen hast Du natürlich Recht. In der Regel wird man genau eine Chance auf eine Erwiderung haben.

[PonderStibbons]

@bele

Kann es sein, dass sich Deine Antwort weiter oben auf den thread Teststärke, Zweifaktorielle ANOVA, ungleiche Gruppen bezieht?

[neckarkind]

@ponderstibbons, strukturmarionette:
Stimmt, so macht die Frage natürlich Sinn. Die Forderung des Reviewers macht unsere Meinung nach bereits inhaltlich nicht so viel Sinn (da gehe ich hier nicht darauf ein).
Wir würden aber gerne noch eine statist. Begründung mitliefern, um unsere Argumente zu stärken. Insgesamt scheint es so, als wäre der Editor uns ganz gewogen und es kommt v.a. darauf an, unser Vorgehen gut zu 'verteidigen'.

@ponderstibbons: Unsere Stichprobe ist rechtschief (PO wird auf einer SKala von 1-12 gemessen mit 1 = extrem links, 12 = extrem rechts), d.h. wir haben mehr Teilnehmer,die sich links orientieren (MW = 4.37, Standardabweichung = 2.1). Kumulierte Prozent betragen beim Punkt 3 der Skala z.B. 41%.
Repräsentative Studien, die die PO messen, weißen jedoch auch eine rechtsschiefe Verteilung auf, nur weniger extrem.

Würde Boostrapping in diesem Fall helfen, das Vertrauen in die Analyse zu stärken?

[neckarkind]

@bele: Vielen Dank für die Antwort- wir haben jedoch keine ungleichen Gruppengrößen. Wenigstens das nicht