STATISTIK-FORUM.de

[Wiwi2000]

Hallo zusammen und guten Abend,

ich bin gerade an der Auswertung eines Datensatzes und es geht mir weniger um eine statistische als vielmehr um eine "politische" Frage.

Zunächst habe ich eine Prüfung auf Non-Reponse-Bias durchgeführt, indem ich Früh- mit Spätantwortern vergleichen habe. (Ja, es gibt andere Methoden, aber diese ist durch den Professor vorgeschrieben.)
Nun frage ich mich folgendes: Zu einem Signifikanzniveau von p<0.05 liegen keine signifikanten Unterschiede vor - ergo: Kein Nonreponse-Bias.
Bei einem Signifikanzniveau von p<0.1 hingegen schon.

Wenn ich nun einen NRB auf Basis von p<0.05 ausschließe, ist es dann vertretbar, bei der eigentlichen Untersuchung noch Werte bis p<0.1 für (marginal) signifikant zu erklären? Oder sollte man in der gesamten Arbeit einheitliche Signifikanzgrenzen haben? In diesem Fall müsste ich ja auch beim NRB zu einem Niveau von p<0.1 prüfen, was dann letztlich dazu führen würde, dass ein NRB anzunehmen wäre.
(Am Ende soll der Beitrag veröffentlicht werden.)

Was meint Ihr?

Viele Grüße und besten Dank

Wiwi

[strukturmarionette]

Hi,

indem ich Früh- mit Spätantwortern vergleichen habe.

- Welches Design liegt zugrunde (Stichproben, Variablen)?
- Auf welche Signifikanztests beziehst du dich?

Gruß
S.

[Wiwi2000]

Hi,

danke für Deine Antwort. Habe den NRB über einen Vergleich der Mittelwerte der Früh- und Spätantworter getestet (T-Test).

Bei der Studie handelt sich um eine Erhebung unter Venture Capital Gebern. Abgefragt werden verschiedene psychologische Konstrukte. Die Ergebnisse werden im Rahmen einer Regressionsanalyse ausgewertet.

[PonderStibbons]

Der Stellenwert der Antwort auf die Frage, ob ein bias vorliegt, wird nicht ganz ersichtlich.
Einen Murks wie "marginal signifikant" sollte man tunlichst vermeiden. Stattdessen könnte
es sein, dass es sich um eine Prüfung einer relevanten Voraussetzung handelt und zugleich
die statistische power gering ist (in guter Tradition der hier Fragenden wurde die
Stichprobengröße nicht genannt), was unter Umständen eine Festlegung der Schwelle
auf 0,1 rechtfertigen könnte.

Mit freundlichen Grüßen

PonderStibbons

[Wiwi2000]

Die Frage ist interessanter als ich dachte... lerne gerade ordentlich dazu.

Wenn ich Dich also richtig verstanden habe, geht es bei der Frage, ob zwei Signifikanzniveaus zulässig sind einzig um die Power?

Mit G*Power habe ich ermittelt, dass die erforderliche Stichprobengröße (für die Regression) bei 95 liegen muss (für 80% Power). Tatsächliche habe ich 107 Beobachtungen. Die erforderliche Anzahl an Beobachtungen, um auf beim Mittelwertvergleich auf diesselbe Power zu kommen, sollte ja geringer sein.

Bedeutet das, wenn die Regression eine entsprechend geringe Power hat und der Mittelwertvergleich eine höhere, dass es dann durchaus möglich ist, zwei verschiedene Signifikanzniveaus anzulegen?

Also beispielsweise so (von der Idee her):

Power 80% --> bis p<=0.1 noch signifikant

Power 90% --> bis p<=0.05 noch signifikant

Power 95% --> bis p<=0.01 noch signifikant

Habe ich das richtig verstanden?

Viele Grüße
Wiwi

[PonderStibbons]

Wenn ich Dich also richtig verstanden habe, geht es bei der Frage, ob zwei Signifikanzniveaus zulässig sind einzig um die Power?

Da hast Du mich falsch verstanden. Es geht erstmal um die Entscheidung, die getroffen
werden soll. Bei der Testung von Voraussetzungen für eine Analyse kann es der Fall
sein, dass man zugunsten geringerer Fehlerrisken 2. Art ein höheres Risiko für den
Fehler 1. Art in Kauf nimmt. Ein laxeres Signifikanzkriterium würde genau dies
nach sich ziehen. Über die Wichtigkeit der Testung des Response Bias für die Validität
der eigentlichen Studie weiß ich nichts, weswegen ich auch nicht beurteilen kann,
welcher Fall hier vorliegt.