STATISTIK-FORUM.de

[BKordy]

Hallo,

in der betrachteten Untersuchung geht es um die Evaluation eines Trainings. Es findet sich eine sehr kleine Sichprobengröße von n=11. Es wurden verschiedene nicht-parametrische Tests (Wilcoxon, Friedman, Mann-Whitney) mit teils statistisch bedeutsamen Ergebnissen auf einem Signifikanzniveau von .005 durchgeführt.
Aufgrund der kleinen Stichprobe und der damit verbundenen Gefahr einen beta-Fehler zu begehen, erscheint es trotzdem gerechtfertigt das Signifikanzniveau alternativ festzulegen. Was haltet ihr grundsätzlich von der Idee und welcher Wert erscheint in diesem Kontext als vernünftig?

Beste Grüße

BKordy

[PonderStibbons]

Aufgrund der kleinen Stichprobe und der damit verbundenen Gefahr einen beta-Fehler zu begehen, erscheint es trotzdem gerechtfertigt das Signifikanzniveau alternativ festzulegen.

Das ist für sich genommen kein stichhaltiges Argument.

Man stelle sich vor, mit dieser Überlegung würde ein Pharmahersteller
das Signifikanzniveau seiner Zulassungsstudie ändern wollen, weil er
keine ausreichende Rekrutierung hinbekommen hat.

Allenfalls wenn ein beta-Fehler sehr erhebliche Konsequenzen hätte
(es sozusagen um Leben und Tod geht) könnte man sich eventuell der
Überlegung anschließen. Aber es scheint sich hier um eine in der
Praxis nicht ganz so dramatische Angelegenheit zu handeln.

Ohndies wäre

Es wurden verschiedene nicht-parametrische Tests
(Wilcoxon, Friedman, Mann-Whitney) (...) durchgeführt.

ohne alpha-Korrektur bereits ein Zugeständnis an die
Aufrechterhaltung eine mindest-Power.

Mit freundlichen Grüßen

P.


Darüber hinaus

[BKordy]

Zunächst einmal Danke ich dir für die schnelle Antwort!
Es geht nicht wirklich um Leben und Tod Jedoch ist das Szenario "weil er keine ausreichende Rekrutierung hinbekommen hat" sicherlich auch kein passendes Argument...
Wir bewegen uns im Rahmen der Auftragsforschung mit einer gegebenen Stichprobengröße, die halt einfach sehr klein ist...
Ich denke, inhaltlich ist es durchaus diskutabel für einen p-Wert von beispielsweise .06 und einer Stichprobe von N=11 zu überlegen, ob ein Signifikanzniveau von .10 nicht sinnvoller erscheint als im Ergebnisteil undifferenziert von "nicht signifikant" zu berichten... Ich würde dazu tendieren beides aufzuführen. Es gibt ja ganze Bücher die sich mit der Problematik kleiner Stichproben auseinandersetzen und hier findet sich oftmals der Verweis des "Abwägens" aufgrund "spezifischer Rahmenbedingungen"... In jedem Fall mathematischer Humbug?

[bele]

Hi BKordy,

nein, kein mathematischer Humbug, sondern eine Frage der Fragestellung. Alpha immer mit 0.05 anzunehmen ist Humbug. Eigentlich müsste man jedes Mal die Frage stellen, wie schlimm ist es, einen Fehler erster Art und wie schlimm ist es, einen Fehler zweiter Art zu machen und danach dann Alpha adjustieren. Das öffnet aber der Manipulation Tür und Tor und deshalb hat man sich auf 0.05 irgendwie geeinigt, wahrscheinlich weil wir 5 Finger haben. Alles andere steht in dem Ruf, unseriös zu sein.
Mein Rat: Behalte alpha = 0.05 bei, damit man Dich nicht für unseriös hält und benutze einen der etablierten wachsweichen Ausweichbegriffe wie "Pilotstudie", "grenzwertige Signifikanz" oder "Trend" zusammen mit einer zahlenmäßigen Nennung von p. Fordere im Diskussionsteil eine größere Stichprobenzahl um die Aufträge Deiner Auftragsforschung anzukurbeln und schau Dir dieses Video an, bevor Du über Deine p-Werte verzeifelst:
http://www.youtube.com/watch?v=ez4DgdurRPg

LG,
Bernhard