Nachträgliche Power Analyse

Nachträgliche Power Analyse

Beitragvon maxmrx » Di 15. Mär 2022, 21:39

Liebes Forum.

Ich habe einen zwei Stichproben T-Test durchgeführt, mit Daten, die ich nicht selbst erhoben habe, sondern, die in meinem Forschungsprozess aufgetaucht sind, bzw. die ich aus Archivmaterialien gewonnen habe. Die Gruppen sind unterschiedlich groß.

Das Ergebnis des T Tests war, dass die Mittelwertsdifferenz zwischen beiden Gruppen nicht signifikant ist. Jetzt möchte ich noch eine Post Hoc Poweranalyse durchführen, um den Beta Fehler auschließen zu können. Der Einfachheit halber beschreibe ich mein Vorgehen nur für einen einseitigen Test.

Die Formel von Welch T-Test ist ja . Daher habe ich umgeformt.

Diesen Wert, von habe ich dann genommen und folgendermaßen umgebaut um auf die Power zu kommen.

Daraus habe ich die Powerfunktion gebildet.

Das ganze habe ich dann in Excel gepackt und geschaut, wo ich eben Power .80 erreiche.

Bei diesem Vorgehen habe ich mich an diesem Beipiel orientiert:

https://online.stat.psu.edu/stat415/lesson/25/25.2

Allerdings handelt es sich bei dem dort aufgezeigten Vorgehen um einen Z-Test. Ein ähnliches Vorgehen habe ich auch bei Ludwig Fahrmeir et al.:
Statistik. Weg zur Datenanalyse. München 2007, S. 422 gefunden, allerdings hier auch für eine Gaußverteilung.

Daher meine Frage: Kann ich das so machen? Ist dieses Vorgehen so von der Gaußverteilung auf einen zwei Stichproben T-Test übertragbar? Ich wäre für jede Hilfe wirklich dankbar und hoffe sehr, dass ich alle Informationen gegeben habe, um mein Problem zu beschreiben.

Einen schönen Abend und vielen Dank,
Max

Nachtrag:

Titel von post hoc zu Nachträglich geändert.

Formeln: ersetzt.
maxmrx
Beobachter
Beobachter
 
Beiträge: 10
Registriert: Do 18. Jun 2020, 22:04
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Re: Nachträgliche Power Analyse

Beitragvon strukturmarionette » Mi 16. Mär 2022, 08:36

Hi,

- wie lautet dein Befund aus Excel zwecks Ausschließen des Beta-Fehlers?
- n1?
- n2?

Gruß
S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 4313
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 32
Danke bekommen: 582 mal in 579 Posts

folgende User möchten sich bei strukturmarionette bedanken:
maxmrx

Re: Nachträgliche Power Analyse

Beitragvon maxmrx » Mi 16. Mär 2022, 10:25

Hallo strukturmarionette,

vielen Dank für die Unterstützung.


strukturmarionette hat geschrieben:- wie lautet dein Befund aus Excel zwecks Ausschließen des Beta-Fehlers?
- n1?
- n2?


Ich kopiere hier das Ergebnis des zweiseitigen Tests rein, leider kriege ich das mit der Tabelle nicht hin, daher so, gerundet auf drei Nachkommastellen.

Code: Alles auswählen
                  
                        Group 1   Group 2
Mean                1946,256     1946,118
Variance                18,539     16,349
Observations         82            34
df                        65   
t Stat                0,165   
P(T<=t) two-tail      0,87   
t Critical two-tail    1,997   


Das Ergebnis meiner Analyse war, dass ich eine Power von .80 ab einer Mittelwertsdifferenz von 2.3 < x < 2.4 erreiche.

Ich würde gerne die Datei oder zumindest ein Foto der Gütefunktion hochladen, aber irgendwie geht das nicht. Die Gütefunktion tut aber was sie soll. Bei einer Mittelwertsdifferenz von Null ist die Power gleich Alpha. Und sie ist asymptotisch bei 1.

Besten Dank!
M.



Anhang: Die Daten zur Gütefunktion.
Code: Alles auswählen
Differenz / Power
0     0,05
0,1   0,05150679
0,2   0,056048691
0,3   0,063687674
0,4   0,074518452
0,5   0,088656158
0,6   0,106220165
0,7   0,127315121
0,8   0,15201052
0,9   0,180320399
1   0,212184819
1,1   0,247454847
1,2   0,28588258
1,3   0,327117454
1,4   0,370709615
1,5   0,416120523
1,6   0,462740343
1,7   0,509910996
1,8   0,556953205
1,9   0,603195478
2   0,648002766
2,1   0,690802614
2,2   0,731106884
2,3   0,768527623
2,4   0,802786244
2,5   0,833715829
2,6   0,861256993
2,7   0,885448258
2,8   0,906412231
2,9   0,924339101
3   0,939468943
3,1   0,952074225
3,2   0,962443622
3,3   0,970867987
3,4   0,977628944
3,5   0,982990314
3,6   0,987192285
3,7   0,990448082
3,8   0,992942725
3,9   0,994833458
4   0,996251366
maxmrx
Beobachter
Beobachter
 
Beiträge: 10
Registriert: Do 18. Jun 2020, 22:04
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Re: Nachträgliche Power Analyse

Beitragvon strukturmarionette » Do 17. Mär 2022, 07:18

Hi,

- sorry, für mich ist das nicht nachvollziehbar, es lesen aber viele andere mit

Gruß
S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 4313
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 32
Danke bekommen: 582 mal in 579 Posts

Re: Nachträgliche Power Analyse

Beitragvon PonderStibbons » Do 17. Mär 2022, 08:35

Die Mittelwertdifferenz beträgt ca. 0,13 bei einer gepoolten Standardabweichung von über 4
und df=65. Da würde ich mir über einen Beta-Fehler sicher keine Gedanken machen. Aber warum
wurden von 126 Beobachtungen nur 67 in den Test einbezogen?

Man kann power-Analysen für den t-Test recht online durchführen https://duckduckgo.com/?q=power+analysi ... 7-1&ia=web .
Im Folgenden verwendet: https://www.statskingdom.com/32test_power_t_z.html

Eine power von 0,80 würde z.B. mit df=65 und gleichen Stichprobengrößen bei einer standardisierten
Mittelwertdifferenz d=0,7 erreicht, das wäre hier ungefähr eine Differenz von 3 Punkten.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11251
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2469 mal in 2453 Posts

folgende User möchten sich bei PonderStibbons bedanken:
maxmrx

Re: Nachträgliche Power Analyse

Beitragvon maxmrx » Do 17. Mär 2022, 10:08

Guten Morgen,

danke erstmal, für die Zeit und Mühe, die hier meinem Problem gewidmet wird.

Der Link
ist tatsächlich genau das was ich gesucht habe. Vielen Dank dafür. Mein spezielles Problem konnte von Programmen wie G*Power nicht bearbeitet werden.



Tatsächlich komme ich mit dem Online Rechner auf eine grob gleiche Power wie mit Excel, ich denke der Unterschied erklärt sich vor allem dadurch, dass ich anstelle der non-zentrale Verteilung , die reguläre T-Verteilung hergenommen habe, was mir eben erst aufgefallen ist. Weiterhin sehe ich, dass es wohl nicht ohne Weiteres möglich ist, eine nonzentrale Verteilung in Excel zu nutzen.

Aber warum wurden von 126 Beobachtungen nur 67 in den Test einbezogen?


Ich habe das in Excel mit dem ungepaarten T-Test bei ungleicher Varianz ausgeführt. Ich habe das ehrlich gesagt nicht weiter geprüft wie das Programm auf die Freiheitsgrade kam. Ist das fehleranfällig? Bzw, der zitierte Kommentar/Frage bezog sich auf die Freiheitsgrade?


Vielen Dank,
Beste Grüße,
Max


Nachtrag: Diese Website ist ja der Hammer, habe sie mir jetzt mal genauer angeschaut.
maxmrx
Beobachter
Beobachter
 
Beiträge: 10
Registriert: Do 18. Jun 2020, 22:04
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post

Re: Nachträgliche Power Analyse

Beitragvon PonderStibbons » Do 17. Mär 2022, 11:02

Die Freiheitsgrade errechnen sich bei einem ungepaarten t-Test durch n-2.
Daraus ergibt sich, dass nur 67 von 126 observations analysiert wurden.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11251
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 50
Danke bekommen: 2469 mal in 2453 Posts

Re: Nachträgliche Power Analyse

Beitragvon maxmrx » Do 17. Mär 2022, 11:22

Vielen Dank und schönen Tag!
maxmrx
Beobachter
Beobachter
 
Beiträge: 10
Registriert: Do 18. Jun 2020, 22:04
Danke gegeben: 6
Danke bekommen: 0 mal in 0 Post


Zurück zu t-Test

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste