STATISTIK-FORUM.de

[Sternschnuppe]

Hallo an alle,

ich habe eine Frage zur Teststärkeberechnung und zwar habe ich mithilfe der SPSS die Teststärke berechnet, die sich als unzureichend erwiesen hat, nachdem ich von 80% ausgegangen bin. Deswegen habe ich im GPower mit der Berücksichtigung von Korrelationen eine bessere Teststärke berechnet. Da ich aber im Buch von Rasch et al. gelesen habe ich werde lieber zitieren:
,,Obwohl bei G*Power die Eingabeoption für das partielle Eta Quadrat besteht, ist es nicht zulässig, hier die empirische Effektstärke einer messwiederholten Varianzanalyse einzutragen und die Teststärke zu berechnen. G*Power geht davon aus, dass das partielle Eta-Quadrat keine Abhängigkeit der Daten enthält, und kommt somit zu einem falschen Ergebnis für die Teststärke. Sie können es gerne einmal ausprobieren. (In Rasch, Friese, Hofmann & Naumann (2010). Quantitative Methoden. Band 2 (3. Auflage). Heidelberg: Springer. S. 7)".
Wer kann mir helfen?

Danke im Voraus

[PonderStibbons]

Helfen wobei? Du hast kein Anliegen formuliert. Und was das eigentlich für eine Studie bzw. was das für eine Analyse ist. Und SPSS berechnet Teststärken?

Gruß

P.
---
Gottseidank...Kanon für 36

[Sternschnuppe]

Hallo,
du hast Recht, irgendwie war ich gestern beim Schreiben nicht ganz dabei.
Die zweifaktorielle Varianzanalyse mit Messwiederholung (gemischtes Design) ist ein Teil meiner Dissertation (Psychologie, randomisierte Studie). Ich habe zwei Haupteffekte, wobei auf das Haupteffekt gehe ich nicht näher ein, mich interessiert das Haupteffekt A, d.h. ob sich in von mir neu konstruiertem Beziehungsfragebogen - BZF am Ende der Therapie was verändert im Vergleich zum Anfang und vor allem die Interaktion, d.h. ob meine Unabhängigen Variablen - UV miteinander interagieren.
Das Haupteffekt A heißt Messwiederholung (prä/post)
Das Haupteffekt B heißt Studie (MITT/KVT), es sind zwei Therapieformen, mit denen man die sekundäre Traumatisierungen behandelt
Die Wechselwirkung (prä/post x MITT/KVT)
Ich schreibe noch was zu dem BZF.
Der Bogen enthält 18 Items, die drei mal beantwortet werden:
S1-im Bezug auf unterstützende Person
S2-im Bezug auf nicht traumabezogene Person
S3-im Bezug auf Täter
Also insgesamt enthält der Fragebogen 54 Items mit vier Subskalen:
K-enthält 8 Items
R-enthält 3 Items
D-enthält 3 Items
A-enthält 4 Items
Vor der VA habe ich die Faktorenanalyse berechnet, exploratorisch, wie auch konfirmatorisch. Das nur am Rande, damit es vielleicht übersichtlicher wird.
Und was ist eigentlich mein Anliegen?
Bei der VA-Berechnung habe ich mich wie gesagt auf Haupteffekt A und die Wechselwirkung fokussiert, getrennt für jede Subskala und drei Situationen, damit ich später mit den schon standardisierten Fragebogen die Korrelationen berechnen kann.
Beim Messwiederholungseffekt sind die Ergebnisse
der S1 bei drei Subskalen K;R und D signifikant gewesen, außer bei A, wo nach der Bonferroni - Holm Korrektur das Ergebnis nicht mehr signifikant war.
Alle 4 Subskalen wiesen kleine bis sehr große Effekte auf.
Die Teststärke (beobachtete Schärfe) war bei Subskalen R und D ausreichend (über 80%), bei den K und A nicht (unter 80%). Bühner und Ziegler (2009) empfehlen die Berechnung der Teststärke mithilfe GPower aufgrund der exakteren Ergebnisse, die auch die mittlere Korrelationen zwischen den Messzeitpunkten berücksichtigt. Aus diesem Grund habe ich für die beiden Subskalen mithilfe der GPower die ausreichenden Teststärken berechnet.

Da ich aber im Buch von Rasch et al. (2010) das da gelesen habe und ich zitiere genau:
,,Obwohl bei G*Power die Eingabeoption für das partielle Eta Quadrat besteht, ist es nicht zulässig, hier die empirische Effektstärke einer messwiederholten Varianzanalyse einzutragen und die Teststärke zu berechnen. G*Power geht davon aus, dass das partielle Eta-Quadrat keine Abhängigkeit der Daten enthält, und kommt somit zu einem falschen Ergebnis für die Teststärke".
Deswegen bin ich mir jetzt unsicher, ob ich die berechnete Teststärke aus GPower mitberücksichtigen soll, oder ob ich einfach nur von der nicht ausreichenden Teststärke aus SPSS ausgehen soll?

Ich habe nur den Messwiederholungseffekt für S1 dargestellt. Ich habe genauso für S2 und S3 plus das gleiche für die Wechselwirkung berechnet.
Kann mir jemand sagen, welchen Weg ich wählen soll, bzw. ob es noch ne andere Alternative gibt?

Danke

[PonderStibbons]

Ich verstehe nicht ganz. Power-Berechnungen finden vor der Studie statt, was sollen denn Teststärkeberechnungen a posteriori für einen Sinn ergeben? IIRC beschreiben selbst die Autoren von G*power sowas als höchst fragwürdig. Sind an dem Lehrstuhl, wo Du das schreibst, solche ex post Betrachtungen denn obligatorisch? Oder anders gefragt, was willst Du an der Stelle denn klären bzw. darstellen?

Gruß

P.

[Sternschnuppe]

Da ich A priori meine Stichprobengröbe nicht berechnet habe, habe zumindest A posteriori geschaut, wie groß ist die Teststärke geworden, mit der die Effektgröße entdeckt war.
Laut D. Wentura (2004) wird bei der „Post hoc“-Analyse die Effektgröße, das gewählte Alpha-Niveau und das untersuchte N eingegeben; ausgegeben wird die Teststärke, mit der dieser Effekt bei diesem Alpha-Niveau und N entdeckt werden konnte.

Wie meinst du das, wenn du schreibst - IIRC beschreiben selbst die Autoren von G*power sowas als höchst fragwürdig. Warum ist es fragwürdig?
Würdest du an meiner Stelle also keine Teststärke mit G*Power berecvhnen? Das war ja meine ursprüngliche Frage, da ich mithilfe SPSS unzureichende Teststärke berechent hatte.

Danke für die Rückmeldung

[PonderStibbons]

Wie meinst du das, wenn du schreibst - IIRC beschreiben selbst die Autoren von G*power sowas als höchst fragwürdig. Warum ist es fragwürdig?

Deswegen:

Laut D. Wentura (2004) wird bei der „Post hoc“-Analyse die Effektgröße, das gewählte Alpha-Niveau und das untersuchte N eingegeben; ausgegeben wird die Teststärke, mit der dieser Effekt bei diesem Alpha-Niveau und N entdeckt werden konnte.

Die "Effektgröße" einer Studie ist nicht die eigentliche Effekt-Stärke, wie sie bei richtigen power-Analysen verwandt wird. Die letztere bezieht sich auf Grundgesamtheiten. Ein "Effekt" in einer Stichprobe setzt sich zusammen aus "echtem" Effekt (womöglich = 0) und Zufallsvariation. Deswegen macht man doch erst die ganze inferenzstatistische Testerei. Den zufallskontaminierten "Effekt" in einer Stichprobe ohne weiteres auszugeben als tatsächlichen Effekt (in der Grundgesamtheit) und damit eine irrelevante "power" zu berechnen, mutet an wie eine müßige Aktion ohne Sinn und Zweck. Aber da es immer wieder mal gemacht wird, gibt es vielleicht auch ein Argument dafür, ich kenne nur keins.

Gruß

P.