Ich muss eine Rasch-Analyse für einen Test mit (zum Glück nur) 4 dichotomen Items durchführen. Ich wurde von der Uni damit aber ziemlich im Stich gelassen. Sie haben kein Programm für mich und somit musste ich mir jetzt ein Freeware-Programm runterladen. Das hat aber kein Handbuch und keine Erklärung dabei und ich verstehe ein paar Dinge nicht. Vielleicht kann mir ja hier jemand helfen.
Hier der Output:
> CML (total sample): n=200
CML converged after 103 iterations (difficulties).
MLE converged after 43 iterations (abilities).
WLE converged after 28 iterations (abilities weighted).
> Results
Item n+ % CML S.E.
-------- ------- ------- ------- -------
1 103 51.5 -0.831 0.370 FM_1
2 92 46.0 0.240 0.340 FM_2
3 85 42.5 0.820 0.341 FM_3
4 97 48.5 -0.229 0.348 FM_4
-------- ------- ------- ------- -------
n+ sind die Personen, die das Item gelöst haben, CML die Itemschwierigkeit und S.E. der Standardfahler, soweit richtig oder? Was auffällt ist, dass das letzte Item das zweitleichteste ist.
Score n % ML S.E. WLE
-------- ------- ------- ------- ------- -------
0 86 43.0 . . -2.396
1 13 6.5 -1.189 1.193 -0.949
2 9 4.5 0.000 1.044 0.001
3 22 11.0 1.189 1.192 0.949
4 70 35.0 . . 2.366
-------- ------- ------- ------- ------- -------
Total 200 100.0
n=die Anzahl der Personen, die diesen Score erreicht haben; ML=Personenfähigkeit; WLE = gewichtete Personenfähigkeit (erwartungstreuere Schätzung des Personenparameters?)
-------------------------------------------------------------------------
> Model Fit Statistics
-------------------------------------------------------------------------
> Likelihood-based Fit-Indices
----------------------------------------------------
Log.Lik (cML): -56.94025663
Log.Lik (mML): -315.01289871
----------------------------------------------------
AIC: 644.03
BIC: 667.11
CAIC: 674.11
AICc: 644.46
----------------------------------------------------
Was sagt mir jetzt diese Tabelle? Das ist ja der Global Fit, nicht? Wie lese ich das aber ab? Log.Lik (cML) = Conditional Log-Likelihood. Ich habe Unmengen an Beschreibungen wie das hergeleitet wird usw. aber daraus kann ich als Mathe-Allergiker nicht gerade viel lernen. Bei den anderen Indices (BIC etc) gilt je kleiner der Wert, desto besserer Fit oder? Gelten diese Werte jetzt als groß?
Likelihood-ratio test against the saturated model
------------------------------------------------------
log.Lik. Rasch M.: -315.01 (npar= 7)
log.Lik. sat.Mod.: -296.45 (npar= 15)
------------------------------------------------------
Chi-Square: 37.13
df: 8
crit. Chi-Square (5%): 15.51
------------------------------------------------------
p: 0.000
Sign: *
------------------------------------------------------
Average response probability (geom.mean): 0.675
------------------------------------------------------
Die Signifikanz würde jetzt bedeuten, dass das Modell nicht gilt!? Das ist wie ich gelesen habe der Test, der am schnellsten signifikant wird. Das behalte ich jetzt mal im Kopf und gehe weiter zu den Item Fits.
> Item Fit Statistics
----------------------------------------------------------------------
Item 1 2 3 4
----------------------------------------------
Chi-Square (1) 4.720 3.908 0.195 15.658
p-value 0.094 0.142 0.907 0.000
p<=0.05 *
Chi-Square (2) 19.981 24.073 36.863 81.187
p-value 0.999 0.991 0.733 0.000
p<=0.05 *
Outfit-MSQ 0.454 0.547 0.838 1.845
t-value -2.560 -3.239 -0.766 3.755
|t|>2 * * *
Infit-MSQ 0.581 0.584 0.873 1.758
t-value -2.709 -3.263 -0.974 3.851
|t|>2 * * *
----------------------------------------------
Das weiß ich über diese Tabelle: was der Infit und der Outfit sind habe ich verstanden. Der Mean Square (MSQ) verrät mir, wieviel Misfit hier vorhanden ist und der t-Wert wie wahrscheinlich dieser Misfit ist, nicht? |t|>2 ist jetzt genau was? Das Kriterium ab wann ein Item nicht "fitted"? Das vierte Item fällt hier wieder aus der Reihe. Wie würde man das interpretieren? ISt sozusagen ein negativer t-Wert gut, da die Wahrscheinlichkeit für den Misfit niedrig ist und ein positiver schlecht?
Und die Chi-Quadrat darüber sagen mir, dass das dritte Item keinen guten Fit hat, das vierte aber schon (das Sternchen ist beim 3. Item, leider verschiebt sich alles ein bisschen in der Vorschau)?
Notes:
-------------------------------------------------------------------------
* Chi-Square (1): Bock & Lieberman (1979)
cf. Embretson & Reise (2000; p.235)
* Chi-Square (2): Residual based
cf. Wright & Masters (1982, pp.98-101)
* Infit and Outfit mean square statistics are based on CML item parameter
estimates and the resulting person parameter estimates. Therefore, only
respondents with scores larger than 0 and smaller than k (no. of items)
are used for computation.
-------------------------------------------------------------------------
-------------------------------------------------------------------------
> Model tests
-------------------------------------------------------------------------
Zum LRT von Andersen: ich habe mal jetzt nach dem Geschlecht gesplittet, eigentlich müsste man nach so vielen Teilungskriterien wie möglich splitten, oder? Aber jetzt nur mal zum Verständnis:
--- Likelihood-Ratio-Test(s) I (Andersen, 1973) ---
-------------------------------------------------------------------------
Split by external criterion no 1: GENDER - Geschlecht
-------------------------------------------------------------------------
* Code for group 1: 1.0 (n=140)
* Code for group 2: 2.0 (n=60)
> CML (split group 1): n=140
CML converged after 91 iterations (difficulties).
MLE converged after 42 iterations (abilities).
WLE converged after 27 iterations (abilities weighted).
> CML (split group 2): n=60
CML converged after 151 iterations (difficulties).
MLE converged after 46 iterations (abilities).
WLE converged after 33 iterations (abilities weighted).
Frequencies and estimates
---------------------------------------------------------------------------------------------- --------
Total Grp 1 Grp 2 Fischer-
--------------------- --------------------- --------------------- Scheiblechner
Item n+ % Est. n+ % Est. n+ % Est. z-value Variable
------- --------------------- --------------------- --------------------- -------------- --------
1 103 51.5 -0.831 72 51.4 -0.754 31 51.7 -1.081 0.369 FFTM_1
2 92 46.0 0.240 65 46.4 0.147 27 45.0 0.511 -0.469 FFTM_2
3 85 42.5 0.820 60 42.9 0.711 25 41.7 1.168 -0.575 FFTM_3
4 97 48.5 -0.229 67 47.9 -0.104 30 50.0 -0.597 0.599 FFTM_4
------- --------------------- --------------------- --------------------- -------------- --------
Total 200 140 60
Score n % Est. n % Est. n % Est. Diff
------- --------------------- --------------------- --------------------- --------------
0 86 43.0 . 59 42.1 . 27 45.0 . .
1 13 6.5 -1.189 11 7.9 -1.166 2 3.3 -1.293 0.127
2 9 4.5 0.000 5 3.6 0.001 4 6.7 -0.005 0.006
3 22 11.0 1.189 17 12.1 1.167 5 8.3 1.291 -0.125
4 70 35.0 . 48 34.3 . 22 36.7 . .
------- --------------------- --------------------- --------------------- --------------
Total 200 100.0 140 100.0 60 100.0
------- --------------------- --------------------- ---------------------
Iter. 103 27 33
log.L. -56.9402566345 -43.3831999043 -12.9489904310
------- --------------------- --------------------- ---------------------
Model tests (GENDER - Geschlecht)
-------------------------------------
LRT Chi-Square: 1.216
df: 3
crit. Chi-Sq. (5%): 7.815
-------------------------------------
Sign.: -
p: 0.749
-------------------------------------
Nicht signifikantes Ergebnis bedeutet die Alternativhypothese wird verworfen bedeutet Modell gilt, oder?
Ich hoffe mir kann da jemand helfen! Bitte danke!
PS: Ich wäre dringend auf der Suche nach Literatur die mir die Rasch-Analyse praktisch näherbringt und mich nicht nur mit Formeln überhäuft. Wäre sehr dankbar für Tipps! =)
