ICC Verggleich

ICC Verggleich

Beitragvon Hanibal » Mo 11. Mai 2020, 00:44

Hallo, danke für eure Zeit!

Ich habe den ICC [2,1] einer Bewertungsskala von Studien ausgerechnet. Nun wollte ich fragen ob ich diesen mit den ICC [2,1] Werten aus bereits existierenden Studien vergleichen kann. Ich dachte an einen z- oder t-Test.
Ist dies möglich? Ziel wäre zu schauen ob die Werte differenzieren, die ich gefunden habe.
Hanibal
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: So 10. Mai 2020, 11:38
Danke gegeben: 3
Danke bekommen: 0 mal in 0 Post

Re: ICC Vergleich

Beitragvon PonderStibbons » Mo 11. Mai 2020, 08:20

Wozu einen Test? Du willst Qualitätsmerkmale von einzelnen Studien vergleichen,
nicht Aussagen über Grundgesamtheiten treffen.

Mit feundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 8771
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 28
Danke bekommen: 1829 mal in 1816 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Hanibal

Re: ICC Verggleich

Beitragvon bele » Mo 11. Mai 2020, 11:27

Hallo PonderStibbons,

ich finde die Idee eines Tests von ICC so abwegig nicht. Wenn ich die Sprachentwicklung von Kindern in der einen Studie von Müttern beurteilen lasse und in der anderen Studie von Pädagogen, dann kann man doch die Frage stellen, ob Mütter (als Grundgesamtheit) mit einer höheren Übereinstimmung beurteilen als Pädagogen (als Grundgesamtheit).

Der Anleitung zu einem Zusatzpaket zu R entnehme ich folgendes Zitat:
The results for the Lower and Upper Bounds for ICC(2,k) do not match those of SPSS 9 or 10, but do match the definitions of Shrout and Fleiss. SPSS seems to have been using the formula in McGraw and Wong, but not the errata on p 390. They seem to have fixed it in more recent releases (15).

Starting with psych 1.4.2, the confidence intervals are based upon (1-alpha)% at both tails of the confidence interval. This is in agreement with Shrout and Fleiss. Prior to 1.4.2 the confidence intervals were (1-alpha/2)%

http://personality-project.org/r/html/ICC.html

Demnach halten schlaue Leute die Idee von 95%-Konfidenzintervallen für ICC für sinnvoll und damit gehen sie wohl davon aus, dass ICC nicht nur einzelne Studien beschreiben, sondern auch Stichproben aus Grundgesamtheiten darstellen.

Liege ich da falsch?

An Hannibal wäre dann die Frage zu richten, ob die anderen Studien den zu vergleichenden ICC nur als Punktschätzung oder mit Unsicherheitsangaben berichten.


LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 3908
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 10
Danke bekommen: 828 mal in 818 Posts

folgende User möchten sich bei bele bedanken:
Hanibal

Re: ICC Verggleich

Beitragvon strukturmarionette » Mo 11. Mai 2020, 11:52

Hi,

Ist dies möglich?

- Meine Spekulation wäre, dass du Dich mit MetaAnalysen beschäftigst?

Gruß
S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 3842
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 31
Danke bekommen: 524 mal in 521 Posts

folgende User möchten sich bei strukturmarionette bedanken:
Hanibal

Re: ICC Verggleich

Beitragvon Hanibal » Mo 11. Mai 2020, 18:01

Hallo zusammen, danke für eure Rückmeldungen!

Ein Ziel meiner Arbeit wäre es einen Aspekt der Inter-Rater-Reliabilität (ICC 2,1 mit CI95) einer Stichprobe aus Masterstudenten, die mithilfe der PEDro-Skala RCT-Studien werten, mit den ICC 2,1 Werten von Experten, die ebenfalls mit CI 95 hinterlegt sind, zu vergleichen.

Die ICC sind folgendermassen aufgebaut:

jeder Rater rated jedes RCT
randomisierte Rater
Einzelwert

-> Shrout and Fleiss ICC 2,1

Da es sich beides um Stichproben der Grundgesamtheit handelt dachte ich, dass ein t-Test vielleicht möglich wäre oder ist das völlig abwegig oder würdet ihr nur die beiden ICC CI 95 auf "Schneidung" anschauen oder anhand der ICC-Wertung von Fleiss bewerten?

H0 Keine Differenz zw ICC
H1 Differenz

- alpha Wert 0.05 oder 0.01
Hanibal
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: So 10. Mai 2020, 11:38
Danke gegeben: 3
Danke bekommen: 0 mal in 0 Post


Zurück zu Reliabilitätsanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste