STATISTIK-FORUM.de

[Hanno]

Hallo,
Ich würde gerne Geschäftspläne von Start-Ups durch Studenten der BWL bewerten lassen. Ich strebe an, dass circa 100 Businesspläne bewertet werden, jedoch nicht alle von den gleichen Codierern.
Ich schätze, dass ein Codierer aus zeitlichen Restriktionen höchstens 5 Geschäftspläne codieren kann.

Das bedeutet, dass ich mindestens 40 Codierer benötige, wenn 5 Businesspläne immer von 2 Codierern codiert werden sollen (um eine Intercoder-Reliabilität errechnen zu können).

Jetzt stellt sich für mich die entscheidende Frage ob es ein Verfahren gibt, das nicht nur die Intercoder-Reliabilität zwischen zwei Codierern (die jeweils 5 Businesspläne codiert haben) berechnet,
sondern auch die Ergebnisse von allen Codierer-Paaren in ein Verhältnis setzt, so dass man allgemeingültige Aussagen treffen kann. Z.B. Wenn ein Start-Up von einem Studenten als investmenttauglich beurteilt, finden schneller eine Finanzierung als Start-Ups die nicht als investmenttauglich angesehen werden(tatsächliche Finanzierungsdaten sind vorhanden).

Ich hoffe ich konnte mein Anliegen beschreiben, falls nicht gerne Anmerkungen und ich versuche es genauer zu erläutern...

[Hanno]

Auch die Aussage ob ich vollkommen auf dem Holzweg bin würde helfen. Mir ist bewusst, dass man eigentlich ab 30 Fällen pro Gruppe erst davon ausgeht, dass Effekte deutlich werden. Bei mir gibt es halt das Problem, dass einzelne Personen nicht 30 Businesspläne Bewerten / codieren werden können.

Bin über jeden Tipp dankbar

Hanno

[PonderStibbons]

Am simpelsten wäre es, die paarweisen Bewertungen geeignet aggregieren
und damit weiterzuarbeiten, und zusätzlich die Interrater-Reliabilitäten zu
analysieren und zu diskutieren.

Mit freundlichen Grüßen

P.