STATISTIK-FORUM.de

[mejorixxx]

Ich möchte ein Beurteilungsraster für die Bewertung von Präsentationen mithilfe des Content Validity Index (CVI) validieren. Dabei habe ich zwei Fragen dazu, welche Aspekte eines Rasters mit dem CVI überprüft werden können.

1. Auswahl der Beurteilungskriterien
Ich möchte Expertinnen und Experten zur Relevanz jedes einzelnen Beurteilungskriteriums befragen.
Beispielsweise: Wie relevant ist das Kriterium „Gestik“ für die Beurteilung und Förderung von Präsentationskompetenzen?

2. Angemessenheit bzw. Logik der Niveaustufen
In meinem Beurteilungsraster enthält jedes Kriterium drei Ausprägungsstufen (gut, durchschnittlich, schwach ausgeführt). Diese drei Stufen möchte ich ebenfalls durch Expertinnen und Experten validieren lassen. Dafür sehe ich zwei mögliche Vorgehensweisen:

Variante A: Ich lasse alle drei Stufen eines Kriteriums gemeinsam beurteilen (z. B. Inwieweit sind die drei Niveaustufen für das Kriterium „Gestik“ sinnvoll und angemessen formuliert?)

Variante B: Ich lasse jede Stufe eines Kriteriums einzeln beurteilen (z. B. Inwieweit ist die Formulierung der Stufe „gut“ beim Kriterium „Gestik“ sinnvoll?)

Wäre Variante A eine geeignete Vorgehensweise, um mein Beurteilungsraster mithilfe des CVI zu validieren?

Vielen Dank für eure Hilfe.

[PonderStibbons]

gut / durchschnittlich / schwach wird nicht weiter operationalisiert ("unterstreicht die meisten Aussagen mit Gesten;
Ausgangsposition der Hände in Bauchnabelhöhe; harmonisch und nicht übetrieben...") ?

Dass man eine handelsübliche Skala "gut / durchschnittlich / schwach" nochmal eigens durch Experten beurteilen lassen
sollte, wundert mich etwas. Solltest Du jede Stufe für sich beurteilen lassen, kannst Du hernach gezielter Änderungen
vornehmen als bei Beurteilung der gesamten Skala. In letzterem Fall weißt Du nicht, ob alle drei Stufen oder nur eine
eventuell auf Kritik stoßen.

Just my 2pence

PonderStibbons

[mejorixxx]

Danke für die Antwort.

Genau, die Niveaustufen "gut", "durchschnittlich" und "schwach" werden pro Kriterium einzeln ausformuliert.

In meinem Fall ist das Raster für eine Studie mit Hochschulstudierenden. Man muss dafür bestätigen können, dass das, was man beispielsweise als "guten" oder "mittleren" Gestikeinsatz anschliessend misst, auch tatsächlich so ist. Deshalb sollten auch die Abstufungen validiert werden.

Die Herausforderung in unserem Fall ist der Umfang: Wenn man 20 Kriterien à 3 Stufen hat, macht das also 60 einzelne Items.

Man man bei Content-Validiy-Index-Fragebogen auch manchmal sieht, ist, dass wenn jemand die zwei unteren Stufen ankreuzt (eher nicht relevant // nicht relevant), dass sie dann aufgefordert werden, dass zusätzliche Kommentarfeld zu nutzen, um den Entscheid zu begründen. Wenn man das so machen könnte, wäre es in unserem Fall super, weil es so ein effizientes Vorgehen ist. Allerdings sind wir eben unsicher, inwiefern das dann von Gutachter*innen kritisiert wird.