Äquidistanzannahme (wg. Skalenniveau) bei Wissensfragen

Fragen zur Planung einer Untersuchung oder eines Projekts.

Äquidistanzannahme (wg. Skalenniveau) bei Wissensfragen

Beitragvon Twoflower2 » Fr 5. Apr 2024, 17:28

(Hintergrund: Für die Überprüfung der Wirksamkeit einer Fortbildung soll es Wissensfragen geben.)

Die erreichte Punktzahl der Wissensfragen (Summe der richtigen Antworten) soll als intervallskaliert betrachtet werden können.
Ist es dafür notwendig, dass alle "Richtig" Antworten insofern "gleich viel wert" sind, dass...

(a) alle Items (Wissensfragen) den gleichen Anteil richtiger Antwortoptionen haben (bspw. alle Fragen haben 5 Antwortoptionen, von denen jeweils nur 1 richtig ist; oder alle Fragen haben 9 Antwortoptionen, von denen jeweils genau 3 richtig sind)

(b) alle Items (Wissensfragen) inhaltlich zumindest in etwa "gleich schwierig" sind, so dass jeder richtige Punkt am Ende hinsichtlich des zugrunde liegenden Wissens auch "gleich viel wert" ist?

(Hoffentlich nicht! ;-))

Bonus Props für jeden Hinweis zu Literaturquellen, die das Problem erörtern!
Und beste Grüße an Alle!
Twoflower2
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Fr 5. Apr 2024, 17:10
Danke gegeben: 3
Danke bekommen: 0 mal in 0 Post

Re: Äquidistanzannahme (wg. Skalenniveau) bei Wissensfragen

Beitragvon bele » Fr 5. Apr 2024, 19:01

Hallo,

Twoflower2 hat geschrieben:(a) alle Items (Wissensfragen) den gleichen Anteil richtiger Antwortoptionen haben (bspw. alle Fragen haben 5 Antwortoptionen, von denen jeweils nur 1 richtig ist; oder alle Fragen haben 9 Antwortoptionen, von denen jeweils genau 3 richtig sind)


Items mit mehreren richtigen Antworten sind immer speziell und es gibt m. W. kein einheitliches Schema, wie sie zu bewerten sind. Da musst Du schon dazu schreiben, was Du mit denen vor hast.

(b) alle Items (Wissensfragen) inhaltlich zumindest in etwa "gleich schwierig" sind, so dass jeder richtige Punkt am Ende hinsichtlich des zugrunde liegenden Wissens auch "gleich viel wert" ist?


Items müssen nicht gleich schwierig sein, sonst würde der Begriff der Itemschwierigkeit wenig Sinn machen. Krieg ich mit diesem Suchbegriff und Link dann schon die Bonus Props?

Cooler Nick übrigens, passt gut zu unserem PonderStibbons.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5813
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1367 mal in 1354 Posts

folgende User möchten sich bei bele bedanken:
Twoflower2

Re: Äquidistanzannahme (wg. Skalenniveau) bei Wissensfragen

Beitragvon bele » Fr 5. Apr 2024, 19:11

Hallo,

Twoflower2 hat geschrieben:(a) alle Items (Wissensfragen) den gleichen Anteil richtiger Antwortoptionen haben (bspw. alle Fragen haben 5 Antwortoptionen, von denen jeweils nur 1 richtig ist; oder alle Fragen haben 9 Antwortoptionen, von denen jeweils genau 3 richtig sind)


Items mit mehreren richtigen Antworten sind immer speziell und es gibt m. W. kein einheitliches Schema, wie sie zu bewerten sind. Da musst Du schon dazu schreiben, was Du mit denen vor hast.

(b) alle Items (Wissensfragen) inhaltlich zumindest in etwa "gleich schwierig" sind, so dass jeder richtige Punkt am Ende hinsichtlich des zugrunde liegenden Wissens auch "gleich viel wert" ist?


Items müssen nicht gleich schwierig sein, sonst würde der Begriff der Itemschwierigkeit wenig Sinn machen. Krieg ich mit diesem Suchbegriff und Link dann schon die Bonus Props? Ein guter Test mischt leichte, mittlere und schwere Items um Boden- und Deckeneffekte zu vermeiden und dadurch möglichst viel Information über alle Kenntnisstände hinweg zu sammeln. Es sei denn, es interessiert Dich nur, wer der beste oder wer der schlechteste ist.

In der klassischen Testtheorie sind die Punkte dann trotzdem gleich viel wert.

Cooler Nick übrigens, passt gut zu unserem PonderStibbons.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5813
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1367 mal in 1354 Posts

folgende User möchten sich bei bele bedanken:
Twoflower2

Re: Äquidistanzannahme (wg. Skalenniveau) bei Wissensfragen

Beitragvon Twoflower2 » Mo 8. Apr 2024, 14:58

Hallo Bernhard,

Dank und Props sind dir sicher. Allerdings ist mir das Ganze immernoch etwas unklar.
Itemschwierigkeit war mir eigentlich klar, aber der Hinweis, dass in der KTT die Punkte - trotz verschieden schwieriger Items - gleich viel wert sind war nochmal gut.
Wenn ich dazu jetzt noch eine zitierbare Stelle finde, bin ich glücklich.

Zum Hintergrund: Im Zuge einer Wirksamkeitsüberprüfung (funktioniert die Fortbildung und vermittelt das Wissen, das sie vermitteln soll?) soll es eine Anzahl von Wissensitems geben; aufgrund der abgefragten Themen wäre es praktisch, da verschieden-artige Multiple-Choice Items zu haben, die sich strukturell nicht alle gleichen; mal gibt es nur eine richtige Antwort, mal mehrere; mal sind es vielleicht 5 Antwortoptionen, mal auch mehr. Das Ganze aber eben nur unter der Voraussetzung, dass ungeachtet der verschiedenen Itemstrukturen am Ende ein (mindestens) intervallskalierter Wert rauskommt (und hier kommt die Frage der Äquidistanzannahme ins Spiel). Am Ende ist geplant, einfach alle richtigen Antworten (also auf Ebene der Antwortoptionen - nicht auf Ebene der Fragen-Items) aufzusummieren. So, dass wir am Ende für jede Vpn zu jedem Messzeitpunkt einen Wert "richtige Antworten" haben und damit dann sinnvoll rechnen können.

Falls die bittere Wahrheit jetzt wäre, dass das so nicht geht (weil die Richtig-Punkte aus den Antworten der Wissensfragen nicht als gleichwertig betrachtet werden können), müsste ich ggf. hektisch versuchen, doch noch möglichst gleichartige Wissensfragen zu designen. Davor hast du mich - anscheinend - bewahrt. (Für noch mehr Input bin ich, so oder so, auch auf jeden Fall dankbar!)

Viele Grüße!
Twoflower2
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Fr 5. Apr 2024, 17:10
Danke gegeben: 3
Danke bekommen: 0 mal in 0 Post

Re: Äquidistanzannahme (wg. Skalenniveau) bei Wissensfragen

Beitragvon bele » Mo 8. Apr 2024, 15:39

Twoflower2 hat geschrieben:... aufgrund der abgefragten Themen wäre es praktisch, da verschieden-artige Multiple-Choice Items zu haben, die sich strukturell nicht alle gleichen; mal gibt es nur eine richtige Antwort, mal mehrere; mal sind es vielleicht 5 Antwortoptionen, mal auch mehr.

Wenn wir jetzt mit den Mitteln der Probabilistischen Testtheorie unterwegs wären, dann könnten wir für jedes dieser Items die unterschiedliche Ratewahrscheinlichkeit modellieren etc.
Klassische Testtheorie ist da etwas schlichter.

Das Ganze aber eben nur unter der Voraussetzung, dass ungeachtet der verschiedenen Itemstrukturen am Ende ein (mindestens) intervallskalierter Wert rauskommt

Formell hast Du da kein Problem: Du zählst die Anzahl der richtigen Items und Anzahlen sind rationalskaliert. Die Kernfrage lautet eher, macht es Sinn, die Anzahl der richtigen Items zusammenzuzählen? Ich kann meine Selbstwirksamkeitserwartung zur Raumtemperatur addieren und danach die Zahl der gerade am Himmel sichtbaren Wolken auch noch drauf rechnen plus die Dummyvariable dafür, ob heute ein Sonn- oder Feiertag ist. Da kommt ein intervallskalierter Wert heraus, aber der lässt halt keine vernünftige Interpretation zu.

Für die Frage, ob Deine Items das zu vermittelnder Wissen dieser Fortbildung sinnvoll abbilden bist Du hingegen selbst verantwortlich. Das kann Dir das Skalenniveau nicht abnehmen. Da solltest Du Dein Hirnschmalz rein stecken.

Jeder Lehrer stellt in der Klassenarbeit ein paar einfache Fragen, damit auch die schwächeren nicht durchfallen und ein paar schwere, um die wirklich Guten zu erkennen. Er braucht den schweren Aufgaben keine höhere Punktzahl zuzuordnen, denn die guten lösen ja auch die leichten Aufgaben. Das heißt aber nicht, dass er auf die Itemschwierigkeit und die Verteilung der Itemschwierigkeiten nicht zu achten braucht. Er macht das aber nach inhaltlichen Kriterien. Also, was müssen Teilnehmer unbedingt bei der Veranstaltung mitnehmen? was wäre wünschenswert? was ideal?

(und hier kommt die Frage der Äquidistanzannahme ins Spiel).

Äquidistanz ist ein Desiderat bei Ratingskalen um Summierbarkeit von abgestuften Ratings plausibel zu machen. Wenn Deine Items alle falsch oder richtig beantwortet sind, stellt sich diese Frage nicht.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5813
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 15
Danke bekommen: 1367 mal in 1354 Posts

Re: Äquidistanzannahme (wg. Skalenniveau) bei Wissensfragen

Beitragvon Twoflower2 » Mo 8. Apr 2024, 16:05

Danke dir fürs Ausführen!
Mir geht es tatsächlich nur um die formale Frage, ob das so legitim ist.
Hierzu merke ich mir, dass man richtig beantwortete Fragen, bzw. Punkte im Wissenstest, einfach als Anzahl und damit später auch den aufsummierten Wert als metrisch betrachten kann (ganz unabhängig von der jeweiligen individuellen oder strukturellen Item-Schwierigkeit).
Selbstverständlich konstruieren wir die Wissensfragen so, dass sie die inhaltlich relevanten Bereiche der Fortbildung abbilden (trotzdem auch hier Danke für den Hinweis, das darf natürlich nicht untergehen).
LG
Twoflower2
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Fr 5. Apr 2024, 17:10
Danke gegeben: 3
Danke bekommen: 0 mal in 0 Post


Zurück zu Versuchsplanung

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste

cron