STATISTIK-FORUM.de

[Charly]

Hallo Holger,

vielen Dank für die super schnelle und hilfreiche Antwort. Der Literaturtipp ist wirklich gut!

Ich habe zu einer Aussage von dir noch eine Frage:

Dies führt wiederum dazu, dass es keine Wahrheit gibt und somit auch keine testbaren Implikationen.

Was meinst du genau damit, dass es keine Wahrheiten und testbare Implikationen gibt? Ich kann diesen gebildeten Index doch als Variable nutzen und z.B. ein Regressionsmodell rechnen oder nicht?

Bzgl. der Validität der formativen items, wie müsste man diese denn einzeln testen? Ich habe sie aus meiner qualitativen Studie hergeleitet, wie kann ich denn nun testen, ob sie auch valide sind?

Vielen lieben Dank,
Charly

[Holgonaut]

Hi,

Wenn du einen Index "ABC" aus den items A, B und C zusammenaddierst (auf der Messebene) oder das Aggregatskonstrukt ABC' definierst als bestehend aus den empirischen Facetten A', B' oder C' dann erfindest du den Index/das Konstrukt quasi. Du rufst es damit "in die Existenz". Außerdem besteht es nicht unabhängig von den Facetten - es hat also keine von der Definition/Konstiution oder Mess-Prozedur (Zusammenaddieren) unabhängige Existenz.
Daher gibt es kein Wahrheitskriterium. Eine andere Person würde vielleicht das Konstrukt durch andere Facetten definieren. Du hast folglich so viele Konstrukte, wie es Definitionen oder Messprozeduren gibt. Du hast das im Rahmen der "operationalen Definition" schon mal gehört (ala "Intelligenz ist das, was der Test misst").

Nimm als Gegenteil Blutdruck, der durch ein Blutdruckmessgerät gemessen wird. Den gibt es - egal wie du ihn definiest, oder welches oder wieviele Messgeräte (Armmanchette, Finger auflegen etc.) du verwendest. Das Messinstrument ist damit dann valide, wenn Ausschläge tatsächlich durch Blutdruckunterschiede verursacht sind.

Bei dem Index ist das aus den o.g. Gründen schwer möglich. Was du aber machen kannst, ist die Einzelfacetten betrachten. Die haben ja einen Wortlaut und eine Bedeutung. Die frage ist also, reflektieren die items auch wirklich diese Bedeutung. Du könntest also auf Facettenebene nomologische Beziehungen testen. Allerdings geb ich zu, dass das Probleme mit sich bringt (v.a. mit Gutachtern und Betreuern), weil sie a) einen Ansatz für den Gesamtindex erwarten und b) einzelne Items aus Reliabilitätsgründen geringer mit Kriterien korrelieren können.

Als könnte ein pragmatischer Weg darin bestehen, Beziehungen zwischen dem Gesamtindex und relevanten Kriterien zu testen. Wie erörtert, ist das nicht ganz korrekt, weil der Index eben nur die Summe der zusammenaddierten Facetten ist. Aber so ist das (wissenschaftliche) Leben nun mal

Ich bin im Übrigen der Meinung, dass qualitative kognitive pretests einem über die Validität von items meist mehr sagen, als viele post-hoc fancy methods

Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061–1071.

Grüße
Holger

[Charly]

Hallo Holger,

jetzt habe ich verstanden, was du damit gemeint hast, danke.

"Du könntest also auf Facettenebene nomologische Beziehungen testen. Allerdings geb ich zu, dass das Probleme mit sich bringt (v.a. mit Gutachtern und Betreuern), weil sie a) einen Ansatz für den Gesamtindex erwarten und b) einzelne Items aus Reliabilitätsgründen geringer mit Kriterien korrelieren können."

Wie ist dies denn zu verstehen? Meinst du ich sollte mir die einzelnen Dimensionen anschauen, also in meinem Fall Dimension Jobaspekte mit Dimension Gehaltsaspekte vergleichen? Wie würde da so ein Test aussehen? Quasi so, dass man gut, ob die Dimensionen sich voneinander unterscheiden? Oder meinst du das lediglich auf Theorieebene?

"Also könnte ein pragmatischer Weg darin bestehen, Beziehungen zwischen dem Gesamtindex und relevanten Kriterien zu testen." --> was genau meinst du mit relevanten Kriterien? Kriterien außerhalb des Index? Was für Eigenschaften müssten diese denn haben? Ich habe ein paar andere Konstrukte mit reflektiven Skalen gemessen, könnten diese helfen?

"qualitative kognitive pretests einem über die Validität von items meist mehr sagen" --> bevor ich die quantitative Studie erhoben habe, habe ich eine umfassende qualitative Interviewstudie durchgeführt, woraus ich ja die items abgeleitet habe, inwiefern könnte ich diese als Validität "verkaufen"? Außerdem habe ich zwei Erhebungsgruppen in denen ich in beiden Gruppen die items abgefragt habe, es sind allerdings unterschiedliche Perspektiven (Bewerber und Mitarbeiter) könnte mir das helfen? Quasi eine Gruppe als entdeckend zu nutzen und bei der anderen zu bestätigen?

Vielen Dank und lieben Gruß
Charly

[Holgonaut]

Hi,

naja, Dein Gesamtindex besteht doch aus bestimmten Facetten, die sich auf konkrete Arbeitsmerkmale beziehen? Dann müsstest du dir überlegen, mit was diese Facetten korrelieren sollten, wenn sie das messen (=Kriterien), was ihr item-wortlaut enthält. Alternativ das ganze eben auf Indexebene - nur ist das halt wegen der inhaltlischen Heterogenität/Multidimensionalität schwieriger.

Du solltest mal ein herkömmliches Kapitel über Validität lesen. Stichworte nomologisches Netz, prädiktive Validität, Inhaltsvalidität, Konstruktvalidität, Kriterien.

Qualitative pretests sind spezielle Fragen zum konkreten Item (z.B. warum man eine bestimmte Antwort gewählt hat, was in den Augen des Befragten ein item fragt; Bitten um Paraphrasierungen, Bitten um Beispiele). Deine vorangestellte Befragung fällt da nicht drunter, weil dies die items da noch nicht gab.

Willis, G. B., & Artino, A. R. (2013). What do our respondents think we’re asking? Using cognitive interviewing to improve medical education surveys. Journal of Graduate Medical Education, 5(3), 353–3566. http://doi.org/10.4300/JGME-D-13-00154.1

Grüße
Holger