STATISTIK-FORUM.de

[Crocker]

Hallo zusammen,

im Rahmen meiner Masterarbeit soll ich eine Trainingsreihe evaluieren, dafür würde ich mich über eure Hilfe freuen.
Grob geht es dabei um Führungskompetenz. Dazu liegt ein Kompetenzmodell vor, das verschiedene Facetten umfasst, die alle mit den Trainings gefördert werden sollen. Z.B. Sozialkompetenz und Methodenkompetenz. Diese Kompetenz der Führungskräfte wird anhand eines einzelnen Ereignisses, i.d.R. eines Meetings bewertet. Die Bewertung erfolgt durch die Führungskraft selbst, durch die anwesenden Mitarbeiter und durch einen geschulten Beobachter. Alle drei "Parteien" haben dabei den gleichen Fragebogen.
Items sind z.B. "Die Führungskraft hat in diesem Meeting regelmäßig den Zwischenstand zusammengefasst". Bzw. aus Sicht der Führungskraft "Ich habe in diesem Meeting regelmäßig den Zwischenstand zusammengefasst". Ab hier wird es etwas kompliziert.
Da der Fragebogen zusammengestellt wurde aus Skalen von drei anderen, faktorenanalysierten Fragebögen gibt es unterschiedliche Antwortskalen. Sie sind zwar alle Likertskaliert, gehen jedoch entweder von "trifft gar nicht zu" bis "trifft voll zu" auf einer sechsstufigen oder auch fünfstufigen Skala. Erlaubt auch noch "keine Angabe möglich". (Eigentlich sollte das ja aber kein Problem darstellen oder?)

Die Vorhererhebung ist schon vorbei, wenn die Trainingsreihe rum ist, werden die gleichen Personen nochmal bewertet. Durch Codes können die Vorher und Nachhererhebungen je einer Person zugeordnet werden (könnte also mit verbundenen Stichproben rechnen).
Nun würde mich interessieren, was ich damit rechnen kann. Hat jemand Ideen?
Es handelt sich insgesamt um etwa 15 Personen bei den Führungskräften, die jeweils von 3 bis 30 Mitarbeitern bewertet wurden.
Folgende Fragen hatte ich mir bisher gedacht:
-Welche Kompetenzfacetten werden hinterher anders bewertet als vorher?
-Wie groß ist die Übereinstimmung der Selbst- und Fremdeinschätzung(bewertet sich die Führungskraft so, wie ihre Mitarbeiter sie bewerten)? Ändert sich dieses Verhältnis nach der Trainingsreihe?
-Lassen sich die Skalen aus den benutzten Test replizieren?

Überlegt hatte ich eben einen t-Test mit verbundenen Stichproben zu rechnen. Allerdings sind die Daten ja nur ordinalskaliert. Außerdem werden evtl. einige Personen bis zur Nachhererbung rausfallen, dafür aber vielleicht auch noch ein paar dazukommen, die ich vorher nicht erfassen konnte.

Fällt euch vielleicht noch was anderes ein? Inhaltlich und methodisch kann ich jetzt leider nichts mehr ändern, wäre also wirklich die Frage, was ich mit dem vorhandenen Material sinnigerweise rechnen kann.

[KoRnfuzius]

Hallo zusammen,

im Rahmen meiner Masterarbeit soll ich eine Trainingsreihe evaluieren, dafür würde ich mich über eure Hilfe freuen.
Grob geht es dabei um Führungskompetenz. Dazu liegt ein Kompetenzmodell vor, das verschiedene Facetten umfasst, die alle mit den Trainings gefördert werden sollen. Z.B. Sozialkompetenz und Methodenkompetenz. Diese Kompetenz der Führungskräfte wird anhand eines einzelnen Ereignisses, i.d.R. eines Meetings bewertet. Die Bewertung erfolgt durch die Führungskraft selbst, durch die anwesenden Mitarbeiter und durch einen geschulten Beobachter. Alle drei "Parteien" haben dabei den gleichen Fragebogen.
Items sind z.B. "Die Führungskraft hat in diesem Meeting regelmäßig den Zwischenstand zusammengefasst". Bzw. aus Sicht der Führungskraft "Ich habe in diesem Meeting regelmäßig den Zwischenstand zusammengefasst". Ab hier wird es etwas kompliziert.
Da der Fragebogen zusammengestellt wurde aus Skalen von drei anderen, faktorenanalysierten Fragebögen gibt es unterschiedliche Antwortskalen. Sie sind zwar alle Likertskaliert, gehen jedoch entweder von "trifft gar nicht zu" bis "trifft voll zu" auf einer sechsstufigen oder auch fünfstufigen Skala. Erlaubt auch noch "keine Angabe möglich". (Eigentlich sollte das ja aber kein Problem darstellen oder?)

Einfacher wäre es gewesen, wenn alle Skalen die gleichen Kategorien hätten. Bei fünfstufigen Skalen hast du eine "neutrale" Mitte, bei sechsstufigen zwingst du deine Personen sich für eine Tendenz in eine Richtung zu entscheiden. Mittelwerte kannst du aber für beide Skalen weiterverrechnen.

Die Vorhererhebung ist schon vorbei, wenn die Trainingsreihe rum ist, werden die gleichen Personen nochmal bewertet. Durch Codes können die Vorher und Nachhererhebungen je einer Person zugeordnet werden (könnte also mit verbundenen Stichproben rechnen).

Hast du auch eine Kontrollgruppe in Form einer Gruppe von Personen, die kein Training durchlaufen haben, um Zeiteffekte zwischen Prä- und Posttest aufzudecken?

Nun würde mich interessieren, was ich damit rechnen kann. Hat jemand Ideen?
Es handelt sich insgesamt um etwa 15 Personen bei den Führungskräften, die jeweils von 3 bis 30 Mitarbeitern bewertet wurden.
Folgende Fragen hatte ich mir bisher gedacht:
-Welche Kompetenzfacetten werden hinterher anders bewertet als vorher?

T-Test f. abh. Stichproben.

-Wie groß ist die Übereinstimmung der Selbst- und Fremdeinschätzung(bewertet sich die Führungskraft so, wie ihre Mitarbeiter sie bewerten)?

Korrelation aus Selbsteinschätzung und MW der Fremdeinschätzungen.

Ändert sich dieses Verhältnis nach der Trainingsreihe?

Differenz der Selbsteinschätzung und MW der Fremdeinschätzungen zu T2 und T1 als 2 Variablen für die 15 FK berechnen und dann T-Test.

-Lassen sich die Skalen aus den benutzten Test replizieren?

Wenn du sie validieren willst, dann prüfe sie auf Herz und Nieren (Verteilung, Trennschärfe, Cronbach-Alpha, Korr. untereinander, Faktorenanalyse).

Überlegt hatte ich eben einen t-Test mit verbundenen Stichproben zu rechnen. Allerdings sind die Daten ja nur ordinalskaliert.

Wieso? Oben schreibst du...

Da der Fragebogen zusammengestellt wurde aus Skalen von drei anderen, faktorenanalysierten Fragebögen

Außerdem werden evtl. einige Personen bis zur Nachhererbung rausfallen, dafür aber vielleicht auch noch ein paar dazukommen, die ich vorher nicht erfassen konnte.

Dann wird hier dein Prä- / Post-Test nicht möglich sein, wodurch deine Stichprobe recht schnell sehr klein werden wird.

...wäre also wirklich die Frage, was ich mit dem vorhandenen Material sinnigerweise rechnen kann.

Hilft dir jetzt nicht mehr weiter, aber sollte vor der Erhebung, wenn Hypothesen/Fragestellungen formuliert werden, durchüberlegt werden. Auch hinsichtlich Stichprobengröße und KG/VG-Design.