Quantitative und Qualitative Metaanalyse

Fragen, die sich auf kein spezielles Verfahren beziehen.

Quantitative und Qualitative Metaanalyse

Beitragvon LisaBiwi96 » Sa 20. Jun 2020, 09:27

Hallo liebes Statistikforum :) 
Mein Name ist Lisa. Ich bin Mastertsudentin für Bildung und Medien e-education an der Fernuni Hagen und schreibe, wie sollte es auch anders sein, zur Zeit an meiner Masterarbeit. Ich habe mir hier im Forum alle Hinweise, Nettiquette und Dont´s und auch einige Fragen und Posts durchgelesen und wage mich nun an einen eigenen (ersten) Beitrag :) 
Kurzer Hinweis zu mir oder zu dem Sinn des Posts. Ich bin eigentlich sehr interessiert in statistische Zusammenhänge und auch mathematische Zusammenhänge, gleichzeitig ist es aber auch ein großes Defizit meiner seite. Wir hatten im B.A. eine kleine Miniklausur über statistische Verfahren. Es ist ewig her und seit dem wurde das Thema universitätsseitig nie wieder richtig aufgenommen. Soll heißen, dass ihr in meinem Beitrag sehen werdet, dass ich einige Defizite aufweise, ich aber gewillt bin mich in Verfahren und Grundlagen einzulesen. Ich erhoffe mir durch die Schilderung meiner Fragen oder meines Vorgehens eine kleine Verfahrensreview von Statistik experten (in meinen Augen seid ihr das :D ) um Hinweise und neuen Input zu bekommen. So, viel erzählt und gerechtfertigt nun kommt der eigentlich Beitrag.
Lieben Dank für alle Zuschriften. 

Methode:
Zur Analyse und Diskussion der Forschungsfragen sollen aktuelle Forschungs-, Studien- und Umfrageergebnisse sowie aktuelle Projekte aus dem Betriebs- und Forschungsalltag analysiert werden. Dabei soll insgesamt eine zweigliedrige Analyse erstellt werden. Dazu wird die systematische Übersicht/Analyse bzw. zusammenfassende Sekundär- und Metaanalyse genutzt. Ergänzt wird dieses Vorgehen durch Literaturanalysen bzw. Literaturarbeit. Ausgewertet werden die Ergebnisse vereinfacht quantitativ und verstärkt qualitativ. 
 
FF 1: Wie können arbeitsbezogene Kompetenzen durch E-Learning 4.0 Szenarien gefördert werden? 

Fragen:

1. Kurzer Hinweis: Ich habe 21 Studien zum obigen Thema analysiert. Die meisten Studien sind zwar quantitativ ausgewertet, bieten trotzdem nur Ergebnisse wie "Der Einsatz einer VR Brille führte zu guten Lernresultaten". Die Forschung in diesem Bereich stellte sich recht defizitär heraus. Bei der Auswertung und Codierung der Studien und Projekte habe ich diverse Effektkategorien gebildet z.B. "positiver Effekt auf Kompetenz" "positiver Effekt auf Lernmotivation". Meine Intention dabei war diese Kategorien auszuzählen und sie ins Verhältnis zu setzen. Z.B. 70% der Studien weisen einen signifikanten positiven Effekt auf Lernmotivation aus. 

A: Ist es wissenschaftlich vertretbar, dass ich selbständig ein Signifikanzniveau definiere? Oder gibt es dazu quantitative Standadrs bzw ist das anhand von Literatur festzulegen?

B: Ist mein Verfahren grundsätzlich Wissenschaftlich vertretbar? 
Beispiel: Item: „Some WPEs also foundthat the use of PMDs in WPL had a positive impact on learning (…).“Code: „Lernprozess“ Effekt: Zunahme Kategoriale Zuordnung: „Positiver Einfluss auf Lernprozess“ Qualitative Interpretation: Der Einsatz von mobilen Endgeräten in einem Lernszenario kann sich positiv auf den Lernprozess auswirken.

C: Wie sollte ich Zusammenhänge/Korrelationen darstellen? Z.B. Durch die Kombination "positiver Einfluss auf Lernprozess" und "positiver Einfluss auf Lernmotivation" = "Positiver Einfluss auf berufliche Kompetenz" 


2.
Meine Forschungsergebnisse zeigen, dass sich die E-Learning 4.0 Technologien lernförderlich auswirken (theoretischer Weise sagen dass 100% der Studien aus). Jedoch muss kritisch nachgefragt werden, ob die Forschungslandschaft das Thema nicht zu positiv ansieht. Was empfiehlt ihr da? Ich hatte mir vorgenommen, die Daten qualitativ und mit Bezug auf kritische Literatur zu begründen.
Ich habe z.B. zwei Studien dabei, die belegen, dass Lernen mit E-learning 4.0 Technologie nicht besser ist als "traditionelle" Lernmethoden. Jedoch wird konstatiert, dass das Lernen über VR gute Lernerfolge bzw. keine schlechteren verspricht. Unter harten quantitativen Bedingungen muss ich diese Studien als "positiver Einfluss auf Lernprozess" werten. 
Gibt es eine statistische Methode um den kritischen Beleuchtungsprozess zu untermauern? 


3:
Wie gehe ich mit "negativen" Daten um die aber nicht in die Hauptergebnisse eingeflossen sind. Z.B. wie "Das Lernen mit VR Brille wirkt sich positiv auf die Lernmotivation aus. Jedoch ergab sich, dass zwischendurch das Internet ausgefallen ist und es als störend aufgenommen wurde. Es konnte ebenso gezeigt werden, dass einige Teilnehmer (N meist unbekannt) "stress" empfanden."
Die Studien beschreiben meist Hürden die jedoch nicht statistisch oder mit Signifikanzniveaus begründet wurden. Ich habe aber diese Hinweise mit aufgenommen um sie in meine qualitative Interpretation aufzunehmen. z.B. VR Brillen können sich positiv auswirken, wenn die technischen Gegebenheiten einen reibungslosen Ablauf garantieren.
Gibt es hier statistische verfahren um das zu untermauern?


______________________________________

Ich habe noch einige Detailfragen, die beziehen sich aber dann auf eure Antworten :) 
Lieben Dank im Voraus 
Lisa :) 
LisaBiwi96
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Mi 17. Jun 2020, 11:14
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Quantitative und Qualitative Metaanalyse

Beitragvon PonderStibbons » Sa 20. Jun 2020, 10:51

Wir hatten im B.A. eine kleine Miniklausur über statistische Verfahren. Es ist ewig her und seit dem wurde das Thema universitätsseitig nie wieder richtig aufgenommen.

Dazu wird die systematische Übersicht/Analyse bzw. zusammenfassende Sekundär- und Metaanalyse genutzt.

Das zweite (die statistische Meta-Analyse) und das erste passen nicht zusammen.
Meta-Analysen (ist vielleicht etwas anderes gemeint, als dass Du eine quantitative
statistische Meta-Analyse durchführen sollst?) erfordern einiges an statistischen
Kenntnissen.
Ist es wissenschaftlich vertretbar, dass ich selbständig ein Signifikanzniveau definiere? Oder gibt es dazu quantitative Standadrs bzw ist das anhand von Literatur festzulegen?

Womöglich ist das, was Du als Signifikanzniveau diskutieren willst, und das, was
mit statistischen Signifikanzniveau bezeichnet wird - nämlich p(Daten|H0) - nicht
dasselbe?
Ist mein Verfahren grundsätzlich Wissenschaftlich vertretbar? 

Wenn es für Dein Vorgehen Referenzen aus der Methodenliteratur oder aus
Studien zu ähnlichen Fragestellungen gibt, wärst Du vermutlich auf der sicheren
Seite.

Soweit ich sehe, beurteilst Du die Einzelstudien nicht nach Qualitätsmerkmalen
(ist das Vorgehen der Studie transparent geschildert, wurden vernünftige
Messverfahren verwendet, ist die Stichprobengröße anehmbar, ist die
Auswertung nachvollziehbar etc.).

Zudem wird es das Probem geben, dass Leute, die e-Learning gut finden,
keine Studien mit negativem Ausgang veröffentlichen. Und Leute, die es
schlecht finden, werden eher keine Studien mit positivem Ausgang
veröffentlichen.

Wie sollte ich Zusammenhänge/Korrelationen darstellen? Z.B. Durch die Kombination "positiver Einfluss auf Lernprozess" und "positiver Einfluss auf Lernmotivation" = "Positiver Einfluss auf berufliche Kompetenz" 

Die Frage verstehe ich leider noch nicht. Was meinst Du mit darstellen?
Ich habe z.B. zwei Studien dabei, die belegen, dass Lernen mit E-learning 4.0 Technologie nicht besser ist als "traditionelle" Lernmethoden. Jedoch wird konstatiert, dass das Lernen über VR gute Lernerfolge bzw. keine schlechteren verspricht. Unter harten quantitativen Bedingungen muss ich diese Studien als "positiver Einfluss auf Lernprozess" werten. 

Über die (eventuell allzu) globale Frage hinaus, ob das einen positiven
Einfluss hat, ist doch die wichtige Frage, was den Effekt moderiert,
z.B. die betrachtete Gruppe hat einen Einfluss darauf, wie sich das auswirkt,
die Art der Inhalte, des Kontexts, der Gestaltung. Es wird Kombinationen aus
Zielgruppe/Inhalten/Kontext/Gestaltung geben, wo das keinen oder negative
Effekte hat, und es wird welche geben, wo das exzellente Effekte hat.
Gibt es eine statistische Methode um den kritischen Beleuchtungsprozess zu untermauern? 

Hier verstehe ich das Anliegen leider nicht.
Gibt es hier statistische verfahren um das zu untermauern?

Auch hier verstehe ich das Anliegen leider nicht. Das "untermauern" klingt wie ein
falscher Ansatz, also qualitative Befunde darstellen, und dann irgendwas Quantitatives
zusammenbasteln, um das zu "belegen". Da kann ich mich aber auch irren.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11226
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 49
Danke bekommen: 2465 mal in 2449 Posts

Re: Quantitative und Qualitative Metaanalyse

Beitragvon LisaBiwi96 » Mo 22. Jun 2020, 09:37

Hallo Ponder :)
Lieben Dank für deine konstruktive Antwort.
Das zweite (die statistische Meta-Analyse) und das erste passen nicht zusammen.
Meta-Analysen (ist vielleicht etwas anderes gemeint, als dass Du eine quantitative
statistische Meta-Analyse durchführen sollst?) erfordern einiges an statistischen
Kenntnissen.


Ja richtig, es ist die Frage ob ich den Begriff "Metaanalyse" so benutzen kann. Ich habe eine gewisse Anzahl von Studien nach festgelegten Kriterien gesichtet (Alles in der Arbeit nachprüfbar und Transparent) und daraus Effektkategorien hergeleitet. Um die Ergebnisse meiner Metaanalyse zu "bestätigen" führe ich am Ende die Ergebnisse einer anderen Metaanalyse an, die klassisch mit Effektstärken arbeitet jedoch im conclusion Teil auch nur mit der prozentualen Verteilung argumentiert (z.B. 81% der Studien geben einen positiven Effekt auf das Lernergebnis aus").
Wenn ich nun keine der statistischen Auswertungsverfahren einer Metaanalyse wie die Effektstärken Berechnung durchführe, bekomme ich dann Probleme im Korrektprozess bei der Bezeichnung "Metaanalyse" ? Ist dann da die Bezeichnung der "Systematischen Analyse" eher zielführend?

Liebe Grüße
LisaBiwi96
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Mi 17. Jun 2020, 11:14
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Quantitative und Qualitative Metaanalyse

Beitragvon PonderStibbons » Mo 22. Jun 2020, 10:11

Ja richtig, es ist die Frage ob ich den Begriff "Metaanalyse" so benutzen kann.

Aus meiner Sicht nicht.
Ist dann da die Bezeichnung der "Systematischen Analyse" eher zielführend?

Aus meiner Sicht schon eher. Ich habe jetzt aber nicht überprüft, ob die Kriterien alle erfüllt sind.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11226
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 49
Danke bekommen: 2465 mal in 2449 Posts

Re: Quantitative und Qualitative Metaanalyse

Beitragvon LisaBiwi96 » Do 25. Jun 2020, 07:10

Lieber Ponder,
das hat mir schon alles sehr weiter geholfen. Damit habe ich wichtige Anstöße bekommen.
Ich habe aus der Datenexktraktion Fragen zur Berechnung. Dazu mache ich aber einen neuen Threat auf.
Liebe Grüße :)
LisaBiwi96
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Mi 17. Jun 2020, 11:14
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste