Forschungsmethoden in der Fremdsprachendidaktik. Группа авторов
transparent dargestellt und die Ergebnisse im Vergleich zur Originalstudie diskutiert und kommentiert werden sollten.
4.5.4 Anwendung in Studien
Während es, wie Schmidt (2009) ausführt, nur wenige Replikationsstudien in den Sozialwissenschaften gibt, erfreuen sich Meta-Analysen zunehmender Beliebtheit. Hier sollen drei Meta-Analysen exemplarisch das Feld illustrieren.
Eine frühe, einflussreiche Meta-Analyse wurde von Norris/Ortega (2000) zur Effektivität von L2 Instruktionen durchgeführt. Sie verglichen die EffektstärkenEffektstärke von 49 experimentellen und quasi-experimentellen Studien, die in den Jahren 1908 bis 1998 durchgeführt wurden. Sie fanden u.a. heraus, dass explizite Formen des Unterrichtens effektiver sind als implizite und dass fokussiertes Unterrichten zu langfristigen Lernerfolgen führt. Allerdings mussten sie feststellen, dass die Effektstärke vom jeweils eingesetzten MessinstrumentMessinstrument beeinflusst wird und dass die Ergebnisse ihrer Meta-Analyse nur beschränkt generalisierbargeneralisierbar sind, da es damals dem Feld noch an empirisch rigorosen Operationalisierungen und Replikationen der Konstrukte mangelte.
Eine wesentlich umfangreichere Meta-Analyse, die eine gewisse Generalisierbarkeit aufweist, führte Hattie (2009) durch. Die so genannte „Hattie-Studie“ beeinflusste die bildungspolitische Diskussion im In- und Ausland, weshalb sie hier erwähnt werden soll, wenngleich die meisten Studien, die in Hatties Meta-Analyse eingingen, nicht aus dem fremdsprachlichen Unterricht stammen. Er unterzog über 800 Meta-Analysen einer Meta-Metaanalyse und untersuchte 138 unterrichtsrelevante Variablen und ihre Effektivität auf das Lernen. Das Novum an seinem Ansatz ist, dass er die Effektstärken inhaltlich interpretiert, indem er sie in unterschiedliche Bereiche einteilt. Für den untersten Bereich (bis 0,15) behauptet Hattie, dass diese Effekte auch erzielt würden, wenn kein Unterricht stattfinde; Effektstärken im Bereich 0,15 bis 0,40 würden auch durch regulären Unterricht einer durchschnittlichen Lehrkraft erzielt; nur Effektstärken über 0,40 würden auf tatsächliche Effekte der untersuchten Variablen deuten. Die stärksten Effekte fand Hattie in den Variablen self-reported grades, Piagetian programmes und providing formative evaluation. Es wäre interessant, diese Variablen gezielt für den fremdsprachlichen Unterricht zu untersuchen. Hattie leitet auf Basis seiner Ergebnisse ein theoretisches Modell erfolgreichen (fachunabhängigen) Lehrens und Lernens ab; er nutzt die Meta-Analyse also zur Theorie-Generierung.
Die dritte Meta-Analyse, die hier vorgestellt werden soll, wurde von Jeon/Yamashita (2014) durchgeführt für den Bereich des Leseverstehens in der Fremdsprache. Diese Studie soll die o.g. ModeratorenanalysenModeratorenanalysen illustrieren. Jeon/Yamashita (2014) untersuchten u.a. die Moderatoren Alter und Vokabelwissen. Die Befunde legen nahe, dass das fremdsprachliche Leseverständnis am höchsten mit fremdsprachlichem Grammatik- und Vokabelwissen korreliert und dass Leseverstehen vom Alter und der Distanz zwischen erster und zweiter Sprache beeinflusst wird.
4.5.5 Fazit
Die hier vorgestellten Möglichkeiten des ‚zweiten Blicks‘ auf existente Studien, sei es mittels quantitativer Meta-Analysen oder mittels Replikationsstudien, stellen eine Möglichkeit dar, existente Ergebnisse zu nutzen und zu transformieren. Auf diese Weise können, wie es beispielsweise Hattie (2009) zeigt, TheorienTheorie entwickelt und untermauert werden, oder es können Ergebnisse eines Bereichs oder Kontexts in neuen KontextenKontext überprüft werden, wie es in Replikationsstudien geschieht. Diese Herangehensweisen bieten effektive Wege, existente Ergebnisse zusammenzuführen, sie zu validierenvalidieren und etwa zur evidenzbasierten Entscheidungsfindung oder zur weiteren Forschungsplanung zu nutzen. Allerdings sollten sie in ihrem Aufwand nicht unterschätzt werden.
› Literatur
Forschungsarbeiten, in denen die hier erläuterten Verfahren angewendet werden, sind mit einem Sternchen markiert.
Abbuhl, Rebekha (2012). Why, when, and how to replicate research. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 296–312.
American Psychological Association (2010). Publication Manual of the American Psychological Association. 6. Auflage. Washington, DC: American Psychological Association.
American Psychological Association APA (2020). Quantitative Meta-Analysis Reporting Standards. [Online: https://apastyle.apa.org/jars/quant-table-9.pdf](02.12.2020)
Banks, Georges C./Kepes, Sven/Banks, Karen P. (2012). Publication bias: The antagonist of meta-analytic reviews and effective policy making. In: Educational Evaluation and Policy Analysis 34, 259–277.
Borenstein, Michael/Hedges, Larry V./Higgins, Julian P.T./Rothstein, Hannah R. (2011). Introduction to Meta-Analysis. Chichester, UK: Wiley.
Cohen, Jacob (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd edition. Hillsdale, NJ: Erlbaum.
Eden, Dov (2002). Replication, meta-analysis, scientific progress, and AMJ’s publication policy. In: Academy of Management Journal 45, 841–846.
Gass, Susan M./Mackey, Alison (2005). Second Language Research: Methodology and Design. Mahwah, NJ: Lawrence Erlbaum.
*Hattie, John (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. Oxford: Routledge.
Hunter, John E./Schmidt, Frank L. (2004). Methods of Meta-Analysis: Correcting Error and Bias in Research Findings. 2nd edition. Newbury Park, CA: Sage.
In’nami, Yo/Koizumi, Rie (2010). Database selection guidelines for meta-analysis in applied linguistics. In: TESOL Quarterly 44, 169–184.
*Jeon, Eun H./Yamashita, Junko (2014). L2 reading comprehension and its correlates: A meta-analysis. In: Language Learning 64(1), 160–212.
Johnson, Blair T./Eagly, Alice H. (2000). Quantitative synthesis of social psychological research. In: Reis, Harry T./Judd, Charles M. (Hg.). Handbook of Research Methods in Social and Personality Psychology. New York: Cambridge University Press, 496–528.
*Norris, John M./Ortega, Lourdes (2000). Effectiveness of L2 instruction: A research synthesis and quantitative meta-analysis. In: Language Learning 50, 417–528.
Plonsky, Luke (2012a). Replication, meta-analysis and generalizability. In: Porte, Graeme K. (Hg.). Replication Research in Applied Linguistics. New York: Cambridge University Press, 116–132.
Plonsky, Luke (2012b). Effect size. In: Robinson, Peter (Hg.). The Routledge Encyclopedia of Second Language Acquisition. New York: Routledge, 200–202.
Plonsky, Luke (2013). Study quality in SLA: An assessment of designs, analyses, and reporting practices in quantitative L2 research. In: Studies in Second Language Acquisition 35, 655–687.
Plonsky, Luke/Oswald, Frederick L. (2012a). Meta-analysis. In: Robinson, Peter (Hg.). The Routledge Encyclopedia of Second Language Acquisition. New York: Routledge, 420–423.
Plonsky, Luke/Oswald, Frederick L. (2012b). How to do a meta-analysis. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 275–295.
Porte, Graeme K. (2010). Appraising Research in Second Language Learning. A Practical Approach to Critical Analysis of Quantitative Research. Amsterdam: John Benjamins.
Rousseau, Denise M./McCarthy, Sharon (2007). Evidence-based management: Educating managers from an evidence-based perspective. In: Academy of Management Learning and Education 6, 94–101.
Schmenk, Barbara (2008). Lernerautonomie. Karriere und Sloganisierung des Autonomiebegriffs. Tübingen: Narr.
Schmidt, Stefan (2009). Shall we really do it again? The powerful concept of replication is neglected in the social sciences. In: Review of General Psychology 13, 90–100.
»