Forschungsmethoden in der Fremdsprachendidaktik. Группа авторов

      4.5.1 Einführung

      Mit steigender Zahl an Studien und der Kumulierung von Forschungsergebnissen zu einem bestimmten Bereich steigt auch der Bedarf an einer SyntheseSynthese dieser Ergebnisse, ebenso wie das Interesse an einer ReplikationReplikation bestimmter Studien, um zu generalisierbarengeneralisierbar Aussagen über verschiedene Zielgruppen und Kontexte hinweg zu gelangen (z.B. Plonsky 2012a). Zur Synthese empirischer Daten eignen sich Meta-AnalysenMeta-Analysen: Ausgehend von einer umfassenden Literaturrecherche werden systematisch empirische Daten gesammelt und analysiert, um zu empiriegestützten Aussagen über eine Vielzahl von Studien hinweg zu gelangen; darüber hinaus erlauben Meta-Analysen die Analyse etwaiger Moderatorvariablen zur Bestimmung des Einflusses, die diese auf die zu untersuchenden Variablen ausüben (Plonsky/Oswald 2012a). ReplikationsstudienReplikationsstudien hingegen haben das Ziel, ausgewählte Studien zu replizieren, um Ergebnisse zu validierenvalidieren oder die Übertragbarkeit von Ergebnissen auf andere Kontexte oder Zielgruppen zu überprüfen. Die Ergebnisse solcher Replikationsstudien können ebenfalls in Meta-Analysen einfließen, um zu evidenzbasierten und möglichst generalisierbaren Synthesen zu kommen. Solche Synthesen können zum einen eine gegebene Studie im Kontext des derzeitigen Wissensstands platzieren, sie stellen aber auch die Basis für weitere Forschung dar, da sie den derzeitigen Erkenntnissstand zusammenfassen und somit aufzeigen helfen, wo es Forschungsbedarf gibt. Des Weiteren leisten sie einen Beitrag zur evidenzbasierten Entscheidungsfindung, indem sie die Forschungserträge auf einem bestimmten Gebiet kumulativ zusammenstellen (z.B. Rousseau/McCarthy 2007). Meta-Analysen und Replikationen sind jedoch zu unterscheiden von vergleichenden Überblicksforschungen, wie sie etwa Schmenk (2008) darstellt. Solch ein zweiter theoretischer Blick fasst existente Forschung zusammen, doch werden keine neuen Analysen mit bestehenden Daten und keine neuen Datenerhebungen durchgeführt.

      Eine gute Übersicht zu mehr als 140 Meta-AnalysenMeta-Analysen und Forschungssynthesen im Bereich der Zweit- und Fremdsprachenforschung bietet die Internetseite von Luke Plonsky (https://lukeplonsky.wordpress.com/bibliographies/meta-analysis/). Die Universität Murcia bietet unter http://www.um.es/metaanalysis eine Übersicht über Bücher zum Thema und eine Datenbank zu Publikationen von Meta-Analysen.

      4.5.2 Durchführung von Meta-Analysen

      Meta-Analysen werden wegen ihres Umfangs meist von einem Team von Forschenden durchgeführt; sie bestehen aus einer Abfolge von Schritten, welche im Folgenden kurz beschrieben werden:

      Die Formulierung der Problemstellung, der zu untersuchenden Fragestellung, ist von zentraler Bedeutung. Sie kann sowohl theoriegeleitet als auch empirisch begründet sein. Eng geführte Fragen eignen sich, um bekannte Hypothesen und Effekte zu prüfen, Forschungen zu dieser Themenstellung zusammenzufassen oder bestimmte Populationen und Kontexte zu vergleichen. Offenere Problemstellungen eignen sich, um neue Erkenntnisse aus der Synthese zu gewinnen. Die Fragestellung bestimmt somit, welche Studien in die Meta-Analyse einfließen sollen; beispielsweise hängen die Auswahl und der Fokus auf konzeptionelle Fragen, Methoden, Probanden, Messmodelle und berichtete empirische IndizesIndizesempirische (outcome measuresoutcome measures) von der Fragestellung ab.

      Die LiteraturrechercheLiteraturrecherche ist direkt von der Problemstellung geleitet. Hier gilt es, so umfassend und systematisch wie möglich vorzugehen, um möglichst viele Studien und Replikationen in der zu untersuchenden Problemstellung zu erfassen. Dabei sollten neben den einschlägigen Zeitschriften, Buch- und Kongresspublikationen und Internetrecherchen (z.B. google scholar) auch DatenbankenDatenbanken abgefragt werden (In’nami/Koizumi 2011). Bei der Recherche stellt sich das Problem des so genannten publication biaspublication bias, da in der Regel nur Studien mit signifikanten Effekten publiziert werden; dadurch gehen für die Synthese wertvolle Informationen verloren, welche zumindest teilweise durch statistische Verfahrenstatistische Verfahren abgefangen werden können (Hunter/Schmidt 2004; s. unten die Ausführungen zu Datenanalyse und Untersuchung der Ergebnisse). Darüber hinaus gibt es Datenbanken zu unveröffentlichten Studien, die herangezogen werden können. Auch auf den so genannten English language biasEnglish language bias darf verwiesen werden: Publikationen in internationalen englischsprachigen Journals berichten oft stärkere Effekte als Publikationen in anderen Sprachen; hier hilft es, auch anderssprachige Publikationen zu beachten. Es gilt, transparente Kriterien zum Einschluss (und ggf. Ausschluss) von Studien zu entwickeln; der Kriterienkatalog kann in einem iterativen Prozess während der Auseinandersetzung mit der Literatur verfeinert werden. Hierbei sollten Forschungsstandards angelegt werden, wie sie beispielsweise Porte (2010) beschreibt. Wichtig ist es, eine gesunde Balance zwischen Ein- und Ausschlusskriterien zu finden, um nicht die GeneralisierbarkeitGeneralisierbarkeit durch den Ausschluss zu vieler Studien zu gefährden, andererseits aber nicht die Qualität und ValiditätValidität der Ergebnisse der Meta-Analyse durch den Einschluss methodisch mangelhafter Studien zu riskieren. Alle Schritte der Literaturrecherche und der eingesetzten Strategien und Kriterien zur Suche und Auswahl sollten transparent dokumentiert werden.

      Sind die Studien ausgewählt, müssen sie hinsichtlich ihrer Charakteristika und der berichteten EffektstärkenEffektstärke evaluiert und kodiert werden. Hier helfen ein KodierplanKodierplan und ein KodierbuchKodierbuch, um die relevanten Charakteristika und das KodierschemaKodierschema zu definieren. Idealerweise wird das KodierschemaKodierschema pilotiert und alle Studien werden von mindestens zwei Forschenden kodiert, um zu reliablen und validen KodierungenKodierung zu kommen. In’nami1 schlägt vor, mindestens die folgenden Charakteristika zu den Studien und den empirischen Daten zu kodieren: