Erstellung von Fragebogen. K. Wolfgang Kallus
hinter der Entwicklung eines inhaltlich und theoretisch fundierten Systems von angemessenen Fragen zurück.
2 Ansätze zur Präzisierung und Operationalisierung des zu erfassenden Merkmalsbereiches
Bei einem psychometrischen Test werden die Items in mehreren Schritten systematisch entwickelt und zusammengestellt. Ergebnis ist ein Fragebogen mit Subtests, der quantitative Aussagen in zuverlässiger Form erlaubt. Eine einfache, oft unsystematische Zusammenstellung von Fragen zu einem Thema gehört im Vergleich dazu eher in den Bereich der qualitativen Forschung. Bei der qualitativen Interpretation von Antworten zu einem Item ist hohe Vorsicht geboten. Hierbei werden messtheoretische Probleme in vielen Fällen sträflich missachtet. Fehlinterpretationen werden oft nicht erkannt und können bis zur politischen Ebene zu Fehleinschätzungen und Fehlentscheidungen führen. In Kapitel 3.4 wird das Skalierungsproblem ausführlich besprochen.
Auf Basis einer klaren Definition und Operationalisierung des zu messenden Konzepts oder Merkmals lassen sich die Frage-Antwort-Komplexe (Items) in angemessener Weise so formulieren, dass die angezielten zuverlässigen Subtestwerte als Resultat der Fragebogenentwicklung tatsächlich sinnvolle Messwerte erbringen. In vielen Fällen sind vorab entsprechende theoretische Vorarbeiten und empirisch orientierte Entwicklungsschritte vorzunehmen.
Im Folgenden wird ein Spektrum von Ansätzen zur Operationalisierung des Merkmalsbereiches zusammenfassend vorgestellt. Dabei werden die Methoden nach steigender Komplexität geordnet. In allen Fällen sind die zu erfassenden Merkmale mindestens mit einer „Arbeitsdefinition“ hinreichend klar zu umreißen. Arbeitsdefinitionen sollten mit den wichtigsten Normen und etablierten wissenschaftlichen Festlegungen kompatibel sein oder mindestens dort eingeordnet werden können. In diesem Sinne ist es z. B. wenig sinnvoll, Belastung und Beanspruchung abweichend von der ISO 10075 zu definieren. Schwierig scheint die Definition und Einordnung vor allem bei inflationär verwendeten Begriffen wie Stress, Burnout oder Resilienz. Im Hinblick auf eine sinnvolle Testentwicklung sollte sich die Definition an etablierten theoretischen Konzepten orientieren. Unter Umständen kann an dieser Stelle die Neuentwicklung eines Verfahrens enden, da bereits hinreichend gute Messinstrumente von den verschiedenen wissenschaftlichen Arbeitsgruppen entwickelt wurden. Die vorhandenen Tests können nach Rücksprache mit den InhaberInnen des Urheberrechts für die eigene Entwicklung/Befragung ganz oder teilweise übernommen/ übersetzt oder adaptiert werden.
In diesem Kapitel werden die folgenden möglichen Ansätze zur Testentwicklung behandelt:
1. Adaptierung – Übersetzung – Neukomposition vorhandener Messinstrumente
2. Konzeptgeleitete Zusammenstellung von Subtests und Items
3. Interviews zur Präzisierung des Merkmalsbereiches
4. Workshop-Methoden
5. Empirisch basierte Konzeptdefinition
2.1 Adaptierung – Übersetzung – Neukomposition vorhandener Messinstrumente
Im einfachsten Fall liegt bei einer Testentwicklung für den relevanten Teil der zu messenden Merkmale bereits ein Fragebogenverfahren vor, möglicherweise jedoch in einer nicht direkt einsetzbaren Sprache. Sollte ein Testverfahren in einer Fremdsprache vorliegen, lässt sich nach Rücksprache mit den AutorInnen in der Regel über eine Übersetzung und/oder Adaptierung auf dem schnellsten Weg ein „neuer“ Fragebogen „entwickeln“.
2.1.1 Adaptierung – Übersetzung
Bei der Übersetzung und Adaptierung von Items in eine andere Sprache gelten dieselben Leitlinien zur Formulierung von Items wie bei einer Neuentwicklung (vgl. Kapitel 3.3). Die Zusammenstellung von Subtests, die Itemreihenfolgen und die formale Vorgabe müssen sich eng am Originalfragebogen orientieren.
Um die Qualität einer Übersetzung zu prüfen, empfiehlt sich bei Fragebogen eine Rückübersetzung durch eine unabhängige Person, die den Originaltest nicht kennt (Tanzer & Sim, 1999). Diskrepanzen in einer Übersetzung können unter anderem auf Übersetzungsfehlern beruhen oder kulturelle Besonderheiten widerspiegeln. Bei Diskrepanzen sollte unter Einbeziehung von „Native Speakern“ das Problem aufgedeckt werden und eine sinngemäß adäquate Übertragung des Items vorgenommen werden. An dieser Stelle ist es wichtig, das Item vollständig, d. h. Frage- und Antwortoptionen, in die Betrachtung einzubeziehen und auch die anderen Items des Subtests zu betrachten.
Bei der Übertragung eines Fragebogens in eine andere Sprache dürfen formale Kennzeichen nur dann verändert werden, wenn mit dem Sprachwechsel formale Änderungen zwingend sind, wie beim Wechsel von der lateinischen Schriftart auf Kyrillisch oder Griechisch. Die formalen Aspekte betreffen unter anderem Schrifttyp, Schriftgröße, Itemreihenfolge, Anzahl der Items pro Seite, Anordnung der Antwortskalen, Instruktionen, Beispiele etc.
2.1.2 Übernahme von Subtests und Items bei der Neukonzeption eines Fragebogens
In vielen Projekten ergibt sich durch die Fragestellung oder die Operationalisierung der zu messenden Merkmale eine teilweise inhaltliche Überlappung oder Überschneidung mit bereits vorliegenden Fragebogenverfahren. In diesem Fall ist die einfache Übersetzung oder der Einsatz eines vorliegenden Instruments nicht ausreichend, sondern die vorliegenden Verfahren müssen ergänzt oder neu konzipiert werden. Relativ unproblematisch ist meist die Kombination neuer Teilbereiche mit bestehenden Fragebogen oder Subtests anderer AutorInnen. Wichtig bei diesem Vorgehen wie auch bei den im Folgenden besprochenen Vorgehensweisen ist neben einer korrekten Angabe der Quellen eine Rücksprache mit den AutorInnen. Mögliche Verletzungen des Copyrights sind ebenso zu beachten wie wirtschaftliche Schäden durch Plagiate.
Bei der Übernahme von Subtests aus vorhandenen Verfahren sind Änderungen und Adaptierungen nur mit größter Behutsamkeit und immer nur in Absprache mit den AutorInnen der Originalversionen vorzunehmen. Änderungen in der Anzahl der Items für Subtests sind in der Regel nach Rücksprache mit den AutorInnen der Originaltests problemlos vorzunehmen. Zur Durchführung der Änderungen lassen sich Informationen aus den Manualen oder den Publikationen zu psychometrischen Kennwerten wie Schwierigkeit, Streuung und Trennschärfe heranziehen. Einschneidende Änderungen sind jedoch zu vermeiden, insbesondere wenn die Änderung den Antwortmodus im Hinblick auf die Anzahl der Stufen oder gar Skalierungsdimension betrifft. Diese Art der Änderung macht eine psychometrische Überprüfung und/oder vollständige Neuentwicklung notwendig.
Auch wenn Items aus bestehenden Verfahren an einen neuen Antwortmodus angepasst und reformuliert werden, sollten die Quellen stets angemessen zitiert werden. Bei der Fragebogenentwicklung ist eine Dokumentation über die „Herkunft“ der Items ein theoretisch, praktisch und juristisch notwendiger und normativ wertvoller Schritt.
2.2 Konzeptgeleitete Zusammenstellung von Subtests und Items
Items sollten wo immer möglich theoriegeleitet anhand vorliegender Modelle, Konzepte oder Taxonomien erstellt werden. Dies ist im Bereich der Wissenschaft unerlässlich. Der Abgleich der Items und Subtests mit vorliegenden Modellen, Konzepten und Theorien kennzeichnet hochwertige Fragebogen auch bei den weiter unten beschriebenen Optionen zur Entwicklung des Itempools. Bei der theoriegeleiteten Formulierung von Items wird entweder ein Modell als Grundlage ausgewählt oder es werden mehrere verwandte Konzepte herangezogen. Zu den in der Theorie dargestellten Facetten werden Items gebildet, die möglichst repräsentativ die Facetten im Verhalten und Erleben von Personen abbilden können. Für jede Facette werden mindestens sechs bis acht Items für einen potenziellen Subtest formuliert. Die Formulierung von Items orientiert sich immer konkret an der Perspektive der Antwortenden. Items können auch dann theoretischen Konzepten folgen, wenn sie konkret formuliert sind. Theoretisch formulierte Items sind typische „Anfängerfehler“. Die Frage „Sind Sie bei Ihrer Arbeit primär erfolgsmotiviert?“ (ja/nein) sollte besser lauten „Lob spornt mich besonders an“ (ja/nein). Es hat sich besonders bewährt, die Merkmalsbereiche möglichst