Einleitung
Bitte stellen Sie sich nun einmal folgendes Szenario vor. Nehmen Sie an, Ihre Familie würde umziehen und Ihr Kind müsste auf eine neue Schule gehen. Im Folgenden lesen Sie kurze Beschreibungen zu fünf möglichen Grundschulen, die alle in der Nähe Ihres neuen Wohnorts liegen. Bitte beantworten Sie zu den Schulen drei kurze Fragen.
Beispiel-Vignette 1 (Aufzählung)
Schule 1:
Beispiel-Vignette 2 (Aufzählung)
Schule 5:
Beispiel-Vignette 3 (ausformulierter Text)
Schule 3:
Es handelt sich um eine staatliche Grundschule ohne Schulgebühren. Die Schule legt den Schwerpunkt auf handwerkliche und praktische Fähigkeiten. Die Elternschaft ist ambitioniert und legt Wert auf hohe Leistungen und Wettbewerb. 40% der Kinder wechseln nach der Grundschule aufs Gymnasium. 25% der Schüler leben in Haushalten mit niedrigem Einkommen (niedriges Einkommen = 80% in Deutschland verdienen mehr). Unabhängig vom Einkommen: 25% der Schüler haben einen Migrationshintergrund, vordergründig aus der Türkei.
Beispiel-Vignette 4 (ausformulierter Text)
Schule 4:
Es handelt sich um eine private Grundschule mit 150 € monatlichen Schulgebühren. Die Schule folgt klaren Lehrplänen, es gibt eine enge Zusammenarbeit zwischen Lehrkräften und Eltern. 60% der Kinder wechseln nach der Grundschule aufs Gymnasium. 65% der Schüler leben in Haushalten mit niedrigem Einkommen (niedriges Einkommen = 80% in Deutschland verdienen mehr). Unabhängig vom Einkommen: 5% der Schüler haben einen Migrationshintergrund, vordergründig aus Syrien und Afghanistan. Die Schuleingangsuntersuchungen haben ergeben, dass alle Kinder an der Schule für ihr Alter sehr gutes Deutsch sprechen.
Fazit und Empfehlung Web Probing 1:
Die Bewertungen der fünf Vignetten zeigen ein insgesamt konsistentes Antwortverhalten ohne Anzeichen von Ermüdungseffekten. Obwohl rund 43 % der Befragten die Bearbeitung der fünf Vignetten als anstrengend empfanden, wurde die Aufgabe insgesamt gut bewältigt. Die berichtete Anstrengung und Schwierigkeit sind vor allem auf die Vielzahl der zu berücksichtigenden Informationen, die Komplexität der Aufgabe und teils unrealistische Kombinationen einzelner Merkmalsausprägungen zurückzuführen. Unterschiede zwischen den beiden Darstellungsformaten (Aufzählungsliste vs. Fließtext) zeigten sich nicht.
Wir empfehlen, den faktoriellen Survey in seiner Grundstruktur beizubehalten. Für die Haupterhebung sollte jedoch geprüft werden, ob die Anzahl der Vignetten leicht reduziert werden kann, um die kognitive Belastung zu verringern. Zudem könnte erwogen werden, auf eine vollständige Randomisierung der Dimensionen zu verzichten, um die Szenarien stärker realitätsnah zu gestalten (s. Empfehlung zu Frage 10 und 11). Des Weiteren könnte die Beschreibung des sozioökonomischen Status der Schüler sprachlich vereinfacht werden. Mögliche Formulierungsvorschläge wären:
Zu guter Letzt erscheint die Verwendung des Wortes „vordergründig“ in der Vignettendimension „Herkunftsregion“ semantisch nicht ganz passend. Es könnte z. B. als „oberflächlich“ oder „scheinbar“ interpretiert werden. Eine gängigere und präzisere Formulierung wäre z. B. „5 % der Schüler haben einen Migrationshintergrund, überwiegend aus Syrien und Afghanistan.“
Wir empfehlen, etwaige Änderungen der Vignetten in einer weiteren Pretestrunde mittels Web Probing zu evaluieren. Im Rahmen dieser sollte auch untersucht werden, ob die Reihenfolge der in den Vignetten genannten Faktoren einen systematischen Einfluss auf die Beantwortung der Fragen hat, d. h., ob Primacy- oder Recency-Effekte auftreten.
Informationen zum faktoriellen Survey und Ziel der Testung (Web Probing 1):
Der Fragebogen enthielt eine zweite Vignettenstudie, in der die Testpersonen insgesamt fünf Vignetten mit Beschreibungen von Grundschulen bewerten sollten. Jede Vignette wurde anhand von drei Fragen beurteilt: Frage 28 erfasste die Zufriedenheit der Befragten mit der dargestellten Grundschule, Frage 29 die Wahrscheinlichkeit, einen Umschulungsantrag zu stellen, falls das Kind der beschriebenen Schule zugewiesen würde. Frage 30 wurde in zwei Versionen gestellt: Etwa die Hälfte der Testpersonen wurde gefragt, mit welchem Abschluss das Kind das Schulsystem voraussichtlich verlassen würde, die andere Hälfte, wie sicher sie sich sei, dass das Kind später das Abitur erreichen würde.
Die Vignetten unterschieden sich in den folgenden acht Dimensionen:
Die Ausprägungen der Dimensionen wurden zufällig kombiniert und präsentiert. Zudem erhielt etwa die Hälfte der Befragten die Vignetten als Aufzählungsliste (Bullet Points), die andere Hälfte als ausformulierten Text (s. Screenshots).
Die Ziele der Testung bestanden darin, zu prüfen, ob die Befragten es als anstrengend empfinden, fünf Vignetten zu bewerten, und – falls ja – welche Gründe hierfür genannt werden. Dazu wurden allen Testpersonen entsprechende kognitive Nachfragen gestellt. Außerdem sollte untersucht werden, ob die Befragten Schwierigkeiten bei der Beantwortung der drei Fragen zu den Vignetten hatten. Hierfür erhielt etwa die Hälfte der Befragten (n = 229) Nachfragen zur Schwierigkeit der Beantwortung des fünften Szenarios.
Befund Web Probing 1:
Wie in Tabelle 41 dargestellt, unterschieden sich die Antworten der Befragten auf Frage 28 (Zufriedenheit mit der dargestellten Schule) und Frage 29 (Wahrscheinlichkeit, einen Umschulungsantrag zu stellen) nur geringfügig über die fünf Vignetten hinweg. Unabhängig vom Inhalt der Vignetten wurde die Zufriedenheit mit den dargestellten Schulen durchweg höher eingeschätzt als die Wahrscheinlichkeit, einen Umschulungsantrag zu stellen. Auch die Antworten auf die beiden Versionen von Frage 30 zeigen über die Vignetten hinweg vergleichbare Muster: Bei allen fünf Vignetten gaben die meisten Testpersonen an, dass ihr Kind das Schulsystem mit dem Abitur verlassen würde (vgl. Tabelle 42) und dass sie sich „eher sicher“ oder „sicher“ seien, dass ihr Kind später das Abitur erreichen würde (vgl. Tabelle 43).
Item-Nonresponse trat auch in dieser Vignettenstudie nur vereinzelt auf. Insgesamt zeigen sich in den Antworten der Befragten keine Hinweise auf Ermüdungseffekte, die durch die wiederholte Bewertung der Szenarien verursacht sein könnten.
Empfinden die Testpersonen die Bearbeitung von fünf Vignetten als anstrengend?
Insgesamt 42,9 % der Befragten gaben an, die Beantwortung der fünf Vignetten sei „eher anstrengend“ (36,9 %) oder „sehr anstrengend“ (6,0 %) gewesen. Hierbei zeigten sich keine Unterschiede zwischen den beiden Formaten, in denen die Szenarien präsentiert wurden (Aufzählungsliste vs. Fließtext; X2(1, N = 199) = 0.71, p = .399). Die Art der Präsentation der Vignetten spielte für die Bewertung der wahrgenommenen Anstrengung daher keine Rolle.
Als Gründe für die wahrgenommene Anstrengung nannten die Befragten vor allem die zu hohe Anzahl der zu bewertenden Szenarien (45,7 %), gefolgt von der Länge des Beschreibungstextes pro Szenario (28,1 %), unrealistisch wirkenden Szenarien (24,6 %) und zu komplizierten Formulierungen (16,6 %). Darüber hinaus wiesen einige Testpersonen auf die allgemeine Komplexität der Aufgabe hin. Mehrere Befragte merkten außerdem an, dass sich die Vignetten stark ähnelten und die Beschreibungen nicht zu ihren Kindern passten.
Haben die Testpersonen Schwierigkeiten, die drei Fragen zu den Vignetten zu beantworten?
Etwa die Hälfte der Befragten (n = 229) erhielt eine Nachfrage dazu, wie schwer es ihnen gefallen war, die drei Fragen zum zuletzt angezeigten Szenario (Vignette 5) zu beantworten. Knapp ein Fünftel dieser Testpersonen (19,6 %, n = 45) berichtete, dass ihnen die Beantwortung der Fragen „eher schwer“ (18,3 %) oder „sehr schwer“ (1,3 %) gefallen sei. Zwischen den beiden Darstellungsformaten (Aufzählungsliste vs. Fließtext) zeigten sich keine signifikanten Unterschiede (X2(1, N = 45) = 0.16, p = .688).
Als Gründe für die wahrgenommene Schwierigkeit nannten die Befragten vor allem:
