Einleitung
Bitte stellen Sie sich nun einmal folgendes Szenario vor. Nehmen Sie an, Ihre Familie würde umziehen und Ihr Kind müsste auf eine neue Schule gehen. Im Folgenden lesen Sie kurze Beschreibungen zu fünf möglichen Grundschulen, die alle in der Nähe Ihres neuen Wohnorts liegen. Bitte beantworten Sie zu den Schulen drei kurze Fragen.
Beispiel-Vignette 1
Schule 1:
Beispiel-Vignette 2
Schule 2:
Beispiel-Vignette 3
Schule 3:
Beispiel-Vignette 4
Schule 4:
Beispiel-Vignette 5
Schule 5:
Fazit und Empfehlung Web Probing 2:
Die Bewertungen der fünf Vignetten zeigen ein insgesamt konsistentes Antwortverhalten ohne Anzeichen von Ermüdungseffekten. Berichtete Schwierigkeiten sind vor allem auf die Vielzahl der zu berücksichtigenden Informationen, auf teils unrealistische Kombinationen einzelner Merkmalsausprägungen und auf Unterschiede im Umfang der dargestellten Informationen zwischen den einzelnen Vignetten zurückzuführen.
Wir empfehlen, den faktoriellen Survey in seiner Grundstruktur beizubehalten. Für die Haupterhebung sollte jedoch geprüft werden, ob auf eine vollständige Randomisierung der Dimensionen verzichtet werden kann, um die Szenarien stärker realitätsnah zu gestalten. Des Weiteren sollte die Anzahl der pro Vignette angezeigten Dimensionen konsistent gehalten werden.
Informationen zu den Fragen und Ziel der Testung (Web Probing 2):
Der Fragebogen enthielt eine zweite Vignettenstudie, in der die Testpersonen insgesamt fünf Vignetten mit Beschreibungen von Grundschulen bewerten sollten. Jede Vignette wurde anhand von drei Fragen beurteilt: Frage 32 erfasste die Zufriedenheit der Befragten mit der dargestellten Grundschule, Frage 33 die Wahrscheinlichkeit, einen Umschulungsantrag zu stellen, falls das Kind der beschriebenen Schule zugewiesen würde und Frage 34, wie gut die Schule das Kind auf die weiterführende Schule vorbereitet.
Die Vignetten unterschieden sich in den folgenden acht Dimensionen, wobei vier dieser Dimensionen nochmals variiert wurden:
Die Anzahl der angezeigten Dimensionen variierte zwischen den fünf Vignetten und reichte von mindestens drei bis höchstens acht Dimensionen. Die Ausprägungen der Dimensionen wurden zufällig kombiniert.
Die Ziele der Testung bestanden darin, zu prüfen, ob die Befragten Schwierigkeiten bei der Beantwortung der drei Fragen zu den Vignetten hatten. Hierfür erhielten die Befragten Nachfragen zur Schwierigkeit der Beantwortung des fünften Szenarios.
Befund Web Probing 2:
Wie in Tabelle 45 dargestellt, unterschieden sich die Antworten der Befragten auf alle drei Fragen nur geringfügig zwischen den fünf Vignetten. Unabhängig vom Inhalt der Vignetten wurden sowohl die Zufriedenheit mit den dargestellten Schulen (Frage 32) als auch die Einschätzung, wie gut die Schulen die Kinder auf die weiterführende Schule vorbereiten (Frage 34), durchweg höher bewertet als die Wahrscheinlichkeit, einen Umschulungsantrag zu stellen (Frage 33).
Item-Nonresponse trat auch in dieser Vignettenstudie nur vereinzelt auf, sodass keine Hinweise auf Ermüdungseffekte durch die wiederholte Bewertung der Szenarien vorliegen.
Haben die Testpersonen Schwierigkeiten, die drei Fragen zu den Vignetten zu beantworten?
Die Befragten erhielten eine Nachfrage dazu, wie schwer es ihnen gefallen war, die drei Fragen zum zuletzt angezeigten Szenario (Vignette 5) zu beantworten. Knapp ein Fünftel der Testpersonen (18,6 %, n = 81) berichtete, dass ihnen die Beantwortung der Fragen „eher schwer“ (16,3 %) oder „sehr schwer“ (2,3 %) gefallen sei.
Als Gründe für die wahrgenommene Schwierigkeit nannten die Befragten vor allem:
