Fazit und Empfehlung Web Probing 2:
Insgesamt funktioniert Frage 13 gut. Zwar berichtet ein Teil der Befragten von Schwierigkeiten, diese sind jedoch inhaltlich nachvollziehbar und ergeben sich vor allem aus der hypothetischen und zukunftsbezogenen Natur der Szenarien. Hinweise auf systematische Probleme, wie etwa Ermüdungseffekte oder erhöhte Ausfallraten, zeigen sich nicht.
Wir empfehlen, den faktoriellen Survey in dieser Form grundsätzlich beizubehalten. Für die Haupterhebung sollte jedoch geprüft werden, ob die Anzahl der Vignetten leicht reduziert werden kann, um die kognitive Belastung zu verringern. Zudem könnte erwogen werden, auf eine vollständige Randomisierung der Dimensionen zu verzichten, um die Szenarien stärker realitätsnah zu gestalten. Diese Entscheidung sollte aber im Lichte der zu prüfenden Hypothesen getroffen werden, da ein sogenanntes „incomplete factorial design“ die Analyseoptionen entsprechend einschränken kann.
Informationen zum faktoriellen Survey und Ziel der Testung (Web Probing 2):
Im Rahmen des zweiten Web Probing-Pretests erhielten die Testpersonen insgesamt sechs Vignetten, die verschiedene Status-Zukunftsszenarien ihres Kindes im Alter von 35 Jahren beschrieben. Für jede Vignette wurde die Zufriedenheit der Befragten mit der dargestellten Situation abgefragt.
Die Vignetten unterschieden sich in drei Dimensionen: (1) erreichter Berufsabschluss (5 Stufen: „keinen beruflichen Abschluss“ bis „abgeschlossenes Master-Studium“), (2) aktuell ausgeübter Beruf (5 Stufen: ISEI-Score ≈10–24 bis ≈70–76), (3) Einkommen in Relation zur Einkommensverteilung in Deutschland (5 Stufen: „ca. 80 % verdienen mehr“ bis „ca. 80 % verdienen weniger). Die Ausprägungen der Dimensionen wurden zufällig kombiniert und präsentiert.
Die Ziele der Testung bestanden darin, zu prüfen, ob die Befragten Schwierigkeiten bei der Beantwortung von Frage 13 zu den Vignetten hatten. Hierfür erhielten sie Nachfragen zur Schwierigkeit der Beantwortung des sechsten Szenarios.
Befund Web Probing 2:
Wie aus Tabelle 18 hervorgeht, unterschieden sich die Antworten der Befragten auf Frage 13 nur geringfügig über die sechs Vignetten hinweg. Es zeigen sich somit keine Anzeichen für Ermüdungseffekte, die auf die wiederholte Bewertung der Zukunftsszenarien zurückzuführen wären. Item-Nonresponse trat nur vereinzelt auf.
Haben die Testpersonen Schwierigkeiten, Frage 13 zu den Vignetten zu beantworten?
Gut ein Fünftel der Testpersonen (23,6 %) berichtete, dass ihnen die Beantwortung der Fragen „eher schwer“ (20,6 %) oder „sehr schwer“ (3,0 %) gefallen sei.
Am häufigsten wurde die wahrgenommene Schwierigkeit damit begründet, dass die eigene Zufriedenheit mit der Lebenssituation des Kindes nur eine untergeordnete Rolle spiele und stattdessen die Verwirklichung und die Zufriedenheit des Kindes entscheidend seien.
Darüber hinaus wurde angeführt, dass das Szenario zu weit von der aktuellen Lebenssituation entfernt sei, etwa aufgrund des Alters des Kindes.
Einige Befragte empfanden das beschriebene Szenario als wenig plausibel (z. B. aufgrund als unrealistisch wahrgenommener Gehaltsangaben für bestimmte Berufe) oder als schwer vorstellbar.
In wenigen Fällen wurde auch die Vielzahl der im Szenario enthaltenen Faktoren als erschwerend genannt („Weil so viele Faktoren eine Rolle spielen in diesen Szenarien.“, TP364).
