Fazit und Empfehlung Web Probing 1:
Die Bewertungen der sechs Vignetten zeigen ein insgesamt konsistentes Antwortverhalten ohne Anzeichen von Ermüdungseffekten. Zwar empfand etwa ein Drittel der Befragten die Aufgabe als anstrengend, und rund ein Fünftel berichtete über Schwierigkeiten bei der Beantwortung; dies hing jedoch meist mit der Komplexität der Aufgabe und teils unrealistischen Kombinationen der Szenarien zusammen. Beide Formulierungen zur finanziellen Situation wurden überwiegend als verständlich eingeschätzt.
Wir empfehlen, den faktoriellen Survey in dieser Form grundsätzlich beizubehalten. Für die Haupterhebung sollte jedoch geprüft werden, ob die Anzahl der Vignetten leicht reduziert werden kann, um die kognitive Belastung zu verringern. Zudem könnte erwogen werden, auf eine vollständige Randomisierung der Dimensionen zu verzichten, um die Szenarien stärker realitätsnah zu gestalten. Diese Entscheidung sollte aber im Lichte der zu prüfenden Hypothesen getroffen werden, da ein sogenanntes „incomplete factorial design“ die Analyseoptionen entsprechend einschränken kann.
Informationen zum faktoriellen Survey und Ziel der Testung (Web Probing 1):
Im Rahmen des ersten Web Probing-Pretests erhielten die Testpersonen insgesamt sechs Vignetten, die verschiedene Status-Zukunftsszenarien ihres Kindes im Alter von 35 Jahren beschrieben. Jede Vignette wurde anhand von zwei Fragen bewertet: Frage 10 erfasste die Zufriedenheit der Befragten mit der dargestellten Situation, Frage 11 den sozialen Status, den das Kind aus Sicht anderer Eltern in der Gesellschaft innehätte.
Die Vignetten unterschieden sich in vier Dimensionen: (1) erreichter Schulabschluss (4 Stufen: Hauptschulabschluss bis allgemeine Hochschulreife), (2) aktuell ausgeübter Beruf (5 Stufen: ISEI-Score ≈10–21 bis ≈74–89), (3) Einkommen in Relation zur Einkommensverteilung in Deutschland (5 Stufen: „ca. 80 % verdienen mehr“ bis „ca. 80 % verdienen weniger“), (4) Lebensstandard (5 Stufen: von „am Monatsende kaum Geld übrig“ bis „regelmäßige größere Ausgaben und ca. 50 % Einkommen als Ersparnis“).
Im Pretest erhielt etwa die Hälfte der Befragten Vignetten mit den Dimensionen (1), (2) und (3), die andere Hälfte mit (1), (2) und (4). Die Ausprägungen der Dimensionen wurden zufällig kombiniert und präsentiert.
Die Ziele der Testung bestanden darin, zu prüfen, ob die Befragten es als anstrengend empfinden, die sechs Vignetten zu bewerten, und – falls ja – welche Gründe hierfür genannt werden. Dazu wurden allen Testpersonen entsprechende kognitive Nachfragen gestellt. Außerdem sollte untersucht werden, ob die Befragten Schwierigkeiten bei der Beantwortung der beiden Fragen zu den Vignetten hatten. Hierfür erhielt etwa die Hälfte der Befragten (n = 241) Nachfragen zur Schwierigkeit der Beantwortung des sechsten Szenarios. Zu guter Letzt sollte überprüft werden, wie verständlich die Befragten die beiden Formulierungen zur finanziellen Situation (Dimension 3 vs. 4) des Kindes bewerteten. Hierzu erhielten alle Testpersonen eine Nachfrage zum sechsten Szenario.
Befund Web Probing 1:
Wie aus Tabelle 16 hervorgeht, unterschieden sich die Antworten der Befragten auf Frage 10 (Zufriedenheit) und Frage 11 (wahrgenommener sozialer Status) nur geringfügig über die sechs Vignetten hinweg. Es zeigen sich somit keine Anzeichen für Ermüdungseffekte, die auf die wiederholte Bewertung der Zukunftsszenarien zurückzuführen wären. Unabhängig vom konkreten Inhalt der Vignetten wurde die eigene Zufriedenheit mit der dargestellten Lebenssituation durchweg höher eingeschätzt als der soziale Status aus Sicht anderer Eltern. Item-Nonresponse trat nur vereinzelt auf.
Empfinden die Testpersonen die Bearbeitung von sechs Vignetten als anstrengend?
Etwa ein Drittel der Befragten (35,3 %, n = 162) gab an, die Beantwortung der sechs Vignetten als „eher anstrengend“ (30,5 %) oder „sehr anstrengend“ (4,8 %) empfunden zu haben. Als Gründe für die wahrgenommene Anstrengung nannten die Befragten vor allem die zu hohe Anzahl der zu bewertenden Szenarien (40,1 %), gefolgt von unrealistisch wirkenden Szenarien (36,4 %) und zu komplizierten Formulierungen (19,8 %). Darüber hinaus wiesen einige Testpersonen auf die allgemeine Komplexität der Aufgabe hin. Mehrere Befragte merkten außerdem an, dass in den Vignetten eine zentrale Dimension fehle – nämlich, ob das Kind mit seiner Situation glücklich wäre. Diese Information sei für die Bewertung der Szenarien entscheidend.
Haben die Testpersonen Schwierigkeiten, die beiden Fragen zu den Vignetten zu beantworten?
Etwa die Hälfte der Befragten (n = 241) erhielt eine Nachfrage dazu, wie schwer es ihnen gefallen war, die beiden Fragen zum zuletzt angezeigten Szenario (Vignette 6) zu beantworten. Knapp ein Fünftel dieser Testpersonen (19,0 %, n = 46) berichtete, dass ihnen die Beantwortung der Fragen „eher schwer“ (17,8 %) oder „sehr schwer“ (1,2 %) gefallen sei. Als Hauptgründe für die wahrgenommene Schwierigkeit nannten die Befragten vor allem:
Wie verständlich bewerten die Testpersonen die beiden unterschiedlichen Formulierungen zur finanziellen Situation des Kindes?
Die Vignetten unterschieden sich darin, wie die finanzielle Situation des Kindes beschrieben wurde. Entweder wurde das Einkommen in Relation zur Einkommensverteilung in Deutschland dargestellt (z. B. „Mit seinem/ihrem Gehalt liegt es im oberen Drittel der Einkommensverteilung in Deutschland (ca. zwei Drittel verdienen weniger).“) oder über den Lebensstandard (z. B. „Die finanzielle Situation Ihres Kindes gestaltet sich folgendermaßen: Ihr Kind verdient so viel, dass es sich vereinzelt Ausgaben für Freizeit und Hobbys leisten kann und circa 5 % vom Einkommen für Ersparnisse zurücklegen kann.“). Zur Überprüfung der Verständlichkeit dieser beiden Formulierungen beantworteten die Testpersonen eine geschlossene Nachfrage.
Insgesamt gaben 19 Testpersonen (4,1 %) an, die Formulierung zur finanziellen Situation des Kindes sei „eher unverständlich“ (n = 17) oder „sehr unverständlich“ (n = 2) gewesen. Dabei zeigten sich keine statistisch signifikanten Unterschiede zwischen der Einkommen- und der Lebensstandard-Formulierung (X2(1, N = 19) = 0.17, p = .683).
