Fazit und Empfehlung (Web Probing 1 & 2):
Die Ergebnisse zeigen, dass Frage 14 insgesamt gut funktioniert. Der sehr geringe Item-Nonresponse sowie der niedrige Anteil berichteter Schwierigkeiten sprechen dafür, dass die Befragten in der Lage sind, sich in beiden Frageversionen auf der vorgegebenen Skala zu verorten.
Die wenigen berichteten Schwierigkeiten sind überwiegend konzeptioneller Natur und beziehen sich auf ein erweitertes Bildungsverständnis, das über formale Abschlüsse hinausgeht. Diese Rückmeldungen sind nachvollziehbar, stellen die grundsätzliche Eignung der Frage jedoch nicht infrage.
Der Vergleich der beiden Frageversionen im zweiten Web Probing-Pretest zeigt keine signifikanten Unterschiede hinsichtlich der wahrgenommenen Schwierigkeit oder des Antwortverhaltens. Es ergeben sich somit keine Hinweise darauf, dass die unterschiedliche Formulierung der Skalenendpunkte einen relevanten Einfluss auf die Beantwortung der Frage hat. Insgesamt besteht also kein Überarbeitungsbedarf. Beide Frageversionen erscheinen gleichermaßen geeignet.
Für die Haupterhebung empfehlen wir, die Frageversion mit expliziter Nennung zentraler Bildungsniveaus (Version 1) zu verwenden, da somit eine konsistente Frageformulierung zu den Fragen 1 bis 3 sichergestellt ist.
Informationen zur Frage und Ziele der Testung (Web Probing 1 & 2):
Frage 14 erfasst den subjektiv wahrgenommenen Bildungsstatus der Befragten. Im Rahmen des Pretests wurden zwei Frageversionen getestet, die sich hinsichtlich der Formulierung der Endpunkte der Antwortskala unterschieden. In Version 1 wurden die Skalenendpunkte durch konkrete Bildungsabschlüsse definiert („1 = keine Abschluss“ bis „10 = Masterabschluss an einer Universität“), während in Version 2 unspezifische Formulierungen verwendet wurden („1 = sehr niedriges Bildungsniveau“ bis „10 = sehr hohes Bildungsniveau“).
Im Zuge des ersten Web Probing-Pretests sollte ermittelt werden, ob es den Testpersonen schwerfällt, Version 2 der Frage zu beantworten. Die kognitive Nachfrage wurde etwa einem Drittel der Befragten (n = 156) gestellt.
Im zweiten Web Probing-Pretest wurden die Testpersonen zufällig einer der beiden Frageversionen zugeteilt. Auch hier wurde getestet, ob es den Testpersonen schwerfällt, die beiden Frageversionen zu beantworten. Die kognitiven Nachfragen wurden etwa einem Drittel der Befragten (n = 163) gestellt.
Befund Web Probing 1:
Eine Testperson ließ Frage 14 (Version 2) unbeantwortet. Die übrigen Befragten nutzten zur Beantwortung der Frage die gesamte Skalenbreite, wobei sie am häufigsten die Skalenpunkte 7 (31,9 %) und 8 (24,8 %) auswählten (vgl. Tabelle 19). Der Großteil der Befragten (86,0 %) ordnete sich auf einer Stufe in der oberen Hälfte der Leiter (Skalenpunkte 6 bis 10) ein. Der Mittelwert und Median der Antworten beliefen sich auf 7 (M = 7.0, SD = 1.5, Md = 7).
Knapp ein Drittel der Testpersonen gab an, dass ihnen die Beantwortung der Frage „eher schwer“ (28,2 %) oder „sehr schwer“ (1,9 %) gefallen sei.
Befund Web Probing 2:
Zwei Testpersonen ließen die Frage in Version 2 unbeantwortet. Die übrigen Befragten nutzten in beiden Frageversionen die gesamte Skalenbreite, wobei sie am häufigsten die Skalenpunkte 7 und 8 auswählten (vgl. Tabelle 20). Hinsichtlich der deskriptiven Kennwerte zeigten sich kaum Unterschiede zwischen den beiden Frageversionen (vgl. Tabelle 21). Die Mittelwerte der beiden Versionen unterschieden sich nicht signifikant voneinander (t(435) = 0.51, p = .609). Ebenso wenig unterschieden sich die Varianten hinsichtlich des Zusammenhangs zwischen dem höchsten Schulabschluss der Befragten (1 = kein Abschluss bis 5 = Abitur) und den Antworten auf die jeweiligen Frageversionen (V1: r = .12, p = .067; V2: r = .11, p = .117).
Insgesamt berichteten nur 9,2 % (n = 15) der Testpersonen, dass ihnen die Beantwortung von Frage 14 „eher schwer“ (8,0 %) oder „sehr schwer“ (1,2 %) gefallen sei. Hierbei zeigte sich kein statistisch signifikanter Unterschied zwischen den Frageversionen (X2(3, N = 163) = 2.02, p = .569).
