Da alle Testpersonen Frage 10 beantworteten und ihre Antworten gemäß der Frageintention begründeten, kann die Frage belassen werden. Um die Beantwortung angenehmer zu machen, kann die Frage leicht formuliert werden, um deutlich zu machen, dass es sich um eine subjektive Einschätzung handelt, z. B. mit den Worten „eher“ oder „voraussichtlich“ und eventuell auch mit dem Hinweis, dass es um die Zeit nach der schulischen Ausbildung „als Erwachsene“ geht:
„Welche der beiden Personen wird [eher / voraussichtlich] [als Erwachsene] ein höheres Ansehen in unserer Gesellschaft erreichen?“
Frageformat und Antwortoptionen: Zwar beantworteten die Testpersonen alle Frage 10 und mit einer Ausnahme auch die Fragen 11 und 12. Zudem gaben sie konsistente Antworten auf die drei Fragen. Allerdings äußerten mehrere Testpersonen Bedenken bezüglich des Inhalts der Frage, die sie als unangenehm und anhand der verfügbaren Informationen als nicht beantwortbar empfanden. Wir empfehlen daher, die Non-response- und Abbruchrate bei diesem Frageblock in einem quantitativen Pretest zu untersuchen.
Um es den Befragten zu erleichtern, ihre Antworten in Bezug zueinander zu setzen, kann erwogen werden, die drei Fragen auf einer Seite zu präsentieren (vgl. Fragen 7 bis 9). Damit wüssten die Befragten, dass auf die binäre Abfrage noch die Möglichkeit einer differenzierteren Abfrage folgt. Alternativ kann ein „Zurück“-Button in die spätere Umfrage eingebaut werden.
Informationen zur Frage und Ziel der Testung:
Frage 10 soll binär erfassen, welcher der beiden in den Vignetten beschriebenen Personen ein höheres gesellschaftliches Ansehen zugeschrieben wird.
Leitfragen und Befunde:
Bei Frage 10 gaben vier Testpersonen an, dass Person A ein höheres Ansehen in der Gesellschaft erreichen werde, und zwei erwarteten, dass Person B ein höheres Ansehen erreichen werde. Eine Testperson ließ die darauffolgenden Fragen 11 und 12 unbeantwortet. Die anderen fünf Testpersonen gaben konsistente Antworten auf die drei Fragen, d. h. sie gaben derjenigen Person einen höheren Wert in den Fragen 11 bzw. 12, die sie in Frage 10 ausgewählt hatten. Die Differenz zwischen den Werten in den Fragen 11 und 12 fiel durchschnittlich etwas geringer aus (Mittelwert: 2,2 Skalenpunkte) als in den Fragen 8 und 9 (Mittelwert: 3 Skalenpunkte).
Was verstehen die Testpersonen unter dem Begriff „Ansehen“ in Frage 10 bis 12?
Die Testpersonen verbanden den Begriff „Ansehen“ vor allem damit, wie Menschen bei einer ersten Begegnung auf eine Person reagieren und diese behandeln, bzw. ob der Umgang von Anerkennung und Respekt geprägt sei (TP02, 04, 05, 06):
Zwei Testpersonen dachten beim Erlangen von Ansehen vor allem an Berufs- und Karriereaussichten (TP01, 03):
Wie entscheiden sich die Testpersonen bei Frage 10 für eine der beiden beschriebenen Personen?
Die vier Testpersonen, die sich für Person A entschieden, begründeten dies mit der deutschen Herkunft von Person A:
Die beiden Testpersonen, die sich für Person B entschieden, begründeten dies hingegen mit dem höheren Bildungsabschluss, der sich langfristig auszahlen würde:
Wie leicht oder schwer fällt es den Testpersonen, sich für eine Person in Frage 10 zu entscheiden?
Vier Testpersonen gaben an, dass es ihnen schwergefallen sei, sich für eine Person in Frage 10 zu entscheiden. Sie gaben zu bedenken, dass das Erlangen von Ansehen in höchstem Maße von der individuellen Persönlichkeit abhänge, und sich die Frage anhand der gegebenen Informationen kaum beantworten lasse.
Eine Testperson versuchte das Problem der fehlenden Information so zu lösen, dass sie sich die beschriebenen Personen konkret vorstellte. Dabei entfernte sie sich allerdings zunehmend von den angegebenen Vignetten und fokussierte ihre Antwort auf die Dimension des Spracherwerbs:
Eine Person empfand eine solche Bewertung gar als „rassistisch“ und die Fragen 10 bis 12 als unangenehm (TP03). Diese Testperson würde die Fragen 13 bis 15 aufgrund derselben Problematik unbeantwortet lassen (vgl. Fragen 13 bis 16):
