Die Anzahl der Skalenpunkte kann bei Bedarf reduziert werden (siehe Fragen 9 und 10). Zudem empfehlen wir, beim Layout darauf zu achten, dass die Mittelkategorie als solche klar erkennbar ist.
Frageformat und Antwortoptionen: Zwar beantworteten die Testpersonen alle Frage 10 und mit einer Ausnahme auch die Fragen 11 und 12. Zudem gaben sie konsistente Antworten auf die drei Fragen. Allerdings äußerten mehrere Testpersonen Bedenken bezüglich des Inhalts der Frage, die sie als unangenehm und anhand der verfügbaren Informationen als nicht beantwortbar empfanden. Wir empfehlen daher, die Non-response- und Abbruchrate bei diesem Frageblock in einem quantitativen Pretest zu untersuchen.
Um es den Befragten zu erleichtern, ihre Antworten in Bezug zueinander zu setzen, kann erwogen werden, die drei Fragen auf einer Seite zu präsentieren (vgl. Fragen 7 bis 9). Damit wüssten die Befragten, dass auf die binäre Abfrage noch die Möglichkeit einer differenzierteren Abfrage folgt. Alternativ kann ein „Zurück“-Button in die spätere Umfrage eingebaut werden.
Informationen zur Frage und Ziel der Testung:
Frage 12 soll die Einschätzung der gesellschaftlichen Stellung der beiden in den Vignetten beschriebenen Personen ordinalskaliert erfassen.
Leitfragen und Befunde:
Bei Frage 10 gaben vier Testpersonen an, dass Person A ein höheres Ansehen in der Gesellschaft erreichen werde, und zwei erwarteten, dass Person B ein höheres Ansehen erreichen werde. Eine Testperson ließ die darauffolgenden Fragen 11 und 12 unbeantwortet. Die anderen fünf Testpersonen gaben konsistente Antworten auf die drei Fragen, d. h. sie gaben derjenigen Person einen höheren Wert in den Fragen 11 bzw. 12, die sie in Frage 10 ausgewählt hatten. Die Differenz zwischen den Werten in den Fragen 11 und 12 fiel durchschnittlich etwas geringer aus (Mittelwert: 2,2 Skalenpunkte) als in den Fragen 8 und 9 (Mittelwert: 3 Skalenpunkte).
Was verstehen die Testpersonen unter dem Begriff „Ansehen“ in Frage 10 bis 12?
Die Testpersonen verbanden den Begriff „Ansehen“ vor allem damit, wie Menschen bei einer ersten Begegnung auf eine Person reagieren und diese behandeln, bzw. ob der Umgang von Anerkennung und Respekt geprägt sei (TP02, 04, 05, 06):
Zwei Testpersonen dachten beim Erlangen von Ansehen vor allem an Berufs- und Karriereaussichten (TP01, 03):
Wie entscheiden sich die Testpersonen für Skalenwerte in Fragen 11 und 12?
Die Testpersonen reflektierten die Bedeutung der Eigenschaften in den Vignetten für die Dimension „Ansehen“ und versuchten diese auf die Skala von 0 bis 10 zu übertragen. Dies geschah in manchen Fällen dadurch, dass die Testpersonen die Werte für die beiden Personen in Bezug zueinander setzten oder durch ein Abzählen:
Auch bei den Fragen 11 und 12 äußerten mehrere Testpersonen, dass ihnen die Auswahl schwerfalle. Eine Testperson ließ gar beide Fragen unbeantwortet, obwohl sie Frage 10 beantwortet hatte (TP04). Sie begründete dies damit, dass sie zwar in der Lage sei, die Chancen der Personen auf Ansehen „im Vergleich“ zu bewerten. In den Fragen 11 und 12 störte sie sich dann an der Frageformulierung, die eine Prognose verlange, die sie nicht abgeben könne („Dadurch, dass in der Frage ‚erreichen wird‘ und nicht ‚erreichen könnte‘ steht, ist es schwerer, weil ich das nicht wissen kann. Durch die Information allein kann ich es nicht sagen“, TP04).
Eine weitere Testperson erläuterte, dass die Zukunft der beiden Personen unberechenbar sei. Sie entschied sich daher für Person A für den Mittelwert 5 und gab Person B den leicht höheren Wert 7 (TP05). Möglicherweise erklärt das gedankliche Vorgehen der Testperson die näher aneinander liegenden Werte in Fragen 11 und 12 im Vergleich zu Fragen 8 und 9 nach der Ähnlichkeit:
