Die Ergebnisse des Pretests deuten darauf hin, dass eine kürzere Antwortskala ausreichen würde, um die Ähnlichkeit zu Personen A und B zu erfassen. Zudem empfehlen wir, beim Layout darauf zu achten, dass die Mittelkategorie – sofern diese gewünscht ist – als solche klar erkennbar ist.
Frageformat und Antwortoptionen: Um es den Befragten zu erleichtern, ihre Antworten in Bezug zueinander zu setzen, kann erwogen werden, die drei Fragen auf einer Seite zu präsentieren. Damit wüssten die Befragten, dass auf die binäre Abfrage noch die Möglichkeit einer differenzierteren Abfrage folgt. Alternativ kann ein „Zurück“ Button in die spätere Umfrage eingebaut werden.
Zudem weisen wir darauf hin, dass die Zusammenstellung der Vignetten nicht Teil des kognitiven Pretests war. Eine etwaige Überprüfung der Vignetten sollte durch Experten auf diesem Gebiet stattfinden.
Informationen zur Frage und Ziel der Testung:
Frage 8 soll die Einschätzung der empfundenen Ähnlichkeit der Befragten mit den beiden in den Vignetten beschriebenen Personen ordinalskaliert erfassen.
Leitfragen und Befunde:
Bei Frage 7 gaben fünf Testpersonen an, dass ihnen Person A ähnlicher sei. Eine Person ließ die Frage unbeantwortet. Die Testpersonen, die angaben, dass Person A ihnen ähnlicher sei, wählten bei Frage 8 einen höheren Wert (zwischen 4 und 7) als bei Frage 9 (zwischen 1 und 4) mit einer durchschnittlichen Differenz von drei Skalenpunkten. Die Testperson, die sich bei Frage 7 nicht für eine der beiden Personen entscheiden konnte, gab in Fragen 8 und 9 beide Male den Wert 5 an. Somit gaben alle Testpersonen konsistente Antworten auf die drei Fragen.
Wie entscheiden sich die Testpersonen für Skalenwerte in den Fragen 8 und 9?
Die Testperson, die sich in Frage 7 nicht für eine der beiden Personen entscheiden konnte, tat sich dafür bei Fragen den 8 und 9 leicht, sich für den Mittelwert 5 zu entscheiden:
Die anderen Testpersonen reflektierten die zutreffenden und nicht zutreffenden Eigenschaften und versuchten diese auf die Skala von 0 bis 10 zu übertragen. Dies geschah oft durch ein Abzählen, wurde aber in manchen Fällen noch um ein subjektives Empfinden angepasst:
Bei anderen Testpersonen überwog ihr subjektives Empfinden beim Auswählen eines Wertes:
Wie empfinden die Testpersonen die Anzahl an Skalenpunkten in den Fragen 8 und 9?
Die Testpersonen gaben an, anhand der Skala von 0 bis 10 antworten zu können, allerdings zeugten mehrere Ausführungen davon, dass weniger Skalenpunkte zur Beantwortung der Fragen ausreichen würden, bzw. dass eine so differenzierte Antwort wie die Skala erfordere kaum möglich sei.
Beispielsweise machte eine Person darauf aufmerksam, dass man am präzisesten antworten könne, wenn es so viele Skalenpunkte wie genannte Eigenschaften gäbe (TP06). Eine weitere Testperson erläuterte, dass es ihr bei Person A, bei der sie es schwieriger fand, sich für einen Wert zu entscheiden, hilfreich gewesen wäre, weniger Skalenpunkte zu haben, um sich „einfach zwischen der Mitte und voll zustimmend“ verorten zu können (TP05). Bei einer Testperson blieb unklar, ob sie den Wert 5 als Mitte der Skala erkannte oder den Mittelwert fälschlicherweise als zwischen 5 und 6 liegend verortete (TP04).
