General Information:
Bei Frage 4 handelt es sich um die 2.Fragevariante von 2 verschiedenen zu testenden Fragevarianten. Variante 1 ist als Frage 3 hinterlegt
Question Text:
Wie würden Sie den heutigen Stand Ihres Wissens und Ihrer Fähigkeiten im Vergleich mit dem Stand vor einem Jahr einschätzen? Würden Sie sagen, er hat sich deutlich verbessert, etwas verbessert, ist etwa gleich geblieben, hat sich etwas verschlechtert oder hat sich deutlich verschlechtert?
Answer Categories:
Deutlich verbessert
Etwas verbessert
Etwa gleich geblieben
Etwas verschlechtert
Deutlich verschlechtert
Weiß nicht
Verweigert
Recommendations:
Falls man sich für Variante 2 entscheidet, sollten die Kategorien auf einer Liste vorgelegt werden. Das Validitätsproblem, d.h. ob die Frage auch im Sinne des Frageziels verstanden wurde, sollte in Pretest-Runde 2 nochmals untersucht werden.
General Probing
Findings for Question:
Auffallend ist, dass nur eine TP eine Kategorie im negativen Bereich gewählt hat (etwas verschlechtert)
Zwei TP konnten nicht alle Kategorien behalten.
Eine TP nennt keine Kategorie, weil sie zwischen beruflichem und privatem Bereich differenzieren will: „Beruflich verschlechtert, häuslich verbessert“ (TP 15).
Eine TP nennt die Kategorie „etwa gleich geblieben“ nur „unter Einschränkung“, weil sie unsicher ist, was genau mit der Frage gemeint ist.
Vergleich der beiden Varianten
Der kognitive Pretest sollte vor allem klären, welche der beiden Fragevarianten die qualitativ „bessere“ sei. Dazu gibt es folgende Befunde:
Im Pretest wurden keine eindeutigen Diskrepanzen der Antworten zwischen beiden Varianten festgestellt. Auf die Frage, welche der beiden Varianten leichter zu beantworten war, nannten 4 TP Variante 1, 13 TP Variante 2; von 8 TP wurde die Beantwortung als gleich schwer beurteilt. Variante 2 war also eindeutig leichter zu beantworten. Als Begründung wurden vor allem die vorgegebenen Kategorien genannt.
Die Befunde zu Variante 1 zeigen, dass die Frage aus mehreren Gründen problematisch ist. Wir empfehlen deshalb, diese Variante nicht zu verwenden.
Die Antworten der TP auf die Nachfrage „Was meinen Sie: Was will man mit diesen beiden Fragen von Ihnen wissen?“ lassen Zweifel darüber aufkommen, ob beide Fragen auch im Sinne des Fragekonstrukteurs verstanden wurden.
Question Topic:
Job and career/ Job situation & professional activity
Construct:
Heutiger Stand des Wissens und Fähigkeiten
