Allgemeine Informationen:
Bei Frage 3 handelt es sich um die 1.Fragevariante von 2 verschiedenen zu testenden Fragevarianten. Variante 2 ist als Frage 4 hinterlegt
Fragetext:
Stellen Sie sich den Stand Ihres Wissens und Ihrer Fähigkeiten vor einem Jahr vor und setzen ihn gleich 100. Wie würden Sie den heutigen Stand Ihres Wissens und Ihrer Fähigkeiten einschätzen?
Antwortkategorien:
Offene Frage
Empfehlungen:
Falls man sich für Variante 2 entscheidet, sollten die Kategorien auf einer Liste vorgelegt werden. Das Validitätsproblem, d.h. ob die Frage auch im Sinne des Frageziels verstanden wurde, sollte in Pretest-Runde 2 nochmals untersucht werden.
Eingesetzte kognitive Technik/en:
General Probing
Befund zur Frage:
Von 11 TP wurde kein Wert genannt, und zwar aus drei Gründen:
1. Es war nicht klar, dass ein Wert genannt werden soll (8 TP). Dies ist nicht verwunderlich, da im Fragetext auch nicht explizit verlangt wird, einen Wert zu nennen: „Ich dachte, ich muss da keine Zahl sagen“ (TP 09).
2. Es war nicht klar, wie der Wert ermittelt werden soll (2 TP): „Das habe ich jetzt nicht verstanden. Ein Jahr vorher war 100 und die heutige Situation? Muss ich jetzt schätzen zwischen 0 und 100 oder über 100 oder?“ (TP 22).
3. Es war nicht klar, was mit „Wissen und Fähigkeiten“ gemeint ist (1 TP): „Was? Wie? Was für Wissen und Fähigkeiten? Berufliches Wissen?“ (TP 14).
Vergleich der beiden Varianten
Der kognitive Pretest sollte vor allem klären, welche der beiden Fragevarianten die qualitativ „bessere“ sei. Dazu gibt es folgende Befunde:
Im Pretest wurden keine eindeutigen Diskrepanzen der Antworten zwischen beiden Varianten festgestellt. Auf die Frage, welche der beiden Varianten leichter zu beantworten war, nannten 4 TP Variante 1, 13 TP Variante 2; von 8 TP wurde die Beantwortung als gleich schwer beurteilt. Variante 2 war also eindeutig leichter zu beantworten. Als Begründung wurden vor allem die vorgegebenen Kategorien genannt.
Die Befunde zu Variante 1 zeigen, dass die Frage aus mehreren Gründen problematisch ist. Wir empfehlen deshalb, diese Variante nicht zu verwenden.
Die Antworten der TP auf die Nachfrage „Was meinen Sie: Was will man mit diesen beiden Fragen von Ihnen wissen?“ lassen Zweifel darüber aufkommen, ob beide Fragen auch im Sinne des Fragekonstrukteurs verstanden wurden.
Thema der Frage:
Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
Konstrukt:
Heutiger Stand des Wissens und Fähigkeiten
