zur Pretest Datenbank Pretest-Datenbank
Projektname:PIAAC Runde 1
  2. Allgemeine Informationen: Bei Frage 3 handelt es sich um die 1.Fragevariante von 2 verschiedenen zu testenden Fragevarianten. Variante 2 ist als Frage 4 hinterlegt
  3. Fragetext: Stellen Sie sich den Stand Ihres Wissens und Ihrer Fähigkeiten vor einem Jahr vor und setzen ihn gleich 100. Wie würden Sie den heutigen Stand Ihres Wissens und Ihrer Fähigkeiten einschätzen?
  5. Antwortkategorien Offene Frage
    1. Empfehlungen: Falls man sich für Variante 2 entscheidet, sollten die Kategorien auf einer Liste vorgelegt werden. Das Validitätsproblem, d.h. ob die Frage auch im Sinne des Frageziels verstanden wurde, sollte in Pretest-Runde 2 nochmals untersucht werden.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting General Probing
  3. Befund zur Frage: Von 11 TP wurde kein Wert genannt, und zwar aus drei Gründen:

    1. Es war nicht klar, dass ein Wert genannt werden soll (8 TP). Dies ist nicht verwunderlich, da im Fragetext auch nicht explizit verlangt wird, einen Wert zu nennen: „Ich dachte, ich muss da keine Zahl sagen“ (TP 09).
    2. Es war nicht klar, wie der Wert ermittelt werden soll (2 TP): „Das habe ich jetzt nicht verstanden. Ein Jahr vorher war 100 und die heutige Situation? Muss ich jetzt schätzen zwischen 0 und 100 oder über 100 oder?“ (TP 22).
    3. Es war nicht klar, was mit „Wissen und Fähigkeiten“ gemeint ist (1 TP): „Was? Wie? Was für Wissen und Fähigkeiten? Berufliches Wissen?“ (TP 14).

    Vergleich der beiden Varianten

    Der kognitive Pretest sollte vor allem klären, welche der beiden Fragevarianten die qualitativ „bessere“ sei. Dazu gibt es folgende Befunde:

    Im Pretest wurden keine eindeutigen Diskrepanzen der Antworten zwischen beiden Varianten festgestellt. Auf die Frage, welche der beiden Varianten leichter zu beantworten war, nannten 4 TP Variante 1, 13 TP Variante 2; von 8 TP wurde die Beantwortung als gleich schwer beurteilt. Variante 2 war also eindeutig leichter zu beantworten. Als Begründung wurden vor allem die vorgegebenen Kategorien genannt.

    Die Befunde zu Variante 1 zeigen, dass die Frage aus mehreren Gründen problematisch ist. Wir empfehlen deshalb, diese Variante nicht zu verwenden.

    Die Antworten der TP auf die Nachfrage „Was meinen Sie: Was will man mit diesen beiden Fragen von Ihnen wissen?“ lassen Zweifel darüber aufkommen, ob beide Fragen auch im Sinne des Fragekonstrukteurs verstanden wurden.
  2. Thema der Frage: Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
  3. Konstrukt: Heutiger Stand des Wissens und Fähigkeiten