zur Pretest Datenbank Pretest-Datenbank
Projektname:PIAAC Runde 1
  2. Allgemeine Informationen: Bei Frage 4 handelt es sich um die 2.Fragevariante von 2 verschiedenen zu testenden Fragevarianten. Variante 1 ist als Frage 3 hinterlegt
  3. Fragetext: Wie würden Sie den heutigen Stand Ihres Wissens und Ihrer Fähigkeiten im Vergleich mit dem Stand vor einem Jahr einschätzen? Würden Sie sagen, er hat sich deutlich verbessert, etwas verbessert, ist etwa gleich geblieben, hat sich etwas verschlechtert oder hat sich deutlich verschlechtert?
  5. Antwortkategorien Deutlich verbessert

    Etwas verbessert

    Etwa gleich geblieben

    Etwas verschlechtert

    Deutlich verschlechtert

    Weiß nicht

    Verweigert

    1. Empfehlungen: Falls man sich für Variante 2 entscheidet, sollten die Kategorien auf einer Liste vorgelegt werden. Das Validitätsproblem, d.h. ob die Frage auch im Sinne des Frageziels verstanden wurde, sollte in Pretest-Runde 2 nochmals untersucht werden.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting General Probing
  3. Befund zur Frage: Auffallend ist, dass nur eine TP eine Kategorie im negativen Bereich gewählt hat (etwas verschlechtert)

    Zwei TP konnten nicht alle Kategorien behalten.

    Eine TP nennt keine Kategorie, weil sie zwischen beruflichem und privatem Bereich differenzieren will: „Beruflich verschlechtert, häuslich verbessert“ (TP 15).

    Eine TP nennt die Kategorie „etwa gleich geblieben“ nur „unter Einschränkung“, weil sie unsicher ist, was genau mit der Frage gemeint ist.

    Vergleich der beiden Varianten

    Der kognitive Pretest sollte vor allem klären, welche der beiden Fragevarianten die qualitativ „bessere“ sei. Dazu gibt es folgende Befunde:

    Im Pretest wurden keine eindeutigen Diskrepanzen der Antworten zwischen beiden Varianten festgestellt. Auf die Frage, welche der beiden Varianten leichter zu beantworten war, nannten 4 TP Variante 1, 13 TP Variante 2; von 8 TP wurde die Beantwortung als gleich schwer beurteilt. Variante 2 war also eindeutig leichter zu beantworten. Als Begründung wurden vor allem die vorgegebenen Kategorien genannt.

    Die Befunde zu Variante 1 zeigen, dass die Frage aus mehreren Gründen problematisch ist. Wir empfehlen deshalb, diese Variante nicht zu verwenden.

    Die Antworten der TP auf die Nachfrage „Was meinen Sie: Was will man mit diesen beiden Fragen von Ihnen wissen?“ lassen Zweifel darüber aufkommen, ob beide Fragen auch im Sinne des Fragekonstrukteurs verstanden wurden.
  2. Thema der Frage: Arbeit & Beruf/ Arbeitssituation & Berufstätigkeit
  3. Konstrukt: Heutiger Stand des Wissens und Fähigkeiten