General Probing, Specific Probing, Conditional Probing.
Neben der Beantwortung der beiden zu testenden Interfaces „Combo-Box“ und „Search Tree“ wurden die Testpersonen zu Beginn des Fragebogens gebeten einige zusätzliche Fragen zu ihrer Bildungshistorie anzugeben.
Die Antworten auf die Frage „Wie viele Jahre haben Sie insgesamt mit Schule, Ausbildung und Studium verbracht? Damit sind auch betriebliche oder duale Ausbildungen gemeint.“ ergeben, dass die Testpersonen des Pretests mindestens 12 Jahre (TP 25, 26) und maximal 25 Jahre (TP 05, 18) mit Schule, Ausbildung und Studium verbracht haben. Im kognitiven Interview wurden die Testpersonen gebeten zu erläutern, wie Sie zu dieser Angabe gekommen sind und wie leicht oder schwer Ihnen die Beantwortung dieser Frage gefallen ist. Aus den Antworten der Testpersonen geht hervor, dass diese ihre Berechnung strukturiert haben, indem sie die Bildungsjahre entlang ihrer Biografie aufsummiert haben. Demnach wurden die Schuljahre zuerst zusammengefasst, danach die Hochschul- oder Ausbildungsjahre und im Anschluss noch eventuelle Weiterbildungen.
- „Vier Jahre Grundschule, neun Jahre Gymnasium, zwei Jahre duale Ausbildung und sechs Jahre Studium und dann zusammengezählt.“ (TP 06, Antwort: 21 Jahre)
- „Zwölf Jahre von der ersten Klasse bis zum Abi, dann drei Jahre Studienzeit. (TP 16, Antwort: 15 Jahre)“
Trotz des systematischen Vorgehens der Testpersonen bewerteten elf Testpersonen die Frage als „eher schwer“. Zwei Testpersonen fiel die Antwort „sehr schwer“. Gründe dafür liegen vor allem in der kognitiven Leistung, welche durch Erinnerung und Zusammenzählen der Bildungsjahre erbracht werden musste.
- „Das war schwer, das alles zusammenzurechnen. Nicht das Rechnen aber das Erinnern.“ (TP 13, Antwort: 18 Jahre)
- „Ich konnte das nicht so sagen auf Anhieb, sondern ich musste das rechnen im Kopf.“ (TP 18, Antwort: 25 Jahre)
Zudem empfanden es einige Testpersonen als schwierig, die zahlreichen Kriterien der Frage in ihre Berechnung einzubeziehen.
- „Ohne Papier und Stift war es eher schwer alle Berechnungen im Kopf zu machen. Dann musste ich noch die Zeiten wieder abziehen, da ich für mein Doktorandenstudium sechs Jahre gebraucht habe, aber nur vier berücksichtigen sollte.“ (TP 30, Antwort: 22 Jahre)
- „Hier musste man sich erstmal durch den Text durchkämpfen und dann zusammenrechnen. Dann musste ich noch einmal schauen, ob Grundschule dazu zählt oder nicht.“ (TP16, Antwort: 15 Jahre)
Weiterhin wird deutlich, dass die Instruktionen teilweise gar nicht beachtet wurden.
- „Mich haben die Vorschule und solche Sachen verwirrt. Was man mit einbeziehen kann.“ (TP 29, Antwort: 14 Jahre)
Darüber hinaus wusste Testperson 02 nicht, ob Wiederholungen in den Bildungsjahren mitgezählt werden sollten
- "Ich habe diverse Ehrenrunden schon während der Schulzeit gemacht. Ich musste echt überlegen, … rechne ich das so oder so und dann ist die Frage nicht mehr einfach. Es war nicht sofort klar." (TP 02, Antwort: 22 Jahre)
Testperson 05 war anhand der Instruktionen nicht klar, ob parallele Ausbildungen zum Beruf bzw. berufsbegleitende Ausbildungen als Bildungsjahre berücksichtigt werden sollten:
„Weil ich hab es dann auch nur bis zum ersten Diplom eingetragen, nicht bis zum zweiten, weil mein Zweitstudium war ein berufsbegleitendes Studium. Also, dass man berufsbegleitend was machen kann, ist hier gar nicht vorgesehen. Wenn ich fast 30 Jahre Ausbildungszeiten angeben hätte, (…) könnte man ja meinen das ist so ein ewiger Student.“ (TP 05 , Antwort: 25 Jahre)