Auch wenn die Testpersonen sich zunächst ihre Bildungsbiographie erneut ins Gedächtnis rufen müssen, ist die Angabe der Bildungsjahre für die meisten zu leisten. Allerdings enthält die Frage insgesamt sehr viele Ausfüllanweisungen. Diese werden daher teilweise gar nicht beachtet oder führen nicht dazu, dass alle Unsicherheiten, was in der Frage mitgezählt werden soll und was nicht, ausgeräumt wurden. Daher empfehlen wir die Instruktionen zu verkürzen oder - wenn möglich und sinnvoll - zu streichen:
Die Instruktion „Tragen Sie nur ganze Zahlen ein und falls nötig runden Sie die Zahl.“ könnte dadurch überflüssig gemacht werden, dass man Testpersonen mit Hilfe der Programmierung nur die Eingabe ganzer Zahlen ohne Komma oder Punkte ermöglicht.
Einige der Instruktionen könnten folgendermaßen verkürzt werden:
Bitte zählen Sie den Besuch einer Vorschule nicht mit.
Berücksichtigen Sie nur Ausbildungen, die mindestens 6 Monate dauerten.
Bitte zählen sie berufliche Qualifizierungsmaßnahmen oder berufliche Weiterbildungen nicht mit.
Bitte rechnen Sie eine Promotion mit maximal 4 Jahren mit.
Darüber hinaus ist anhand der gegebenen Instruktionen nicht klar, wie mit berufsbegleitenden Ausbildungen umgegangen werden soll. Hier sollte eine Instruktion gegeben werden, ob diese in die Berechnung der Bildungsjahre einbezogen werden sollen oder nicht und wenn ja, mit welcher Dauer.
Neben der Beantwortung der beiden zu testenden Interfaces „Combo-Box“ und „Search Tree“ wurden die Testpersonen zu Beginn des Fragebogens gebeten einige zusätzliche Fragen zu ihrer Bildungshistorie anzugeben.
Die Antworten auf die Frage „Wie viele Jahre haben Sie insgesamt mit Schule, Ausbildung und Studium verbracht? Damit sind auch betriebliche oder duale Ausbildungen gemeint.“ ergeben, dass die Testpersonen des Pretests mindestens 12 Jahre (TP 25, 26) und maximal 25 Jahre (TP 05, 18) mit Schule, Ausbildung und Studium verbracht haben. Im kognitiven Interview wurden die Testpersonen gebeten zu erläutern, wie Sie zu dieser Angabe gekommen sind und wie leicht oder schwer Ihnen die Beantwortung dieser Frage gefallen ist. Aus den Antworten der Testpersonen geht hervor, dass diese ihre Berechnung strukturiert haben, indem sie die Bildungsjahre entlang ihrer Biografie aufsummiert haben. Demnach wurden die Schuljahre zuerst zusammengefasst, danach die Hochschul- oder Ausbildungsjahre und im Anschluss noch eventuelle Weiterbildungen.
Trotz des systematischen Vorgehens der Testpersonen bewerteten elf Testpersonen die Frage als „eher schwer“. Zwei Testpersonen fiel die Antwort „sehr schwer“. Gründe dafür liegen vor allem in der kognitiven Leistung, welche durch Erinnerung und Zusammenzählen der Bildungsjahre erbracht werden musste.
Zudem empfanden es einige Testpersonen als schwierig, die zahlreichen Kriterien der Frage in ihre Berechnung einzubeziehen.
Weiterhin wird deutlich, dass die Instruktionen teilweise gar nicht beachtet wurden.
Darüber hinaus wusste Testperson 02 nicht, ob Wiederholungen in den Bildungsjahren mitgezählt werden sollten
Testperson 05 war anhand der Instruktionen nicht klar, ob parallele Ausbildungen zum Beruf bzw. berufsbegleitende Ausbildungen als Bildungsjahre berücksichtigt werden sollten: „Weil ich hab es dann auch nur bis zum ersten Diplom eingetragen, nicht bis zum zweiten, weil mein Zweitstudium war ein berufsbegleitendes Studium. Also, dass man berufsbegleitend was machen kann, ist hier gar nicht vorgesehen. Wenn ich fast 30 Jahre Ausbildungszeiten angeben hätte, (…) könnte man ja meinen das ist so ein ewiger Student.“ (TP 05 , Antwort: 25 Jahre)
