Verständnis der Frage und Verständnis inhaltlicher Konstrukte / Suche und Suchverhalten:
Da Frageverständnis und Suchverhalten eng zusammenhängen werden diese im folgenden Abschnitt gemeinsam dargestellt.
Bei der ersten Beantwortung dieser Frage ist die Erfassung des „höchsten Ausbildungs- oder Hochschulabschlusses“ gewünscht. Da die Testpersonen zuvor Fragen zu ihrer kompletten Bildungsbiografie (Gesamtdauer, Anzahl Abschlüsse inklusive Schulabschlüsse) beantwortet haben, erscheint die Fokussierung auf den höchsten Abschluss bei dieser Frage nicht intuitiv zu sein. Auf der einen Seite führen die vorgeschalteten Fragen zu einem Antwortverhalten, dass Testpersonen alle berufsqualifizierenden Abschlüsse und Weiterbildungen – auch nicht staatlich anerkannte – angeben wollen. Andererseits führt die Fragesukzession dazu, dass Befragte bei der Frage nach „weiteren Abschlüssen“ niedrigere Abschlüsse bspw. Bachelor vor einem Masterabschluss oder gleichwertige Abschlüsse (zwei Diplome) nicht mehr angeben. In diesem Fall wird davon ausgegangen, dass eine Angabe niedrigerer bzw. gleichwertiger Abschlüsse nicht erforderlich bzw. gar gewünscht ist. Vorab darüber informiert zu werden, dass es im Folgenden die Möglichkeit gibt, mehrere Angaben zu machen, könnte dem entgegenwirken.
Hinsichtlich der Abschlüsse ist den Befragten nicht klar, was genau, also auf welcher Detailebene Auskünfte gemacht werden sollen. Interessiert nur der Bildungsgrad oder auch die Fachrichtung? Sollen auch Weiterbildungen angegeben werden? Wenn ja, nach welchen Kriterien (Dauer, Zeugnis, Voraussetzung für eine Berufsausübung, staatlich anerkannt etc.). Auffällig im Pretest war, dass ein Teil der Befragten sehr gerne vollständige Angaben gemacht hätte und auch Informationen, wie die Fachrichtung angeben wollte.
Technische Elemente und Nutzerfreundlichkeit:
Aufgrund der Beobachtung, dass etwa ein Drittel der Testpersonen bei der Eingabe nicht bemerkt hat, dass ihnen Antwortvorschläge angezeigt werden und sie daher auch keine auswählen konnten, empfehlen wir eine Ausfüllinstruktion zu geben. Ein weiterer Hinweis dafür, dass mit einer Ausfüllinstruktion die Nutzerfreundlichkeit erhöht werden kann, besteht darin, dass etwa die Hälfte der Befragten überrascht war, dass es sich um ein Scroll-Menü handelt, da nichts im Vorfeld darauf hingewiesen hat.
Einige Testpersonen machen zudem darauf aufmerksam, dass es nicht offensichtlich ist, ob hier eine Freitexteingabe oder eine Auswahl der vorgeschlagenen Antwortoption gewünscht ist. Daher muss bei den Instruktionen darauf hingewiesen werden, dass die Befragten auch eine freie Texteingabe machen können, sofern sie keine passende Antwort in der Liste finden, dass aber eine Auswahl anhand der Liste vorgenommen werden soll.
Fünf ausländische Testpersonen weisen darauf hin, dass sie irritiert waren, dass die Frage zwar in Deutsch erscheint, die Antworten jedoch in der jeweiligen Sprache des Landes, in dem dieser Abschluss erworben wurde, angegeben werden soll. Für die Testpersonen wäre es plausibler, wenn auch die Frage bereits in der jeweiligen Landessprache erscheinen würde oder aber der Hinweis auf die anzuwendende Sprache optisch deutlicher hervorgehoben würde.
Darüber hinaus wurde in den kognitiven Interviews ein Programmierfehler festgestellt: Personen, die ihren höchsten Abschluss im Ausland und einen weiteren Abschluss in Deutschland erworben haben, erhalten im Anschluss an die Auswahl des Landes die Frage nach ihrem höchsten Schulabschluss. Diese Frage sollte im zweiten Durchgang (1. Loop) nicht mehr gestellt werden. Dieser Reihenfolgefehler führt zu Verwirrung bei Befragten, die einen zweiten Ausbildungs- oder Hochschulabschluss in Deutschland und vorherige Bildungsstufen sowie ihren höchsten Abschluss in einem anderen Land erworben haben.
Zum Abschluss der Probing-Phase zu den beiden Interfaces sollten die Testpersonen erläutern, welches der beiden Fragenformate leichter zu beantworten war, die Combo-Box, in der zunächst selbst etwas eingetippt werden sollte oder der Search-Tree, bei dem die Antwort durch Auswählen anhand einer Liste getroffen werden konnte.
Übersicht über die geäußerte Präferenz:
Insgesamt lässt sich feststellen, dass das Meinungsbild unter den Testpersonen nicht eindeutig ist: 16 Testpersonen empfanden die Eingabe mit Hilfe der Combo-Box einfacher (davon acht mit einem dt. Abschluss), während 13 Testpersonen die Eingabe anhand des Search-Trees leichter gefallen ist (davon fünf mit einem dt. Abschluss). Die übrigen zwei Testpersonen (TP 02, 06) geben an, keine klare Präferenz zu haben. Testperson 06 fand die Eingabe des Abschlusses bei der Combo-Box schneller, fühlte sich beim Beantworten des Search-Trees allerdings sicherer.
Die Präferenz für die Combo-Box wird von den Testpersonen vor allem damit begründet, dass eine eigene Auswahl und Eingabe ermöglicht wird, die mitunter einfach „frei gewählt“ sein kann und zum anderen durch die automatisierte Suche:
Im Gegensatz zur Combo-Box wird die Präferenz für den Search-Tree von den Testpersonen vor allem durch die bereits vorgegebenen Kategorien begründet, die zum einem eine bessere Orientierung ermöglichen und zum anderen die Eingabe steuern:
Abgesehen von der eigenen Präferenz sollten die Testpersonen jeweils angeben, was Sie besonders gut oder besonders schlecht bei den beiden Antwortformaten fanden. Die Angaben der Testpersonen sind in der folgenden Tabelle zusammengefasst, wobei nicht alle Testpersonen für die Beurteilung beider Interfaces jeweils Vorteile bzw. Nachteile nennen.
Combo-Box: Was fanden Sie bei dieser Frage besonders gut?
Combo-Box: Was fanden Sie bei dieser Frage besonders schlecht?
Search-Tree: Was fanden Sie bei dieser Frage besonders gut?
Search-Tree: Was fanden Sie bei dieser Frage besonders schlecht?
Ergänzung zu „Besonders gut“: Testperson 22 merkt an, dass ihr die zusätzliche Erklärung („Wenn Sie sich unsicher sind was Ihr höchster Abschluss ist, geben Sie uns bitte den zuletzt erreichten Abschluss an“) bei der Combo Box zusagt. Die Testperson bemerkt nicht, dass dieselbe Erklärung auch beim Search-Tree vorhanden ist. Andersherum bemerkt Testperson 12 die Erklärung beim Search-Tree positiv und beachtet die Erklärung bei der Combo Box nicht. Insgesamt lässt sich dadurch sagen, dass die zusätzliche Erklärung bzgl. der Unsicherheit über den höchsten Abschluss positiv auffällt und bei beiden Beantwortungsmodi hilfreich ist.
Befunde dieser Frage beziehen sich auf drei Aspekte. Untersucht werden das Verständnis der Frage und der inhaltlichen Konstrukte, die Nutzerfreundlichkeit der technischen Elemente sowie das Suchverhalten der Testpersonen im Kontext der Auswahl angezeigter Antwortkategorien zur Erfassung ihres höchsten Abschlusses.
Da sich die aufgetretenen Schwierigkeiten und Auffälligkeiten in den Blickbewegungen beim Beantworten je nach erfasstem Abschluss unterscheiden, erfolgt die Darstellung des Befundes getrennt für die einzelnen Durchgänge (Combo-Box, 1. Loop, 2. Loop).
Verständnis der Frage und Verständnis inhaltlicher Konstrukte – 1. Durchgang Combo-Box
Um zu prüfen, ob die Testpersonen die Frage im intendierten Sinn verstanden haben, wurden sie im Anschluss an die Beantwortung des ersten Fragenblocks zur Combo-Box gebeten in eigenen Worten zu beschreiben, worum es bei dieser Frage geht. Insgesamt geben alle Testpersonen an, dass es bei dieser Frage um ihren höchsten erreichten Bildungsgrad geht.
Sieben Testpersonen (TP 05, 06, 07, 12, 15, 19, 28) waren jedoch irritiert bzw. haben etwas beim Beantworten gezögert, da die Fragestellung ihrer Ansicht nach mehrere Aspekte von (Aus-) Bildungsmöglichkeiten umfasst und nicht offensichtlich war, welche Angabe gewünscht ist: Auffällig im Pretest war, dass ein Teil der Befragten sehr gerne vollständige Angaben gemacht hätte und auch Informationen, wie die Fachrichtung angeben wollte.
Problematisch ist hier, dass die Frage zunächst auf den höchsten – was nicht in jedem Fall eindeutig beantwortbar ist – berufsqualifizierenden Abschluss abzielt, der entweder an einer (Fach-) Hochschule oder über eine Ausbildung und in speziellen Fällen über Fachqualifizierungen erworben wurde. Es könnte noch klarer herausgearbeitet werden, welche Bildungsstufen angegeben werden sollen und darüber hinaus, wie detailliert diese Angaben erfolgen sollen (Diplom oder Diplom-Pädagogik).
Auf die Nachfrage „In der Frage wird der Ausdruck „(Schul-)‘ Ausbildungs- oder Hochschulabschluss“ verwendet. Was verstehen Sie in diesem Kontext unter ‚Abschluss‘?“ antworten alle Testpersonen abgesehen von TP 21, die den Begriff überlesen hat, dass sie damit das erfolgreiche Beenden einer Bildungsstufe mit einem Zeugnis, Zertifikat oder Brief verstehen.
29 der 31 Testpersonen geben auf die Nachfrage hin, ob sie eine laufende Ausbildung oder ein laufendes Studium mit dazu zählen, an, dass sie dies nicht tun, da es noch nicht abgeschlossen sei. TP 18 zählt eine laufende Ausbildung/ ein laufendes Studium mit, „[w]eil es zu Bildung [gehört]. Auch wenn man keinen Abschluss hat, gehört sowas in einen Lebenslauf.“ Bei Testperson 21 bestehen Verständnisschwierigkeiten mit den Begrifflichkeiten. Analog dazu geben TP 18 und 21 auch bei der Nachfrage, ob sie eine abgebrochene Ausbildung oder ein abgebrochenes Studium mit dazu zählen, ebenfalls an, dass sie dies tun. Alle anderen 29 Befragten verneinen dies.
Hinsichtlich der Frage, ob auch eine schulische Berufsausbildung zu „Ausbildungs- oder Hochschulab-schluss inkl. Betrieblicher oder dualer Ausbildung“ gezählt wird, gehen die Angaben auseinander. Mindestens 12 Testpersonen (TP 01, 02, 10, 16, 18, 21, 22, 23, 24, 25, 27, 28) wissen nicht, was mit dem Begriff „schulische Berufsausbildung“ gemeint ist. Verständnisschwierigkeiten haben sowohl ausländische (n=9) als auch deutsche Befragte (n=3). Unter der Annahme, dass dies ein Bestandteil des deutschen Ausbildungssystems ist, geben insgesamt 22 Testpersonen an, dass ein solcher Abschluss dazu zu zählen sei.
Die meisten Testpersonen haben bei der Beantwortung der Frage nach ihren Abschlüssen keine (kurzen) Weiterbildungen berücksichtigt. Viele Testpersonen sind jedoch der Ansicht, dass berufsqualifizierende Weiterbildungen von mindestens sechs Monaten Dauer, die dann auch zertifiziert werden, angegeben werden sollten. Rhetorikkurse oder kleinere Workshops etc. werden nicht berücksichtigt.
Danach gefragt „Wie leicht oder schwer es für Sie zu entscheiden [war], was Ihr höchster Abschluss ist?“ gaben 24 Personen „sehr“ bzw. „eher leicht“ an. Für diejenigen sieben Personen, denen die Entscheidung über ihren höchsten Abschluss „eher“/„sehr schwer“ fiel, gibt es unterschiedliche Gründe. Für drei Testpersonen (TP 06, 08, 13) war es deshalb schwierig eine Rangfolge zu bilden, da sie einerseits einen Schul- und andererseits einen Berufsabschluss erworben haben, die somit, in der Höhe, nicht direkt vergleichbar sind: bei TP 06 handelt es sich um ein Magisterstudium und eine duale Ausbildung, bei TP 08 um das Fachabitur und die Gesellenprüfung und bei TP 13 um die FH-Reife und eine kaufmännische Ausbildung. Zwei weitere Testpersonen (TP 05, 22) hatten Schwierigkeiten, da es sich bei ihren Abschlüssen um gleichwertige Abschlüsse handelt. TP 01 ist sich im Klaren darüber, dass ihre Promotion formal höher angesiedelt ist, sie selbst jedoch findet ihren Trainerschein [für die aktuelle Tätigkeit] „wichtiger“. Testperson 11 hat zwar keinerlei Schwierigkeiten für sich zu entscheiden, was ihr höchster Abschluss ist, allerdings fällt es ihr schwer, ihre Weiterqualifizierungen – die in ihren Augen höher zu bewerten sind als ihre Ausbildung im Gesundheitswesen – mithilfe des Freitextfeldes zu erfassen. Wie bereits zuvor erwähnt geht TP 11 aufgrund technischer Probleme fälschlicherweise davon aus, dass sie eine der Antwortoptionen (in ihrem Fall „Fachhochschulreife“) auswählen muss und erfasst daher eine Option, die ihrer Meinung nach ihrem Abschluss am ehesten entspricht.
Nutzerfreundlichkeit des Tools
Um gezielt Nachfragen zum Nutzungsverhalten und der Bedienbarkeit des Interface „Combo-Box“ stellen zu können, wurden die Testpersonen und ihre Blickbewegungen während des selbstadministrierten Ausfüllens des Online-Fragebogens von den Testleitern in einem benachbarten Beobachtungsraum per Live-Aufzeichnung beobachtet. Dadurch konnten das Vorgehen der Testpersonen beim Beantworten und auffällige Blickbewegungen parallel zum Ausfüllen erfasst und ggf. vercodet werden.
Insgesamt sechs Testpersonen machen drei Angaben zu ihren Abschlüssen, zehn Personen machen zwei Angaben und der überwiegende Teil von 15 Personen macht nur eine Angabe. Im Folgenden wird nun auf die Auffälligkeiten der Blickbewegungen eingegangen, die in jedem einzelnen Durchgang der Abfrage aufgetreten sind.
Code CR 1 - Schaut die Frage eine lange Zeit an bzw. liest die Frage mehrmals
Insgesamt neun (TP 05, 07, 08, 09, 11, 12, 15, 21, 26) der 31 Testpersonen schauen die Frage eine lange Zeit an bzw. lesen sie mehrmals. Um herauszufinden, warum sie dieses Verhalten gezeigt haben, wurden die Testpersonen im kognitiven Interview gebeten Gründe dafür zu nennen und gefragt, ob es etwas gab, was sie bei dieser Frage gestört oder irritiert hat. Drei Personen (TP 05, 09, 12) geben an, dass sie Schwierigkeiten damit hatten, dass zwei Fragen in einer gestellt wurden. Ihnen war zunächst unklar, ob es hier um die Erfassung allgemeinbildender Schulabschlüsse oder eben berufsbezogener Ausbildungsabschlüsse geht:
Gewünscht ist eine Erfassung des „höchsten Ausbildungs- oder Hochschulabschlusses“. Da die Testpersonen zuvor zu ihrer kompletten Bildungsbiografie befragt wurden, wie der Gesamtdauer und der Anzahl aller ihrer Abschlüsse inklusive Schulabschlüssen, scheint die Fokussierung auf den höchsten Abschluss bei dieser Frage nicht intuitiv zu sein. In diesem Kontext lässt sich auch die Antwort von TP 11 besser verstehen. Sie gibt „Fachhochschulabschluss“ an, allerdings wird aufgrund der Nachfrage deutlich, dass sie sich hier offensichtlich falsch einordnet: „Weil ich am Überlegen war, ob meine Ausbildung als Krankenschwester und dann auch die Weiterqualifizierungen (im Bereich „Anästhesie und Intensivmedizin“) dazu gehören, weil da stand ja Abschluss. Letztendlich habe ich mich dafür entschieden, das mit rein zu nehmen, weil da irgendetwas mit Schule dabei stand. Deswegen habe ich das mit aufgenommen.“ Offensichtlich möchte TP 11 so vollständig wie möglich ihren Bildungsweg erfassen. Da dies in der vorgegebenen Form nicht möglich ist, entscheidet sich die Testperson dafür, ihre Ausbildung und erfolgte Fachweiterbildungen zu einem höheren Abschluss zu aggregieren.
Drei andere Testpersonen (TP 07, 08, 15) zeigen sich irritiert aufgrund des Fragezusatzes „Wenn Sie sich unsicher sind was Ihr höchster Abschluss ist, geben Sie uns bitte den zuletzt erreichten Abschluss an.“ Hier wird eine Diskrepanz zwischen dem höchsten und dem zuletzt erreichten Abschluss wahrgenommen, der die Beantwortung für diese drei Testpersonen erschwert.
Zwei weitere Testpersonen mit ausländischen Abschlüssen haben ebenfalls mehrmals die Frage gelesen. Bei TP 21 (italienisch) liegen Verständnisschwierigkeiten aufgrund der Sprache vor, bei TP 26 (französisch) waren mehrere Möglichkeiten in einer gegeben, weshalb sie sich nicht sicher war, welcher Abschluss der richtige ist.
Code CR 2 - Klickt auf „weiter“ ohne etwas im Textfeld einzugeben
Keine der Testpersonen hat einfach auf „weiter“ geklickt ohne eine Angabe zu machen.
Code CR 3 - Gibt etwas in Textfeld ein und klickt auf „weiter“ ohne einen Antwortvorschlag auszuwählen. (Antwortmöglichkeiten wurden angezeigt)
Insgesamt zwölf Testpersonen machen eine Angabe im Textfeld, wählen jedoch keinen der angezeigten Antwortvorschläge aus. Sieben Testpersonen (TP 01, 03, 04, 10, 13, 23, 25) haben nicht bemerkt, dass ihnen überhaupt Antwortvorschläge angezeigt wurden. Den anderen fünf Testpersonen, die die Antwortvorschläge bemerkt haben, war klar, dass sie hier ihren Abschluss suchen können, haben aber diese Option nicht genutzt. TP 14 wollte den eigenen Abschluss schnell selbst erfassen und nicht abwarten und die vorgeschlagene Liste durchlesen. Bei den übrigen vier Testpersonen (TP 09, 16, 20, 30) gab es keinen passenden Eintrag bzw. wurde dies bereits im Vorfeld angenommen:
Code CR 4 - Gibt etwas im Textfeld ein, schaut die Antwortmöglichkeiten an, löscht den eingegebenen Text und gibt etwas Neues ein
Fünf Testpersonen (TP 08, 21, 22, 24, 30), von denen vier einen ausländischen Abschluss haben, geben zunächst etwas ein, lesen sich die eingeblendeten Optionen durch, löschen daraufhin Teile ihrer Eingabe und ändern diese dann ab. Bei TP 22 und 24 liegt das daran, dass sie die Instruktion ihre Eingabe in Spanisch zu machen übersehen haben und zunächst ihren Abschluss in Deutsch eingeben wollen. TP 30 macht mehrere Eingaben (4-5), da sie ihren polnischen Abschluss nicht findet und entscheidet sich dann aufgrund der angezeigten Optionen dafür, hier lediglich ihren Studienabschluss nicht aber ihren höchsten Abschluss – ein abgeschlossenes Doktorandenprogramm, das jedoch keine Dissertation beinhaltet – zu nennen. TP 21 bemerkt bei der Erfassung zunächst nicht, dass Antwortoptionen angezeigt werden. Als sie es bemerkt, löscht sie einen Teil ihrer Angaben und wählt dann aus der Liste ihre Antwort aus. TP 08, die ihren Abschluss in Deutschland erworben hat, möchte zunächst ihren Schulabschluss (Mittlere Reife) eingeben, entscheidet aber aufgrund der Listenauswahl, welche lediglich Berufe anzeigt, den Berufsabschluss (Gesellenbrief) zu erfassen.
Code CR 5 - Gibt etwas in Textfeld ein und klickt auf „weiter“ (KEINE Antwortmöglichkeiten wurden angezeigt)
Dass keine Antwortmöglichkeiten angezeigt wurden und Testpersonen deshalb eine Freitexteingabe machen, kam nicht vor. Selbst, wenn die gewünschte Option nicht erschien, wurden zumindest andere Abschlüsse angezeigt.
Code CR 6 - Schaut lange die Antwortmöglichkeiten an bzw. liest sie mehrmals
Drei Testpersonen (TP 11, 26, 30) schauen lange auf die Antwortvorschläge, weil sie die richtige Antwortoption auswählen möchten. Während TP 26 zwischen dem allgemeinen Abschluss (Baccalauréat général) und einer evtl. spezifischeren Angabe schwankt, sich letztlich für das Allgemeinere entscheidet, finden sich die Testpersonen 11 und 30 in der Liste nicht wieder. Testperson 11, die eine Ausbildung zur Krankenschwester und Fachweiterbildungen absolviert hat, ordnet sich schließlich einer falschen Kategorie (Fachhochschulabschluss) zu. Auch Testperson 30 wählt im Endeffekt eine falsche Kategorie, da sie nicht ihren höchsten Abschluss auswählt. Sie wählt aus der Liste Dyplom magistra, da ihre höheren Qualifikationen (post-graduate degree & PhD-Programme) nicht angeboten werden. Danach gefragt, was sie beim Anschauen der Antwortoptionen gedacht hat, sagt sie: „Es hat mich irritiert, dass die vielen Antwortoptionen in der Liste weder alphabetisch noch sonst irgendwie hierarchisch aufsteigend sortiert waren. Manche Optionen waren sehr eng, sehr spezifisch gefasst, andere allgemeinere Abschlüsse [wie die der TP] haben ganz gefehlt. Ich sollte die Antwort in Polnisch angeben, aber mit der deutschen Tastatur war es gar nicht möglich polnische Buchstaben zu verwenden.“ (TP30).
Code CR 7 - Blick springt mehrfach zwischen Frage, Textfeld und/oder Antworten hin und her
Das Hin- und Herspringen der Augen zwischen Frage, Textfeld und Antwortoptionen kommt lediglich bei Testperson 19 vor. Danach gefragt, warum sie das gemacht hat, erklärt sie wie folgt: „Als die Ergänzung meines Textanfangs kam und das auch mit Kleinbuchstaben [TP bezieht sich auf „dr.“wie das in Ungarn üblich ist], das war überraschend korrekt. Das war auch gut, dass es [das Tool] gleich ergänzt hat, was ich angefangen habe zu schreiben.“
Code CR 9 - TP gibt einen Schulabschluss als höchsten Abschluss ein und keine weitere Bildung
Insgesamt acht Testpersonen (TP 10, 16, 20, 21, 25, 26, 27, 29) geben einen Schulabschluss und keine weitere Bildung ein. Bei sieben Testpersonen ist diese Angabe korrekt, da sie sich aktuell in einer Ausbildung befinden, die auf dem zuvor erworbenen und angegebenen höchsten Schulabschluss basiert. Testperson 10 jedoch hat eine berufliche Ausbildung zum Zimmermann absolviert und mit bestandener Prüfung und Erhalt des Gesellenbriefs den Sekundarabschluss automatisch anerkannt bekommen. Bei dieser Frage geht die Testperson davon aus, dass nach dem Schulabschluss gefragt wird, weshalb sie den im Zuge der Ausbildung erworbenen Sekundarabschluss einträgt.
Suche und Suchverhalten – 1. Durchgang
Der Aspekt des Suchverhaltens kann nur bei denjenigen erfasst werden, die etwas in das Textfeld eingegeben und währenddessen bemerkt haben, dass sich eine Liste mit Antwortoptionen öffnet. Dies trifft im ersten Durchgang auf 22 Testpersonen zu. Davon geben acht Personen an, nicht überrascht gewesen zu sein, dass während ihrer Eingabe Antwortvorschläge angezeigt wurden.
14 Testpersonen geben an, dass sie überrascht waren, was vor allem daran liegt, dass nichts daraufhin deutet, dass es sich um ein Scroll-Menü handelt:
Zwei Testpersonen waren vor allem deshalb überrascht, weil die Angaben in der Landessprache Ihres Abschlusses angezeigt wurden:
Testperson 07 war positiv überrascht und erläutert dies so: „Das hat es mir leichter gemacht. Weil ich nicht „Ausbildung/Lehre/Facharbeiter“ ausgewählt hätte. Ich hätte „Lehre zum …“ angegeben.“
Die Testpersonen 02, 24 und 26 hätten mit der Freitexteingabe andere Bezeichnungen angegeben als sie es letztlich dann mithilfe der vorgegebenen Kategorisierungen getan haben. Testperson 24 hätte ohne die Liste eine Angabe auf Deutsch gemacht und nicht wie erforderlich in der Landessprache. Testperson 30 konnte zwei ihrer Abschlüsse trotz Liste gar nicht erst finden und hat schließlich nur ihren Studienabschluss erfasst. Auch für Testperson 31 war die Liste nicht hilfreich. Ganz im Gegensatz zu Testperson 19, die sofort die korrekte Bezeichnung ihres ungarischen Abschlusses gefunden hat.
Um nähere Informationen über das Suchverhalten mithilfe der Antwortoptionen der Combo-Box zu erhalten, wurden die Testpersonen, die eine Option ausgewählt haben (n= 22) danach gefragt, wie leicht oder schwer es für sie war, die gewünschte Antwortmöglichkeit auszuwählen und wie genau das Ergebnis mit der Angabe, die sie machen wollten, überein stimmt. Von den 22 Testpersonen geben 19 Personen an, es sei Ihnen „sehr leicht“ oder „eher leicht“ gefallen. Insgesamt drei Testpersonen äußern, dass es ihnen „eher schwer“ gefallen sei. Zwei Testpersonen (TP 11, 30) begründen das damit, dass sie ihren Abschluss nicht finden konnten, weshalb die Antwortvorschläge auch überhaupt nicht mit dem übereinstimmen, was sie sagen wollten. Eine TP hat nicht damit gerechnet ihren Abschluss in der Landessprache (hier Ungarisch) angeben zu müssen, wobei die Passgenauigkeit der Angaben trotzdem sehr gut ist.
Diejenigen, die ihren höchsten Abschluss nicht in Deutschland erworben haben (n=12), wurden darüber hinaus noch gefragt, wie leicht oder schwer es für sie war, den Abschluss in der Landesprache des Landes, in dem der Abschluss gemacht wurde, zu nennen. Elf der zwölf Testpersonen gaben an, dass ihnen die Angabe „sehr leicht“ gefallen sei, einer weiteren Testperson fiel es „eher leicht“. Die folgende Übersicht zeigt, in welchem Land die 12 Testpersonen ihren höchsten Abschluss erworben haben:
Darüber hinaus wurden die Testpersonen für jeden eingegebenen Abschluss danach gefragt, wie die genaue Bezeichnung in ihrem Abschlusszeugnis lautete. Die jeweiligen Übersichtstabellen befinden sich im Anhang des pdf-Berichts.
Nutzerfreundlichkeit des Tools – 1. Loop – wenn ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Auch im 2. Durchgang (=1. Loop) gibt es weitere Erkenntnisse darüber, welche Probleme bzw. Auffälligkeiten beim Erfassen eines weiteren Abschlusses auftreten. Von den 16 Testpersonen, die einen weiteren Abschluss angeben, wurden bei elf Personen auffällige Blickbewegungen vercodet (4 Mal Code CR3, 4 Mal Code CR4, jeweils 1 Mal Codes CR5, CR6 und CR7). Im Folgenden wird auf die einzelnen Auffälligkeiten eingegangen.
Code CR3 - Gibt etwas in Textfeld ein und klickt auf „weiter“ ohne einen Antwortvorschlag auszuwählen. (Antwortmöglichkeiten wurden angezeigt)
Vier Testpersonen (TP 09, 12, 14, 30) entscheiden sich für eine Freitexterfassung ohne eine Antwortmöglichkeit auszuwählen. Während die Testpersonen 12 und 14 während der Eingabe nicht auf die Auswahloptionen achten, hat TP 09 keine Lust in der Liste nach Ihrem Abschluss zu suchen. Wie bereits beim 1. Ausfüllen beschrieben, hat Testperson 30 das Problem, dass ihre beiden Abschlüsse nach ihrem Uniabschluss nicht als Antwortvorschläge bei der Combo-Box auftauchen, weshalb die TP im 1. Durchgang ihren Magister aus der Liste auswählt, ihre weiteren Abschlüsse in Loop 1 und 2 dann via Freitextfeld direkt eingibt. „Manche Optionen waren sehr eng, sehr spezifisch gefasst, andere allgemeinere Abschlüsse [Weder „swiadectwo ukoriczenia studiow doktoranchich“ (Promotionsstudium ohne Doktorarbeit) noch „swiadectwo/dyplom ukoriczenia studiow poddyplomowych“ (Post-graduate-Studium)] haben ganz gefehlt.“
Code CR4 - Gibt etwas im Textfeld ein, schaut die Antwortmöglichkeiten an, löscht den eingegebenen Text und gibt etwas Neues ein
Vier Testpersonen (TP 04, 06, 17, 31) geben zunächst etwas ein, lesen sich die eingeblendeten Optionen durch, löschen daraufhin Teile ihrer Eingabe und ändern diese dann ab. TP 04 und 06 löschen Teile der Eingabe, da die Antwortoptionen aufgrund der Eingabelänge bereits wieder verschwunden sind und wählen anschließend die passende Antwort aus. TP 17 ist es nicht mehr gewohnt ihren Abschluss auf Polnisch einzugeben und hat daher Rechtschreibschwierigkeiten. Ähnlich ist es bei TP 31, die ihre Eingabe zunächst auf Deutsch statt auf Polnisch machen möchte.
Code CR5 - Gibt etwas in Textfeld ein und klickt auf „weiter“ (KEINE Antwortmöglichkeiten wurden angezeigt)
Lediglich TP 02 gibt ihre Antwort „Technischer Redakteur“ in das Textfeld ein, da keine Antwortmöglichkeiten angezeigt wurden.
Code CR6 - Schaut lange die Antwortmöglichkeiten an bzw. liest sie mehrmals
Auch im Loop hat Testperson 11, die eine Ausbildung zur Krankenschwester und Fachweiterbildungen absolviert hat, Probleme und ordnet sich der falschen Kategorie (Fachhochschulabschluss) zu, da ihr nicht bewusst ist, dass auch eine Freitexteingabe möglich ist. Beim 1. Ausfüllen der Combo-Box gab es, wie bereits beschrieben, technische Schwierigkeiten, woraufhin das Programm neu gestartet werden musste und die Testperson irrtümlich davon ausging, dass eine der Antwortoptionen ausgewählt werden muss. Daher wählt sie „das kleinere Übel“, wobei sie eigentlich folgendes eingeben wollte: „Als erstes die Ausbildung, die steht nicht drin, also die Ausbildung als Krankenschwester. Der zweite Abschluss ist die Fachweiterbildung „Anästhesie- und Intensivmedizin“ und der nächste ist dann noch die Stationsleitung. Letztendlich habe ich hier etwas Falsches eingegeben, weil das stimmt ja so nicht, weil ich keine Möglichkeit gesehen habe, hier das passende einzugeben.“ Dieses Problem führt sich im nächsten Loop und auch beim Interface Search-Tree fort.
Code CR7 - Blick springt mehrfach zwischen Frage, Textfeld und/oder Antworten hin und her
Das Hin- und Herspringen der Augen zwischen Frage, Textfeld und Antwortoptionen kommt lediglich bei Testperson 22 vor. Darüber hinaus springt die Testperson zwischen verschiedenen Fragen hin und her. Danach gefragt, warum sie das gemacht hat, wird aber deutlich, dass für den Fall der Testperson ein Programmierfehler vorliegt: Da die Testperson im 1. Durchgang angibt ihren höchsten Abschluss (Ingeniera Tècnica Industrial) in Spanien gemacht zu haben und im 1. Loop einen weiteren in Deutschland erworbenen Hochschulabschluss (Diplom Ingenieur Chemie (FH)) erfassen möchte, werden ihr zusätzlich die Frage nach ihrem höchsten Schulabschluss, den nur Befragte erhalten sollten, die ihren höchsten Abschluss in Deutschland erworben haben, gestellt. Dieser Reihenfolgefehler führt zu Verwirrung bei Befragten, die einen zweiten Ausbildungs- oder Hochschulabschluss in Deutschland und vorherige Bildungsstufen sowie ihren höchsten Abschluss in einem anderen Land erworben haben.
Hier liegt das Problem also nicht in der Combo-Box selbst, sondern in der Reihenfolge der Frageprogrammierung und der Besonderheit, dass deutsche Ausbildungs- und Hochschulabsolventen anschließend die für Deutschland spezifische Schulbildungsfrage erhalten.
Suche und Suchverhalten – 1. Loop – wenn ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Im zweiten Durchgang machen 16 Testpersonen Angaben zu einem weiteren Abschluss. Bei denjenigen (n=4), die keinen vollständigen Ausdruck eingetippt haben, wurde wieder nachgefragt, was Sie denn schreiben wollten. Anbei eine Übersicht über Ihre Nennungen:
Für Testperson 02 sind die Antwortvorschläge nicht hilfreich, da ihre Antwort nicht dabei ist. Daher entscheidet sie sich im Endeffekt dafür, ihren Abschluss als Freitext einzugeben. Für die anderen drei Testpersonen (TP 03, 28, 31) sind die Antwortvorschläge zutreffend und daher auch präziser als eine Freitexteingabe.
Um nähere Informationen über das Suchverhalten hinsichtlich der Antwortvorschläge der Combo-Box zu erhalten, wurden die Testpersonen, die beim zweiten Beantworten eine Option ausgewählt haben (n= 10) danach gefragt, wie leicht oder schwer es für sie war, die gewünschte Antwortmöglichkeit auszuwählen. Darüber hinaus wurden sie gefragt, wie genau das Ergebnis mit der Angabe, die sie machen wollten, übereinstimmt. Von den zehn Testpersonen (TP 01, 03, 04, 05, 06, 11, 12, 14, 17, 28) geben neun Personen an, es sei Ihnen „sehr leicht“ oder „eher leicht“ gefallen, da der jeweilige Vorschlag sehr genau bzw. 100%ig gepasst habe. Lediglich Testperson 11 ist die Auswahl einer Option „sehr schwer“ gefallen. Das liegt daran, dass ihr wie bereits beim ersten Ausfüllen nicht klar war, dass auch Freitexteingabe möglich ist. Stattdessen wählt sie eine Antwortoption aus, die überhaupt nichts mit ihrem Abschluss als Krankenschwester mit Weiterbildungen in Anästhesie und Intensivmedizin zu tun hat, nämlich Fachhochschulabschluss bzw. im 2. Loop Diplom einer Verwaltungs-/ Fachhochschule.
Die drei Testpersonen (TP 17, 22, 31), die einen weiteren Abschluss außerhalb Deutschlands erworben haben, wurden noch danach gefragt, wie leicht oder schwer es für sie war, den Abschluss in der Landessprache des Landes, in dem der Abschluss gemacht wurde zu nennen; allen ist es leicht gefallen.
Nutzerfreundlichkeit des Tools und Suchverhalten – 2. Loop – wenn noch ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Insgesamt sechs Testpersonen haben einen dritten Abschluss angegeben. Bei allen Testpersonen wurden auffällige Blickbewegungen beim Ausfüllen der Combo-Box codiert: 1 Mal Code CR3, 1 Mal Code CR4, 2 Mal Code CR5, 2 Mal Code CR6.
Code CR3 - Gibt etwas in Textfeld ein und klickt auf „weiter“ ohne einen Antwortvorschlag auszuwählen. (Antwortmöglichkeiten wurden angezeigt)
Testperson 30 klickte beim Ausfüllen dieses Durchlaufs wieder auf „weiter“ ohne eine Antwortkategorie auszuwählen, obwohl Antwortmöglichkeiten angezeigt wurden. Auch hier argumentierte sie wieder, dass sie wie zuvor keine Möglichkeit als passend empfand und sie deswegen keine davon auswählte.
Code CR4 - Gibt etwas im Textfeld ein, schaut die Antwortmöglichkeiten an, löscht den eingegebenen Text und gibt etwas Neues ein
Testperson 17 hat ihre erste Eingabe auch in diesem Durchgang gelöscht und etwas Neues eingegeben. Sie wollte auf Deutsch „Abitur“ eintragen wobei ihr auffiel, dass sie diesen Abschluss auch auf Polnisch eingeben soll, weshalb sie die Korrektur vornahm. Trotz der kurzen Irritation fand Testperson 17 die Auswahl der gewünschten Antwortmöglichkeit „sehr leicht“.
Code CR5 - Gibt etwas in Textfeld ein und klickt auf „weiter“ (KEINE Antwortmöglichkeiten wurden angezeigt)
Dieser Code wurde für zwei Testpersonen (TP 01, 28) vergeben. Beide Testpersonen gaben Abschlüsse ein, die nicht staatlich anerkannt sind, weshalb keine Antwortmöglichkeiten vorgeschlagen wurden. Testperson 01 trug „Trainerschein“ ein und erläuterte, „es gab keine andere Auswahlmöglichkeit“ und sie deswegen „was Eigenes“ geschrieben hat. Die gleiche Argumentation führt auch Testperson 28 an, die in diesem Durchlauf „Heilpraktiker“ als weiteren Abschluss eintrug. Sie erklärt daraufhin, dass sie sich darüber bewusst sei, dass es „keine offizielle staatliche Ausbildung“ sei und sie ihren Abschluss demnach auch nicht in der Liste finden würde. Da es aber der Beruf ist, den sie ausübt und sie dafür auch eine Ausbildung durchlaufen hat, wollte sie ihn angeben.
Beide Testpersonen führen später an, dass ihnen die Auswahl der gewünschten Antwortkategorie entsprechend schwer fiel, da ihre Abschlüsse in der Liste der staatlich anerkannten Abschlüsse nicht zu finden sind.
Code CR6 - Schaut lange die Antwortmöglichkeiten an bzw. liest sie mehrmals
Die Testpersonen 11 und 22 haben die Antwortmöglichkeiten mehrmals gelesen bevor sie ihre Auswahl trafen. Testperson 22 erklärt das damit, dass sie die passende Antwort gesucht habe, denn „dieses Verwaltungsschule kenne ich nicht. Und dann dachte ich mir, Fachhochschule ist bestimmt bei Universität dabei. Und dann habe ich Fachhochschule gesehen.“ Sie gibt später an, dass die Auswahl der gewünschten Antwortmöglichkeit „sehr leicht“ war. Während das Suchverhalten von Testperson 22 als gründliches Nachsehen einzustufen ist, ist das mehrmalige Durchsuchen und lange Anschauen der Antwortmöglichkeiten von Testperson 11 anders zu bewerten. Letztendlich wählt sie aus Mangel einer passenden Antwortmöglichkeit „Diplom einer Verwaltungshochschule“, obwohl sie „Leitung einer Station“ (Krankenhausstation) eingeben wollte. Trotz mehrmaligem Ändern der Eingabe konnte die Testperson kein zufriedenstellendes Ergebnis finden. Auch ihr fiel es „sehr schwer“ die gewünschte Antwortmöglichkeit auszuwählen, da diese nicht existiert.
Nur die Testpersonen 17 und 30 erzielten die genannten Abschlüsse im Ausland, weswegen nur sie gefragt wurden, wie leicht oder schwer die Eingabe des Abschlusses in der entsprechenden Landessprache war. Beide machten die Abschlüsse in Polen und empfanden die Eingabe als „sehr leicht“ (TP 17) bzw. „eher leicht“ (TP 30). Während der angegebene Abschluss von TP 17 übersetzt „Abitur“ bedeutet, existiert offensichtlich kein deutsches Äquivalent zum Abschluss von TP 30 („Swiadectwo ukonczenia studiow doktorackich“).
Technische Elemente & Nutzerfreundlichkeit
Hinsichtlich der Nutzerfreundlichkeit der technischen Elemente und der Bedienbarkeit des Interface „Combo-Box“ generell wurden alle Testpersonen explizit danach gefragt wie leicht oder schwer es für sie zu erkennen war, dass sie hier – also im Textfeld – eine Antwort eintragen sollten. Alle 31 Testpersonen gaben an, dass dies „sehr leicht“ oder „eher leicht“ war. Zwei Testpersonen (TP 01, 30) machen jedoch darauf aufmerksam, dass es nicht offensichtlich ist, ob hier eine Freitexteingabe oder eine Auswahl der vorgeschlagenen Antwortoption – sobald man mit einer Eingabe beginnt – präferiert werden soll. Darüber hinaus merkt TP 05 an, dass die Ausführlichkeit der Angabe unklar war, also sollte nur der Abschluss wie hier „Diplom“ eingetragen oder detaillierter noch der Fachbereich angegeben werden – zumal die besagte Testperson zwei Diplome erworben hat und die detailliertere Erfassung der erworbenen Abschlüsse die Angabe für sie erleichtern würde.
Um tiefere Einblicke zu erhalten, wie die Befragten das Tool benutzt haben, wurden sie gebeten sich vorzustellen, dass Sie einem Freund/einer Freundin mit wenig Erfahrung am Computer beschreiben, wie er/sie diese Frage beantworten soll. Anhand der Erläuterungen der Testpersonen wird deutlich, dass die technische Beantwortung der Frage für 25 Testpersonen kein Problem darstellt:
Weiteren sechs Testpersonen (TP 03, 10, 11, 12, 15, 20) ist nicht klar, dass es nicht nur die Möglichkeit der Freitexterfassung gibt, sondern darüber hinaus auch während der Eingabe Antwortkategorien zum Auswählen angezeigt werden. Zudem machen drei ausländische Testpersonen (TP 21, 23, 27) darauf aufmerksam, dass die Frage zwar in Deutsch erscheint, die Antwort jedoch in der jeweiligen Sprache des Landes, in dem dieser Abschluss erworben wurde, angegeben werden soll. Dies wirkt irritierend. Folglich wäre es plausibler, wenn auch die Frage bereits in der jeweiligen Landessprache erscheinen würde oder aber der Hinweis auf die anzuwendende Sprache deutlicher hervorgehoben würde.
