General Probing, Specific Probing, Comprehension Probing, Emergent Probing, Conditional Probing, Paraphrasing.
Befunde dieser Frage beziehen sich auf drei Aspekte. Untersucht werden das Verständnis der Frage und der inhaltlichen Konstrukte, die Nutzerfreundlichkeit der technischen Elemente sowie das Suchverhalten der Testpersonen im Kontext der Auswahl angezeigter Antwortkategorien zur Erfassung ihres höchsten Abschlusses.
Da sich die aufgetretenen Schwierigkeiten und Auffälligkeiten in den Blickbewegungen beim Beantworten je nach erfasstem Abschluss unterscheiden, erfolgt die Darstellung des Befundes getrennt für die einzelnen Durchgänge (Combo-Box, 1. Loop, 2. Loop).
Verständnis der Frage und Verständnis inhaltlicher Konstrukte – 1. Durchgang Combo-Box
Um zu prüfen, ob die Testpersonen die Frage im intendierten Sinn verstanden haben, wurden sie im Anschluss an die Beantwortung des ersten Fragenblocks zur Combo-Box gebeten in eigenen Worten zu beschreiben, worum es bei dieser Frage geht. Insgesamt geben alle Testpersonen an, dass es bei dieser Frage um ihren höchsten erreichten Bildungsgrad geht.
Sieben Testpersonen (TP 05, 06, 07, 12, 15, 19, 28) waren jedoch irritiert bzw. haben etwas beim Beantworten gezögert, da die Fragestellung ihrer Ansicht nach mehrere Aspekte von (Aus-) Bildungsmöglichkeiten umfasst und nicht offensichtlich war, welche Angabe gewünscht ist:
Auffällig im Pretest war, dass ein Teil der Befragten sehr gerne vollständige Angaben gemacht hätte und auch Informationen, wie die Fachrichtung angeben wollte.
- „Also geht es hier um Hochschulabschlüsse. Ich habe zwei, deshalb habe ich erstmal gezögert. Weil es sind zwei gleichwertige, nämlich Diplom-Psychologe und Diplom-Gerontologe. Deswegen habe ich dann immer nur Diplom hingeschrieben.“ (TP 05, Antwort: Diplom)
- „Ich habe Fachhochschulreife als Schulabschluss und Maschinenbautechniker als Berufsabschluss. Und dementsprechend gebe ich jetzt den Schulabschluss ein oder den Ausbildungsabschluss.“ (TP 12, Antwort: Techniker)“
- „Ich habe ja Diplompädagogik studiert und musste dann einen Moment überlegen, was ich einfüge. Ich wollte Diplom eintragen, das „D“ hat mich dann weitergeführt zu den aufgefächerten Abschlüssen.“ (TP 15, Antwort: Diplom)“
- „Das einzige, wo ich unsicher war, ist ob die Promotion mein höchster Abschluss ist oder mein Diplom. Hier geht es ja um Ausbildungs- oder Hochschulabschluss und ich wusste nicht, ob Promotion extra gezählt wird.“ (TP 19, Antwort: Dr. univ.)“
- „Den höchsten Schulabschluss verstehe ich, allerdings den höchsten Ausbildungsabschluss das verstehe ich nicht, weil Ausbildungen für mich immer gleich sind von der Höhe. […] Das hat mich verwirrt. […] Duale Ausbildung, das ist auch wieder so eine Sache. Es gibt duale Studien und eine Ausbildung ist quasi immer dual. „Damit sind auch betriebliche und duale Ausbildungen gemeint.“ Naja, Ausbildungen sind immer dual. Das hat mich auch irritiert. Also dual – bezogen auf Fachhochschule oder Uni.“ (TP 28, Antwort: Baccalaureat de technologique)
Problematisch ist hier, dass die Frage zunächst auf den höchsten – was nicht in jedem Fall eindeutig beantwortbar ist – berufsqualifizierenden Abschluss abzielt, der entweder an einer (Fach-) Hochschule oder über eine Ausbildung und in speziellen Fällen über Fachqualifizierungen erworben wurde. Es könnte noch klarer herausgearbeitet werden, welche Bildungsstufen angegeben werden sollen und darüber hinaus, wie detailliert diese Angaben erfolgen sollen (Diplom oder Diplom-Pädagogik).
Auf die Nachfrage
„In der Frage wird der Ausdruck „(Schul-)‘ Ausbildungs- oder Hochschulabschluss“ verwendet. Was verstehen Sie in diesem Kontext unter ‚Abschluss‘?“ antworten alle Testpersonen abgesehen von TP 21, die den Begriff überlesen hat, dass sie damit das erfolgreiche Beenden einer Bildungsstufe mit einem Zeugnis, Zertifikat oder Brief verstehen.
29 der 31 Testpersonen geben auf die Nachfrage hin, ob sie eine laufende Ausbildung oder ein laufendes Studium mit dazu zählen, an, dass sie dies nicht tun, da es noch nicht abgeschlossen sei. TP 18 zählt eine laufende Ausbildung/ ein laufendes Studium mit,
„[w]eil es zu Bildung [gehört]. Auch wenn man keinen Abschluss hat, gehört sowas in einen Lebenslauf.“ Bei Testperson 21 bestehen Verständnisschwierigkeiten mit den Begrifflichkeiten. Analog dazu geben TP 18 und 21 auch bei der Nachfrage, ob sie eine abgebrochene Ausbildung oder ein abgebrochenes Studium mit dazu zählen, ebenfalls an, dass sie dies tun. Alle anderen 29 Befragten verneinen dies.
Hinsichtlich der Frage, ob auch eine schulische Berufsausbildung zu „Ausbildungs- oder Hochschulab-schluss inkl. Betrieblicher oder dualer Ausbildung“ gezählt wird, gehen die Angaben auseinander. Mindestens 12 Testpersonen (TP 01, 02, 10, 16, 18, 21, 22, 23, 24, 25, 27, 28) wissen nicht, was mit dem Begriff „schulische Berufsausbildung“ gemeint ist. Verständnisschwierigkeiten haben sowohl ausländische (n=9) als auch deutsche Befragte (n=3). Unter der Annahme, dass dies ein Bestandteil des deut-schen Ausbildungssystems ist, geben insgesamt 22 Testpersonen an, dass ein solcher Abschluss dazu zu zählen sei.
Die meisten Testpersonen haben bei der Beantwortung der Frage nach ihren Abschlüssen keine (kurzen) Weiterbildungen berücksichtigt. Viele Testpersonen sind jedoch der Ansicht, dass berufsqualifizierende Weiterbildungen von mindestens sechs Monaten Dauer, die dann auch zertifiziert werden, angegeben werden sollten. Rhetorikkurse oder kleinere Workshops etc. werden nicht berücksichtigt.
- „Für mich persönlich habe ich das [eine Weiterbildung] nicht berücksichtigt, weil ich keine habe, aber theoretisch gehört ein Abschluss der IHK oder der HWK dazu, also z.B. Fachwirt. Also der Fachwirtlehrgang bei der IHK dauert schon 6 Monate und wird mit dem Fachwirtbrief beendet.“ (TP 03)
- „Eine Projektmanager-Zertifizierung zum Beispiel zähle ich dazu, aber einen Rhetorikkurs würde ich nicht dazuzählen.“ (TP 04)
- „Also ich bin gerade selbst in einem Weiterbildungskurs. Der 1. Teil ist der als Anlagenfahrer (Qualifizierungsprogramm, das etwa 6 Monate dauert) und der 2. Teil ist parallel dazu eine Ausbildung als Chemikant (Dauer 3,5-4 Jahre).“ (TP 10)
- „Ich denke, wenn es mindestens ein oder zwei Jahre lang geht, dann schon. Ja. Oder zumindest, wenn man da ein Zeugnis hat.“ (TP 29)
Danach gefragt „Wie leicht oder schwer es für Sie zu entscheiden [war], was Ihr höchster Abschluss ist?“ gaben 24 Personen „sehr“ bzw. „eher leicht“ an. Für diejenigen sieben Personen, denen die Entscheidung über ihren höchsten Abschluss „eher“/„sehr schwer“ fiel, gibt es unterschiedliche Gründe. Für drei Testpersonen (TP 06, 08, 13) war es deshalb schwierig eine Rangfolge zu bilden, da sie einerseits einen Schul- und andererseits einen Berufsabschluss erworben haben, die somit, in der Höhe, nicht direkt vergleichbar sind: bei TP 06 handelt es sich um ein Magisterstudium und eine duale Ausbildung, bei TP 08 um das Fachabitur und die Gesellenprüfung und bei TP 13 um die FH-Reife und eine kaufmännische Ausbildung. Zwei weitere Testpersonen (TP 05, 22) hatten Schwierigkeiten, da es sich bei ihren Abschlüssen um gleichwertige Abschlüsse handelt. TP 01 ist sich im Klaren darüber, dass ihre Promotion formal höher angesiedelt ist, sie selbst jedoch findet ihren Trainerschein [für die aktuelle Tätigkeit] „wichtiger“. Testperson 11 hat zwar keinerlei Schwierigkeiten für sich zu entscheiden, was ihr höchster Abschluss ist, allerdings fällt es ihr schwer, ihre Weiterqualifizierungen – die in ihren Augen höher zu bewerten sind als ihre Ausbildung im Gesundheitswesen – mithilfe des Freitextfeldes zu erfassen. Wie bereits zuvor erwähnt geht TP 11 aufgrund technischer Probleme fälschlicherweise davon aus, dass sie eine der Antwortoptionen (in ihrem Fall „Fachhochschulreife“) auswählen muss und erfasst daher eine Option, die ihrer Meinung nach ihrem Abschluss am ehesten entspricht.
Nutzerfreundlichkeit des Tools
Um gezielt Nachfragen zum Nutzungsverhalten und der Bedienbarkeit des Interface „Combo-Box“ stellen zu können, wurden die Testpersonen und ihre Blickbewegungen während des selbstadministrierten Ausfüllens des Online-Fragebogens von den Testleitern in einem benachbarten Beobachtungsraum per Live-Aufzeichnung beobachtet. Dadurch konnten das Vorgehen der Testpersonen beim Beantworten und auffällige Blickbewegungen parallel zum Ausfüllen erfasst und ggf. vercodet werden.
Insgesamt sechs Testpersonen machen drei Angaben zu ihren Abschlüssen, zehn Personen machen zwei Angaben und der überwiegende Teil von 15 Personen macht nur eine Angabe. Im Folgenden wird nun auf die Auffälligkeiten der Blickbewegungen eingegangen, die in jedem einzelnen Durchgang der Abfrage aufgetreten sind.
Code CR 1 - Schaut die Frage eine lange Zeit an bzw. liest die Frage mehrmals
Insgesamt neun (TP 05, 07, 08, 09, 11, 12, 15, 21, 26) der 31 Testpersonen schauen die Frage eine lange Zeit an bzw. lesen sie mehrmals. Um herauszufinden, warum sie dieses Verhalten gezeigt haben, wurden die Testpersonen im kognitiven Interview gebeten Gründe dafür zu nennen und gefragt, ob es etwas gab, was sie bei dieser Frage gestört oder irritiert hat. Drei Personen (TP 05, 09, 12) geben an, dass sie Schwierigkeiten damit hatten, dass zwei Fragen in einer gestellt wurden. Ihnen war zunächst unklar, ob es hier um die Erfassung allgemeinbildender Schulabschlüsse oder eben berufsbezogener Ausbildungsabschlüsse geht:
- „Ja, also wie ist das jetzt zu verstehen, also auch allgemeinbildende Schulabschlüsse oder berufsbezogene Ausbildungsabschlüsse. Und ich verstehe die Frage jetzt so, dass [ich meine Angabe] auf berufsbezogene Abschlüsse bezogen habe. Da ist Interpretationsspielraum und man muss sich da entscheiden.“ (TP 05, angegebener Abschluss: Diplom)
- „Ich glaube, das war deswegen, weil vorher ging es um den Schulabschluss und jetzt eigentlich nochmal die gleiche Frage. Und da wäre es ja blöd gewesen, das Gleiche nochmal reinzuschreiben. Und deshalb bin ich dann auf die Ausbildung gegangen.“ (TP 09, angegebener Abschluss: Meisterin der Hauswirtschaft)“
- „Gerade weil ich mir nicht schlüssig war, ob ich einen Ausbildungs- oder den Schulabschluss eingeben soll. […] Irritiert in dem Sinne, dass ich einfach nicht zwei Fragen in einer Frage beantworten kann. Ich hätte auch „Techniker/fachgebundene Hochschulreife“ eingeben können. Aber das wäre ja nicht möglich gewesen. Dann hätte ich im Endeffekt beides beantworten können.“ (TP 12, angegebener Abschluss: Techniker)“
Gewünscht ist eine Erfassung des „höchsten Ausbildungs- oder Hochschulabschlusses“. Da die Testpersonen zuvor zu ihrer kompletten Bildungsbiografie befragt wurden, wie der Gesamtdauer und der Anzahl aller ihrer Abschlüsse inklusive Schulabschlüssen, scheint die Fokussierung auf den höchsten Abschluss bei dieser Frage nicht intuitiv zu sein. In diesem Kontext lässt sich auch die Antwort von TP 11 besser verstehen. Sie gibt „Fachhochschulabschluss“ an, allerdings wird aufgrund der Nachfrage deutlich, dass sie sich hier offensichtlich falsch einordnet: „Weil ich am Überlegen war, ob meine Ausbildung als Krankenschwester und dann auch die Weiterqualifizierungen (im Bereich „Anästhesie und Intensivmedizin“) dazu gehören, weil da stand ja Abschluss. Letztendlich habe ich mich dafür entschieden, das mit rein zu nehmen, weil da irgendetwas mit Schule dabei stand. Deswegen habe ich das mit aufgenommen.“ Offensichtlich möchte TP 11 so vollständig wie möglich ihren Bildungsweg erfassen. Da dies in der vorgegebenen Form nicht möglich ist, entscheidet sich die Testperson dafür, ihre Ausbildung und erfolgte Fachweiterbildungen zu einem höheren Abschluss zu aggregieren.
Drei andere Testpersonen (TP 07, 08, 15) zeigen sich irritiert aufgrund des Fragezusatzes „Wenn Sie sich unsicher sind was Ihr höchster Abschluss ist, geben Sie uns bitte den zuletzt erreichten Abschluss an.“ Hier wird eine Diskrepanz zwischen dem höchsten und dem zuletzt erreichten Abschluss wahrgenommen, der die Beantwortung für diese drei Testpersonen erschwert.
Zwei weitere Testpersonen mit ausländischen Abschlüssen haben ebenfalls mehrmals die Frage gelesen. Bei TP 21 (italienisch) liegen Verständnisschwierigkeiten aufgrund der Sprache vor, bei TP 26 (französisch) waren mehrere Möglichkeiten in einer gegeben, weshalb sie sich nicht sicher war, welcher Abschluss der richtige ist.
Code CR 2 - Klickt auf „weiter“ ohne etwas im Textfeld einzugeben
Keine der Testpersonen hat einfach auf „weiter“ geklickt ohne eine Angabe zu machen.
Code CR 3 - Gibt etwas in Textfeld ein und klickt auf „weiter“ ohne einen Antwortvorschlag auszuwählen. (Antwortmöglichkeiten wurden angezeigt)
Insgesamt zwölf Testpersonen machen eine Angabe im Textfeld, wählen jedoch keinen der angezeigten Antwortvorschläge aus. Sieben Testpersonen (TP 01, 03, 04, 10, 13, 23, 25) haben nicht bemerkt, dass ihnen überhaupt Antwortvorschläge angezeigt wurden. Den anderen fünf Testpersonen, die die Antwortvorschläge bemerkt haben, war klar, dass sie hier ihren Abschluss suchen können, haben aber diese Option nicht genutzt. TP 14 wollte den eigenen Abschluss schnell selbst erfassen und nicht abwarten und die vorgeschlagene Liste durchlesen. Bei den übrigen vier Testpersonen (TP 09, 16, 20, 30) gab es keinen passenden Eintrag bzw. wurde dies bereits im Vorfeld angenommen:
- „Ich hätte etwas anderes erwartet. Denn nur Meister ist ja nicht aussagekräftig genug, weil es ja verschiedene Meister gibt. Ob das jetzt ein Friseur ist, oder Bautechnik oder so.“ (TP 09; eingegebener Abschluss: Meisterin der Hauswirtschaft)
- „Ich habe eine Sonderform von Abitur gemacht, die es nur in einer Schule in ganz Frankreich gibt. Dieser [deutsch-französisch/bilinguale] Abschluss ist ziemlich selten.“ (TP 16; eingegebener Abschluss: Baccalauréat franco-allemand)“
- „Ich habe gesucht, aber meine Antwort war nicht dabei. Studienkolleg stand nicht dabei.“ (TP 20; eingegebener Abschluss: Studienkolleg)
- „Die korrekte Antwort [swiadectwo ukoriczenia studiow doktoranchich] war nicht in der Liste.“ (TP 30; eingegebener Abschluss: Dyploma Magistra)“
Code CR 4 - Gibt etwas im Textfeld ein, schaut die Antwortmöglichkeiten an, löscht den eingegebenen Text und gibt etwas Neues ein
Fünf Testpersonen (TP 08, 21, 22, 24, 30), von denen vier einen ausländischen Abschluss haben, geben zunächst etwas ein, lesen sich die eingeblendeten Optionen durch, löschen daraufhin Teile ihrer Eingabe und ändern diese dann ab. Bei TP 22 und 24 liegt das daran, dass sie die Instruktion ihre Eingabe in Spanisch zu machen übersehen haben und zunächst ihren Abschluss in Deutsch eingeben wollen. TP 30 macht mehrere Eingaben (4-5), da sie ihren polnischen Abschluss nicht findet und entscheidet sich dann aufgrund der angezeigten Optionen dafür, hier lediglich ihren Studienabschluss nicht aber ihren höchsten Abschluss – ein abgeschlossenes Doktorandenprogramm, das jedoch keine Dissertation beinhaltet – zu nennen. TP 21 bemerkt bei der Erfassung zunächst nicht, dass Antwortoptionen angezeigt werden. Als sie es bemerkt, löscht sie einen Teil ihrer Angaben und wählt dann aus der Liste ihre Antwort aus. TP 08, die ihren Abschluss in Deutschland erworben hat, möchte zunächst ihren Schulabschluss (Mittlere Reife) eingeben, entscheidet aber aufgrund der Listenauswahl, welche lediglich Berufe anzeigt, den Berufsabschluss (Gesellenbrief) zu erfassen.
Code CR 5 - Gibt etwas in Textfeld ein und klickt auf „weiter“ (KEINE Antwortmöglichkeiten wurden angezeigt)
Dass keine Antwortmöglichkeiten angezeigt wurden und Testpersonen deshalb eine Freitexteingabe machen, kam nicht vor. Selbst, wenn die gewünschte Option nicht erschien, wurden zumindest andere Abschlüsse angezeigt.
Code CR 6 - Schaut lange die Antwortmöglichkeiten an bzw. liest sie mehrmals
Drei Testpersonen (TP 11, 26, 30) schauen lange auf die Antwortvorschläge, weil sie die richtige Antwortoption auswählen möchten. Während TP 26 zwischen dem allgemeinen Abschluss (Baccalauréat général) und einer evtl. spezifischeren Angabe schwankt, sich letztlich für das Allgemeinere entscheidet, finden sich die Testpersonen 11 und 30 in der Liste nicht wieder. Testperson 11, die eine Ausbildung zur Krankenschwester und Fachweiterbildungen absolviert hat, ordnet sich schließlich einer falschen Kategorie (Fachhochschulabschluss) zu. Auch Testperson 30 wählt im Endeffekt eine falsche Kategorie, da sie nicht ihren höchsten Abschluss auswählt. Sie wählt aus der Liste Dyplom magistra, da ihre höheren Qualifikationen (post-graduate degree & PhD-Programme) nicht angeboten werden. Danach gefragt, was sie beim Anschauen der Antwortoptionen gedacht hat, sagt sie:
„Es hat mich irritiert, dass die vielen Antwortoptionen in der Liste weder alphabetisch noch sonst irgendwie hierarchisch aufsteigend sortiert waren. Manche Optionen waren sehr eng, sehr spezifisch gefasst, andere allgemeinere Abschlüsse [wie die der TP] haben ganz gefehlt. Ich sollte die Antwort in Polnisch angeben, aber mit der deutschen Tastatur war es gar nicht möglich polnische Buchstaben zu verwenden.“ (TP30).
Code CR 7 - Blick springt mehrfach zwischen Frage, Textfeld und/oder Antworten hin und her
Das Hin- und Herspringen der Augen zwischen Frage, Textfeld und Antwortoptionen kommt lediglich bei Testperson 19 vor. Danach gefragt, warum sie das gemacht hat, erklärt sie wie folgt:
„Als die Ergänzung meines Textanfangs kam und das auch mit Kleinbuchstaben [TP bezieht sich auf „dr.“wie das in Ungarn üblich ist], das war überraschend korrekt. Das war auch gut, dass es [das Tool] gleich ergänzt hat, was ich angefangen habe zu schreiben.“
Code CR 9 - TP gibt einen Schulabschluss als höchsten Abschluss ein und keine weitere Bildung
Insgesamt acht Testpersonen (TP 10, 16, 20, 21, 25, 26, 27, 29) geben einen Schulabschluss und keine weitere Bildung ein. Bei sieben Testpersonen ist diese Angabe korrekt, da sie sich aktuell in einer Ausbildung befinden, die auf dem zuvor erworbenen und angegebenen höchsten Schulabschluss basiert. Testperson 10 jedoch hat eine berufliche Ausbildung zum Zimmermann absolviert und mit bestandener Prüfung und Erhalt des Gesellenbriefs den Sekundarabschluss automatisch anerkannt bekommen. Bei dieser Frage geht die Testperson davon aus, dass nach dem Schulabschluss gefragt wird, weshalb sie den im Zuge der Ausbildung erworbenen Sekundarabschluss einträgt.
Suche und Suchverhalten – 1. Durchgang
Der Aspekt des Suchverhaltens kann nur bei denjenigen erfasst werden, die etwas in das Textfeld eingegeben und währenddessen bemerkt haben, dass sich eine Liste mit Antwortoptionen öffnet. Dies trifft im ersten Durchgang auf 22 Testpersonen zu. Davon geben acht Personen an, nicht überrascht gewesen zu sein, dass während ihrer Eingabe Antwortvorschläge angezeigt wurden.
- „Das kenne ich auch von anderen Arbeiten am Computer, wenn ich einen Buchstaben eingebe, dass dann oftmals so vorgegebene Antworten zum Anklicken vorhanden sind.“ (TP 12)
- „Ich fand das gut und auch praktisch für Sie. Da hat man keine Rechtschreibfehler.“ (TP 16)“
- „Was mich überrascht hat, war, dass die Liste so detailliert war mit verschiedenen Abschlüssen in unterschiedlichen Zeiten oder auch die verschiedenen Spezialisierungen, wobei das nicht vollständig war.“ (TP 30)“
14 Testpersonen geben an, dass sie überrascht waren, was vor allem daran liegt, dass nichts daraufhin deutet, dass es sich um ein Scroll-Menü handelt:
- „Weil eben rechts nichts angezeigt wurde.“ (TP 06)
- „Eigentlich habe ich es nicht erwartet. Und dann habe ich gesehen, ah, da kommen Sachen. Normalerweise steht das dann im Text oder so Pfeile, auf die man drauf klicken kann und dann kann man suchen, aber es stand da nicht.“ (TP 20)
- „Weil vorher war das ein Feld mit einem Pfeil bei den Ländern und da habe ich gleich gemerkt, okay da kann ich was auswählen. Aber da war nichts und deswegen war nicht klar, dass noch etwas kommt.“ (TP 31)
Zwei Testpersonen waren vor allem deshalb überrascht, weil die Angaben in der Landessprache Ihres Abschlusses angezeigt wurden:
- „Ich gehe schon davon aus, wenn das auf Deutsch wäre und ich nicht mit der Muttersprache arbeite, dann ist das angenehm, wenn man verschiedene Antwortmöglichkeiten hat. Da muss man sich nicht überlegen, wie man das schreibt. Aber wenn ich das auf Polnisch reintippen muss, dann kann ich das von Anfang bis Ende selbstständig machen. Für mich war das nicht notwendig. Das hat mich sogar ein bisschen durcheinander gebracht.“ (TP 17)
- „Bei „Dr.“ gibt es zwar nicht viele Möglichkeiten, aber dass mein Abschluss in der Landessprache [auf Ungarisch] direkt angezeigt wurde, das hat mich schon etwas überrascht.“ (TP 19)
Testperson 07 war positiv überrascht und erläutert dies so:
„Das hat es mir leichter gemacht. Weil ich nicht „Ausbildung/Lehre/Facharbeiter“ ausgewählt hätte. Ich hätte „Lehre zum …“ angegeben.“
Die Testpersonen 02, 24 und 26 hätten mit der Freitexteingabe andere Bezeichnungen angegeben als sie es letztlich dann mithilfe der vorgegebenen Kategorisierungen getan haben. Testperson 24 hätte ohne die Liste eine Angabe auf Deutsch gemacht und nicht wie erforderlich in der Landessprache. Testperson 30 konnte zwei ihrer Abschlüsse trotz Liste gar nicht erst finden und hat schließlich nur ihren Studienabschluss erfasst. Auch für Testperson 31 war die Liste nicht hilfreich. Ganz im Gegensatz zu Testperson 19, die sofort die korrekte Bezeichnung ihres ungarischen Abschlusses gefunden hat.
Um nähere Informationen über das Suchverhalten mithilfe der Antwortoptionen der Combo-Box zu erhalten, wurden die Testpersonen, die eine Option ausgewählt haben (n= 22) danach gefragt, wie leicht oder schwer es für sie war, die gewünschte Antwortmöglichkeit auszuwählen und wie genau das Ergebnis mit der Angabe, die sie machen wollten, überein stimmt. Von den 22 Testpersonen geben 19 Personen an, es sei Ihnen „sehr leicht“ oder „eher leicht“ gefallen. Insgesamt drei Testpersonen äußern, dass es ihnen „eher schwer“ gefallen sei. Zwei Testpersonen (TP 11, 30) begründen das damit, dass sie ihren Abschluss nicht finden konnten, weshalb die Antwortvorschläge auch überhaupt nicht mit dem übereinstimmen, was sie sagen wollten. Eine TP hat nicht damit gerechnet ihren Abschluss in der Landessprache (hier Ungarisch) angeben zu müssen, wobei die Passgenauigkeit der Angaben trotzdem sehr gut ist.
Diejenigen, die ihren höchsten Abschluss nicht in Deutschland erworben haben (n=12), wurden darüber hinaus noch gefragt, wie leicht oder schwer es für sie war, den Abschluss in der Landesprache des Landes, in dem der Abschluss gemacht wurde, zu nennen. Elf der zwölf Testpersonen gaben an, dass ihnen die Angabe „sehr leicht“ gefallen sei, einer weiteren Testperson fiel es „eher leicht“. Die folgende Übersicht zeigt, in welchem Land die 12 Testpersonen ihren höchsten Abschluss erworben haben:
- Frankreich: TP 16, 26, 28
- Spanien: TP 22, 23, 24
- Ungarn: TP 19, 27, 29
- Polen: TP 17, 30
- Italien: TP 21
Darüber hinaus wurden die Testpersonen für jeden eingegebenen Abschluss danach gefragt, wie die genaue Bezeichnung in ihrem Abschlusszeugnis lautete. Die jeweiligen Übersichtstabellen befinden sich im Anhang des pdf-Berichts.
Nutzerfreundlichkeit des Tools – 1. Loop – wenn ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Auch im 2. Durchgang (=1. Loop) gibt es weitere Erkenntnisse darüber, welche Probleme bzw. Auffälligkeiten beim Erfassen eines weiteren Abschlusses auftreten.
Von den 16 Testpersonen, die einen weiteren Abschluss angeben, wurden bei elf Personen auffällige Blickbewegungen vercodet (4 Mal Code CR3, 4 Mal Code CR4, jeweils 1 Mal Codes CR5, CR6 und CR7). Im Folgenden wird auf die einzelnen Auffälligkeiten eingegangen.
Code CR3 - Gibt etwas in Textfeld ein und klickt auf „weiter“ ohne einen Antwortvorschlag auszuwählen. (Antwortmöglichkeiten wurden angezeigt)
Vier Testpersonen (TP 09, 12, 14, 30) entscheiden sich für eine Freitexterfassung ohne eine Antwortmöglichkeit auszuwählen. Während die Testpersonen 12 und 14 während der Eingabe nicht auf die Auswahloptionen achten, hat TP 09 keine Lust in der Liste nach Ihrem Abschluss zu suchen. Wie bereits beim 1. Ausfüllen beschrieben, hat Testperson 30 das Problem, dass ihre beiden Abschlüsse nach ihrem Uniabschluss nicht als Antwortvorschläge bei der Combo-Box auftauchen, weshalb die TP im 1. Durchgang ihren Magister aus der Liste auswählt, ihre weiteren Abschlüsse in Loop 1 und 2 dann via Freitextfeld direkt eingibt. „Manche Optionen waren sehr eng, sehr spezifisch gefasst, andere allgemeinere Abschlüsse [Weder
„swiadectwo ukoriczenia studiow doktoranchich“ (Promotionsstudium ohne Doktorarbeit) noch „swiadectwo/dyplom ukoriczenia studiow poddyplomowych“ (Post-graduate-Studium)] haben ganz gefehlt.“
Code CR4 - Gibt etwas im Textfeld ein, schaut die Antwortmöglichkeiten an, löscht den eingegebenen Text und gibt etwas Neues ein
Vier Testpersonen (TP 04, 06, 17, 31) geben zunächst etwas ein, lesen sich die eingeblendeten Optionen durch, löschen daraufhin Teile ihrer Eingabe und ändern diese dann ab. TP 04 und 06 löschen Teile der Eingabe, da die Antwortoptionen aufgrund der Eingabelänge bereits wieder verschwunden sind und wählen anschließend die passende Antwort aus. TP 17 ist es nicht mehr gewohnt ihren Abschluss auf Polnisch einzugeben und hat daher Rechtschreibschwierigkeiten. Ähnlich ist es bei TP 31, die ihre Eingabe zunächst auf Deutsch statt auf Polnisch machen möchte.
Code CR5 - Gibt etwas in Textfeld ein und klickt auf „weiter“ (KEINE Antwortmöglichkeiten wurden angezeigt)
Lediglich TP 02 gibt ihre Antwort „Technischer Redakteur“ in das Textfeld ein, da keine Antwortmöglichkeiten angezeigt wurden.
Code CR6 - Schaut lange die Antwortmöglichkeiten an bzw. liest sie mehrmals
Auch im Loop hat Testperson 11, die eine Ausbildung zur Krankenschwester und Fachweiterbildungen absolviert hat, Probleme und ordnet sich der falschen Kategorie (Fachhochschulabschluss) zu, da ihr nicht bewusst ist, dass auch eine Freitexteingabe möglich ist. Beim 1. Ausfüllen der Combo-Box gab es, wie bereits beschrieben, technische Schwierigkeiten, woraufhin das Programm neu gestartet werden musste und die Testperson irrtümlich davon ausging, dass eine der Antwortoptionen ausgewählt werden muss. Daher wählt sie „das kleinere Übel“, wobei sie eigentlich folgendes eingeben wollte:
„Als erstes die Ausbildung, die steht nicht drin, also die Ausbildung als Krankenschwester. Der zweite Abschluss ist die Fachweiterbildung „Anästhesie- und Intensivmedizin“ und der nächste ist dann noch die Stationsleitung. Letztendlich habe ich hier etwas Falsches eingegeben, weil das stimmt ja so nicht, weil ich keine Möglichkeit gesehen habe, hier das passende einzugeben.“ Dieses Problem führt sich im nächsten Loop und auch beim Interface Search-Tree fort.
Code CR7 - Blick springt mehrfach zwischen Frage, Textfeld und/oder Antworten hin und her
Das Hin- und Herspringen der Augen zwischen Frage, Textfeld und Antwortoptionen kommt lediglich bei Testperson 22 vor. Darüber hinaus springt die Testperson zwischen verschiedenen Fragen hin und her. Danach gefragt, warum sie das gemacht hat, wird aber deutlich, dass für den Fall der Testperson ein Programmierfehler vorliegt: Da die Testperson im 1. Durchgang angibt ihren höchsten Abschluss (Ingeniera Tècnica Industrial) in Spanien gemacht zu haben und im 1. Loop einen weiteren in Deutschland erworbenen Hochschulabschluss (Diplom Ingenieur Chemie (FH)) erfassen möchte, werden ihr zusätzlich die Frage nach ihrem höchsten Schulabschluss, den nur Befragte erhalten sollten, die ihren höchsten Abschluss in Deutschland erworben haben, gestellt. Dieser Reihenfolgefehler führt zu Verwirrung bei Befragten, die einen zweiten Ausbildungs- oder Hochschulabschluss in Deutschland und vorherige Bildungsstufen sowie ihren höchsten Abschluss in einem anderen Land erworben haben.
Hier liegt das Problem also nicht in der Combo-Box selbst, sondern in der Reihenfolge der Frageprogrammierung und der Besonderheit, dass deutsche Ausbildungs- und Hochschulabsolventen anschließend die für Deutschland spezifische Schulbildungsfrage erhalten.
Suche und Suchverhalten – 1. Loop – wenn ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Im zweiten Durchgang machen 16 Testpersonen Angaben zu einem weiteren Abschluss. Bei denjenigen (n=4), die keinen vollständigen Ausdruck eingetippt haben, wurde wieder nachgefragt, was Sie denn schreiben wollten. Anbei eine Übersicht über Ihre Nennungen:
- TP 02: "Technisch" - "Ich habe das geschrieben, dann ist etwas aufgepoppt und dann habe ich gedacht, da ist ja einiges mit „technischer“ irgendwas, aber dann habe ich nichts gefunden, das auf mich passen würde. Dann habe ich weiter getippt und dann hat sich die Auswahl unten noch etwas verändert und dann dachte ich, oh, kommt jetzt doch etwas, was auf mich zutrifft [, was allerdings nicht der Fall war] und dann habe ich das [Technischer Redakteur] einfach fertig ausgefüllt."
- TP 03: "Bank" - "Bankkaufmann und über das Ausschlussverfahren – Meister macht keinen Sinn – habe ich dann Ausbildung ausgewählt."
- TP 28: "Biologielaborantin" - TP wählt den Antwortvorschlag „Biologielaborant/in, Ausbildung, Heilpraktiker/in, Lehre, Facharbeiter“ aus. "Das war sehr angenehm" [dass Vorschläge angezeigt wurden]
- TP 31: "Matura" - TP wählt den Antwortvorschlag „Matura Swiadectwo dojrzatosu Liceum Ogolnoksztancoycego“ aus
Für Testperson 02 sind die Antwortvorschläge nicht hilfreich, da ihre Antwort nicht dabei ist. Daher entscheidet sie sich im Endeffekt dafür, ihren Abschluss als Freitext einzugeben. Für die anderen drei Testpersonen (TP 03, 28, 31) sind die Antwortvorschläge zutreffend und daher auch präziser als eine Freitexteingabe.
Um nähere Informationen über das Suchverhalten hinsichtlich der Antwortvorschläge der Combo-Box zu erhalten, wurden die Testpersonen, die beim zweiten Beantworten eine Option ausgewählt haben (n= 10) danach gefragt, wie leicht oder schwer es für sie war, die gewünschte Antwortmöglichkeit auszuwählen. Darüber hinaus wurden sie gefragt, wie genau das Ergebnis mit der Angabe, die sie machen wollten, übereinstimmt. Von den zehn Testpersonen (TP 01, 03, 04, 05, 06, 11, 12, 14, 17, 28) geben neun Personen an, es sei Ihnen „sehr leicht“ oder „eher leicht“ gefallen, da der jeweilige Vorschlag sehr genau bzw. 100%ig gepasst habe. Lediglich Testperson 11 ist die Auswahl einer Option „sehr schwer“ gefallen. Das liegt daran, dass ihr wie bereits beim ersten Ausfüllen nicht klar war, dass auch Freitexteingabe möglich ist. Stattdessen wählt sie eine Antwortoption aus, die überhaupt nichts mit ihrem Abschluss als Krankenschwester mit Weiterbildungen in Anästhesie und Intensivmedizin zu tun hat, nämlich Fachhochschulabschluss bzw. im 2. Loop Diplom einer Verwaltungs-/ Fachhochschule.
Die drei Testpersonen (TP 17, 22, 31), die einen weiteren Abschluss außerhalb Deutschlands erworben haben, wurden noch danach gefragt, wie leicht oder schwer es für sie war, den Abschluss in der Landessprache des Landes, in dem der Abschluss gemacht wurde zu nennen; allen ist es leicht gefallen.
Nutzerfreundlichkeit des Tools und Suchverhalten – 2. Loop – wenn noch ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Insgesamt sechs Testpersonen haben einen dritten Abschluss angegeben. Bei allen Testpersonen wurden auffällige Blickbewegungen beim Ausfüllen der Combo-Box codiert: 1 Mal Code CR3, 1 Mal Code CR4, 2 Mal Code CR5, 2 Mal Code CR6.
Code CR3 - Gibt etwas in Textfeld ein und klickt auf „weiter“ ohne einen Antwortvorschlag auszuwählen. (Antwortmöglichkeiten wurden angezeigt)
Testperson 30 klickte beim Ausfüllen dieses Durchlaufs wieder auf „weiter“ ohne eine Antwortkategorie auszuwählen, obwohl Antwortmöglichkeiten angezeigt wurden. Auch hier argumentierte sie wieder, dass sie wie zuvor keine Möglichkeit als passend empfand und sie deswegen keine davon auswählte.
Code CR4 - Gibt etwas im Textfeld ein, schaut die Antwortmöglichkeiten an, löscht den eingegebenen Text und gibt etwas Neues ein
Testperson 17 hat ihre erste Eingabe auch in diesem Durchgang gelöscht und etwas Neues eingegeben. Sie wollte auf Deutsch „Abitur“ eintragen wobei ihr auffiel, dass sie diesen Abschluss auch auf Polnisch eingeben soll, weshalb sie die Korrektur vornahm. Trotz der kurzen Irritation fand Testperson 17 die Auswahl der gewünschten Antwortmöglichkeit „sehr leicht“.
Code CR5 - Gibt etwas in Textfeld ein und klickt auf „weiter“ (KEINE Antwortmöglichkeiten wurden angezeigt)
Dieser Code wurde für zwei Testpersonen (TP 01, 28) vergeben. Beide Testpersonen gaben Abschlüsse ein, die nicht staatlich anerkannt sind, weshalb keine Antwortmöglichkeiten vorgeschlagen wurden. Testperson 01 trug „Trainerschein“ ein und erläuterte,
„es gab keine andere Auswahlmöglichkeit“ und sie deswegen
„was Eigenes“ geschrieben hat. Die gleiche Argumentation führt auch Testperson 28 an, die in diesem Durchlauf „Heilpraktiker“ als weiteren Abschluss eintrug. Sie erklärt daraufhin, dass sie sich darüber bewusst sei, dass es
„keine offizielle staatliche Ausbildung“ sei und sie ihren Abschluss demnach auch nicht in der Liste finden würde. Da es aber der Beruf ist, den sie ausübt und sie dafür auch eine Ausbildung durchlaufen hat, wollte sie ihn angeben.
Beide Testpersonen führen später an, dass ihnen die Auswahl der gewünschten Antwortkategorie entsprechend schwer fiel, da ihre Abschlüsse in der Liste der staatlich anerkannten Abschlüsse nicht zu finden sind.
Code CR6 - Schaut lange die Antwortmöglichkeiten an bzw. liest sie mehrmals
Die Testpersonen 11 und 22 haben die Antwortmöglichkeiten mehrmals gelesen bevor sie ihre Auswahl trafen. Testperson 22 erklärt das damit, dass sie die passende Antwort gesucht habe, denn
„dieses Verwaltungsschule kenne ich nicht. Und dann dachte ich mir, Fachhochschule ist bestimmt bei Universität dabei. Und dann habe ich Fachhochschule gesehen.“ Sie gibt später an, dass die Auswahl der gewünschten Antwortmöglichkeit „sehr leicht“ war. Während das Suchverhalten von Testperson 22 als gründliches Nachsehen einzustufen ist, ist das mehrmalige Durchsuchen und lange Anschauen der Antwortmöglichkeiten von Testperson 11 anders zu bewerten. Letztendlich wählt sie aus Mangel einer passenden Antwortmöglichkeit „Diplom einer Verwaltungshochschule“, obwohl sie „Leitung einer Station“ (Krankenhausstation) eingeben wollte. Trotz mehrmaligem Ändern der Eingabe konnte die Testperson kein zufriedenstellendes Ergebnis finden. Auch ihr fiel es „sehr schwer“ die gewünschte Antwortmöglichkeit auszuwählen, da diese nicht existiert.
Nur die Testpersonen 17 und 30 erzielten die genannten Abschlüsse im Ausland, weswegen nur sie gefragt wurden, wie leicht oder schwer die Eingabe des Abschlusses in der entsprechenden Landessprache war. Beide machten die Abschlüsse in Polen und empfanden die Eingabe als „sehr leicht“ (TP 17) bzw. „eher leicht“ (TP 30). Während der angegebene Abschluss von TP 17 übersetzt „Abitur“ bedeutet, existiert offensichtlich kein deutsches Äquivalent zum Abschluss von TP 30 („Swiadectwo ukonczenia studiow doktorackich“).
Technische Elemente & Nutzerfreundlichkeit
Hinsichtlich der Nutzerfreundlichkeit der technischen Elemente und der Bedienbarkeit des Interface „Combo-Box“ generell wurden alle Testpersonen explizit danach gefragt wie leicht oder schwer es für sie zu erkennen war, dass sie hier – also im Textfeld – eine Antwort eintragen sollten. Alle 31 Testpersonen gaben an, dass dies „sehr leicht“ oder „eher leicht“ war. Zwei Testpersonen (TP 01, 30) machen jedoch darauf aufmerksam, dass es nicht offensichtlich ist, ob hier eine Freitexteingabe oder eine Auswahl der vorgeschlagenen Antwortoption – sobald man mit einer Eingabe beginnt – präferiert werden soll. Darüber hinaus merkt TP 05 an, dass die Ausführlichkeit der Angabe unklar war, also sollte nur der Abschluss wie hier „Diplom“ eingetragen oder detaillierter noch der Fachbereich angegeben werden – zumal die besagte Testperson zwei Diplome erworben hat und die detailliertere Erfassung der erworbenen Abschlüsse die Angabe für sie erleichtern würde.
Um tiefere Einblicke zu erhalten, wie die Befragten das Tool benutzt haben, wurden sie gebeten sich vorzustellen, dass Sie einem Freund/einer Freundin mit wenig Erfahrung am Computer beschreiben, wie er/sie diese Frage beantworten soll. Anhand der Erläuterungen der Testpersonen wird deutlich, dass die technische Beantwortung der Frage für 25 Testpersonen kein Problem darstellt:
- „Ich würde sagen, man muss in das Feld klicken und den Abschluss eintippen. Eventuell würde ich noch darauf hinweisen, dass eine Auswahl aufpoppt, die man dann noch auswählen und anklicken kann. Ich glaube, wenn ich nicht gewusst hätte, dass ich da was anklicken kann oder mich nicht wiedergefunden hätte, dann hätte ich das einfach ausgeschrieben und ich denke, das wäre dann auch angenommen worden. Davon gehe ich aus bei der Frage." (TP 02)
- „Ich würde sagen, das ist wie bei Google, das kennt jeder. Man fängt an und bei jedem Buchstaben taucht sofort irgendetwas auf. Und ich muss dann so viele Buchstaben eingeben, wie ich brauche bis das kommt, was ich eingeben will.“ (TP 06)
- „Das, was sie gemacht hat, den Abschluss, soll sie anfangen einzutippen, also die ersten Buchstaben oder das erste Wort und dann gucken, ob es drin ist [in der Liste]. Wenn ja, anklicken, wenn nein [in der Textzeile] weitertippen.“ (TP 16)
- „Da gibt es ein Textfeld, wo man etwas reintippen muss. Und eigentlich schon nach 2 Buchstaben öffnet sich eine Liste mit gegebenen Möglichkeiten. Und man muss einfach die passende Option wählen.“ (TP 17)
- „Einfach eintragen und dann werden die ganzen Möglichkeiten angezeigt. Und wenn dieser Hochschulabschluss nicht dabei ist, kann man es trotzdem eintragen.“ (TP 22)
Weiteren sechs Testpersonen (TP 03, 10, 11, 12, 15, 20) ist nicht klar, dass es nicht nur die Möglichkeit der Freitexterfassung gibt, sondern darüber hinaus auch während der Eingabe Antwortkategorien zum Auswählen angezeigt werden. Zudem machen drei ausländische Testpersonen (TP 21, 23, 27) darauf aufmerksam, dass die Frage zwar in Deutsch erscheint, die Antwort jedoch in der jeweiligen Sprache des Landes, in dem dieser Abschluss erworben wurde, angegeben werden soll. Dies wirkt irritierend. Folglich wäre es plausibler, wenn auch die Frage bereits in der jeweiligen Landessprache erscheinen würde oder aber der Hinweis auf die anzuwendende Sprache deutlicher hervorgehoben würde.
