General Probing, Specific Probing, Comprehension Probing, Emergent Probing, Conditional Probing.
Im kognitiven Interview wird das Interface Search-Tree hinsichtlich drei Dimensionen überprüft: Technische Elemente und Nutzerfreundlichkeit, Suche und Suchverhalten und Verständnis der Kategorien.
Technische Elemente und Nutzerfreundlichkeit:
Um herauszufinden, wie nutzerfreundlich die Beantwortung anhand des zweiten Interface „Search-Tree“ wahrgenommen wird, wurden die Testpersonen gebeten, sich vorzustellen, dass Sie einem Freund/einer Freundin mit wenig Erfahrung am Computer beschreiben, wie er/sie diese Frage beantworten soll. Anhand der Erläuterungen der Testpersonen wird deutlich, dass die technische Beantwortung der Frage und die Navigation innerhalb der Frage keine Probleme darstellen:
- „Man sollte sich erst wiederfinden in einem der ausgewählten Begrifflichkeiten und dann anklicken. Und dann öffnet sich ggf. noch eine weitere Liste und dann nochmal anklicken, was auf einen persönlich zutrifft.“ (TP 02)
- „Da sind Auswahlmöglichkeiten, die guckst du dir an und klickst auf die richtige und dann kommt vermutlich nochmal eine Auswahlmöglichkeit und die auch nochmal anklicken.“ (TP 06)
- „Ich würde erst einmal erklären, dass es eine Vorauswahl gibt. Danach gehen noch weitere Auswahlfelder auf und dann muss man sich da das Richtige raus suchen.“ (TP 10)
- „Es gibt mehrere Antwortmöglichkeiten. Man muss die passende finden und eventuell, wenn man auf diese Antwort klickt, kann sich noch eine weitere Liste mit detaillierteren Antwortmöglichkeiten öffnen und dann wählt man einfach die passende aus.“ (TP 17)
- „Also sie sieht die Frage und sie müssen die Frage lesen. Und es gibt viele Möglichkeiten und sie müssen in diesen Möglichkeiten die Antwort finden. Und mit der Maus eine finden und dann weiter gehen.“ (TP 21)
- „Dass sie auf die entsprechende Bezeichnung klickt und dann liest was es noch dazu gibt und nochmal klickt auf das Richtige.“ (TP 28)
Zusätzlich wurden die Testpersonen gefragt, wie leicht oder schwer es für Sie zu erkennen war, dass Sie die Antwortkategorien durch Klicken oder mit den Pfeiltasten auswählen sollten. Von den 31 Testpersonen berichtete niemand, Schwierigkeiten mit dieser Aufgabe gehabt zu haben: insgesamt 19 Testpersonen gaben an, dass es „sehr leicht“ war zu erkennen, dass Sie die Antwortkategorien durch Klicken oder mit den Pfeiltasten auswählen sollten, während es für die übrigen 12 Testpersonen „eher leicht“ war. Testperson 16 („eher leicht“) merkt an, dass es noch einfacher gefallen wäre, wenn statt dem Dreieck-Symbol ein „+“-Zeichen, wie im Windows Explorer, eingesetzt werden würde.
Auf die Nachfrage, was passiert, wenn man auf eine der Zeilen klickt, antworten 23 Testpersonen, dass sich eine Unterauswahl (Unterkategorien, ein Untermenü, ein Dropdown-Menü, eine weitere Liste, weitere Antwortmöglichkeiten, weitere Zeilen) öffnet. Vier Testpersonen (TP 07, 12, 16, 31) verbinden damit eine genauere bzw. detailliertere Auswahl und drei Testpersonen geben an, dass die Zeile dadurch markiert wird (TP 14, 20, 29). Einer Testperson wurden diese und die folgende Frage nicht gestellt, da bei der Beantwortung keine aufklappbare Zeile angeklickt wurde (TP 27).
Insgesamt 11 Testpersonen waren überrascht, dass durch das Anklicken weitere Zeilen angezeigt wurden. Für die übrigen 19 Testpersonen war dies keine Überraschung.
Suche und Suchverhalten
Um nähere Informationen darüber zu erhalten, wie gut bzw. leicht die Befragten die für sie passende Antwort mit Hilfe des Search-Trees gefunden haben, wurden sie gebeten anzugeben, wie leicht oder schwer es für sie war, die richtige Kategorie (bzw. Zeile) für Ihren Abschluss zu finden. Von den 31 Testpersonen geben 26 an, es sei Ihnen „sehr leicht“ (14 TPs) oder „eher leicht“ (12 TPs) gefallen. Insgesamt 5 Testpersonen äußern, dass es ihnen „eher schwer“ (4 TPs) oder „sehr schwer“ (1 TP) gefallen sei, was die Testpersonen folgendermaßen begründen:
- Testperson 07 wurde durch das Wort „landwirtschaftlich“ in der Antwortkategorie „Gewerbliche oder landwirtschaftliche Ausbildung/Lehre, Facharbeiter“ (Oberkategorie: Beruflich-betriebliche Ausbildung/duale Ausbildung) irritiert: „Wegen dem „landwirtschaftlich“, da habe ich sofort die Zeile ausgeblendet und habe dann nicht gefunden, was ich gemacht habe.“ (TP 07, eher schwer)
- Testperson 11 begründet ihre Einschätzung damit, dass es ihr sehr schwer gefallen sei, ihre Qualifikation einzutragen. Sie findet keine für sie entsprechende Bezeichnung und entscheidet sich daher letztendlich für die Antwortkategorie „Abschluss einer Verwaltungs-/Fachhochschule“, die allerdings nicht das trifft, was sie eigentlich gemacht hat. Die Testperson ist Krankenschwester und möchte bei der Abfrage ihrer Abschlüsse die folgenden drei Angaben machen: Ausbildung zur Krankenschwester, Zusatzqualifikation (Anästhesie und Intensivmedizin), Leitung einer Station.
- TP 20 fällt die Auswahl auf der ersten Ebene leicht, hier entscheidet sie sich für „Abschluss einer Universität“, findet aber auf der zweiten Stufe nicht mehr den passenden Abschluss: „Am Anfang war es leicht, aber dann habe ich meinen Abschluss nicht mehr gefunden.“ (TP 20, eher schwer). Die Testperson ist als ausländische Studierende in Deutschland und hat den Abschluss eines Studienkollegs an einer deutschen Universität erhalten. Letztendlich wählt sie die Unterkategorie „Bachelor“.
- Auch TP 22 hat nicht den für sie zutreffenden Abschluss in der Liste gefunden: „Also mein Studium gibt es nicht mehr. Das war eine technische Ingenieurswissenschaft. Und wegen der Bologna-Reform wurde das geändert. Was ich abgeschlossen habe, ist nicht genau das gleiche wie dieses „Grado“, aber ähnlich. Meinen Uniabschluss gibt es nicht mehr, „Ingeniero Superior“ wäre eine Stufe höher.“ (TP 22, eher schwer)
- Testperson 23 gibt an durch die Auswahl der Abschlüsse bzw. der dargestellten Hierarchie irritiert zu sein: „Überraschend ist für mich nur, dass alles drin ist, also Master und Doktorat. Die Abschlüsse unter Universität sind alle gleich, auf gleichem Niveau, das ist Hochschulstudium. Außer das Doktorat und der Master, die sind nach diesem Studium. Das hat mich etwas irritiert.“ (TP 23, eher schwer)
Testperson 12, der die Auswahl der Kategorie „eher leicht“ gefallen ist, äußert ebenfalls ihre Irritation bzgl. der Begrifflichkeiten bei der Auswahl in Deutsch:
„Eigentlich leicht, wobei mich ein bisschen irritiert hat: beruflich-schulische Ausbildung und dann beruflich-betriebliche Ausbildung. Das ist ja auch dual. Beruflich-betrieblich, das kenne ich gar nicht. Denn beruflich ist ja betrieblich und betrieblich-schulisch wäre im Endeffekt die duale Ausbildung. Dual heißt ja einerseits der Ausbildungsbetrieb, andererseits die Schule. Ob das Blockunterricht ist oder ob das zwei Mal die Woche ist. Das ist ja im Endeffekt das beruflich-schulische. Da ist für mich jetzt kein Unterschied zu erkennen.“
Während die Testpersonen zum ersten Mal mit Hilfe des „Search Trees“ ihren „höchsten Ausbildungs- oder Hochschulabschluss“ angegeben haben, wurden von den Interviewern die folgenden Blickbewegungen codiert:
Code TR 1 - Blick springt zwischen Frage, Kategorien oder zwischen Kategorien mehrmals hin und her:
Insgesamt wurde bei neun Testpersonen während des Ausfüllens beobachtet, dass die Blickbewegungen mehrfach zwischen Frage, Kategorien oder zwischen Kategorien hin und her gesprungen sind. Im anschließenden kognitiven Interview sollten die Testpersonen angeben, warum sie das gemacht haben:
Drei Testpersonen (TP 01, 16, 24) begründen dieses Vorgehen damit, dass sie sich noch einmal absichern bzw. vergewissern wollten, ob sie die richtige Zeile auswählen bzw. ausgewählt haben:
- „Ich habe nochmal weitergelesen, diese untere Zeile. Man überliest das ja gerne mal. Und dann habe ich darüber nachgedacht, was ist denn eigentlich der Höchste. Ich weiß, dass ich prinzipiell die Promotion durch habe, nur noch kein Zeugnis habe. Deswegen bin ich wieder zurück und habe das Staatsexamen angegeben.“ (TP 01)
- „Ich wollte mich halt absichern, ob das stimmt. Deshalb habe ich erst einmal die Liste überflogen, dann die Oberkategorie aufgeklappt, die Unterkategorien überflogen und meinen Abschluss ausgewählt, dann zur Absicherung noch einmal geschaut und dann auf weiter geklickt.“ (TP 16)
- „Vielleicht, weiß nicht, vielleicht einfach weil ich ein bisschen unsicher war und ich wollte das nochmal lesen, um sicher zu sein bevor ich die richtige Option wähle.“ (TP 24)
Die Testpersonen 03, 10, 11, 12, 13 und 25 begründen ihr Vorgehen damit, dass sie sich zunächst einen Überblick verschaffen mussten, was „am ehesten“ passt oder hinter welcher Kategorie sich ihr Abschluss verbirgt:
- „Ich wollte mir die Antwortmöglichkeiten, die da stehen alle durchgucken, um zu schauen, was am ehesten auf mich zutrifft. Ich wollte mir einen Überblick über die Antworten verschaffen.“ (TP 10)
- „Um zu gucken, ob sich hinter den anderen Kategorien noch etwas verbirgt, was das eher trifft.“ (TP 11)
- „Weil mich das irritiert hat und weil ich nicht gewusst habe. Ich wusste ja, dass ich Vorschläge unterbreitet bekomme, wenn ich da anklicke. Und ich war mir nicht sicher, wo ich meinen Berufszweig jetzt finde. Weil Technikerausbildung ist ja eine rein schulische Ausbildung. Deswegen hätte die auch hier unten unter Hochschule oder so zu finden gewesen sein können.“ (TP 12; siehe auch Code TR2)
Die Testpersonen 13 und 25 haben darüber hinaus Schwierigkeiten mit dem Begriff „beruflich-schulische“ Ausbildung bzw. mit der Unterscheidung zwischen „beruflich-schulisch“ und „beruflich-betrieblich“:
- „Ich war überrascht, weil hier beruflich-schulische und beruflich-betriebliche steht und da musste ich erst einmal überlegen, was für mich das passende ist.“ (TP 13)
- „Um die richtige Antwort zu finden. Also ich hab dann geguckt was da gefragt wurde. Dann habe ich nach der Antwort gesucht und dann habe ich die Antwort nicht gefunden. Dann habe ich nochmal die Frage kurz, also bin ich die Frage nochmal durchgegangen. Und dann ja, habe ich ganz oben die Antwort gefunden. Ich war ein bisschen verwirrt. […] Ich glaube der Begriff berufliche Schulausbildung. Ich war mir nicht sicher was das… Ich habe gedacht da unten würde noch Abitur stehen, aber das war ja auf den Beruf bezogen und deshalb habe ich geguckt und geguckt und dann keine berufliche Ausbildung letztendlich angeklickt. Und ich war überrascht, dass dann noch so viel angezeigt wurde als ich das da angeklickt habe. Das bin ich dann nochmal durchgegangen.“ (TP 25)
Testperson 03 klickt letztendlich „Abschluss an einer Universität oder einer anderen Hochschule“ statt „Abschluss einer Verwaltungs-/Fachhochschule“ und erklärt dies damit, dass sie aufgrund des vorne stehenden Begriffs „Verwaltungshochschule“ „Fachhochschule“ überlesen zu haben.
Code TR2 - Schaut lange die Kategorien Stufe 1 an bzw. liest sie mehrmals:
Dass die Testpersonen lange die Kategorien Stufe 1 angeschaut haben bzw. sie mehrmals gelesen haben, wurde bei insgesamt acht Testpersonen (TP 07, 08, 09, 12, 19, 21, 28, 31) beobachtet. Auch in diesem Fall sollten die Testpersonen angeben, was der Grund dafür gewesen ist:
Vier Testpersonen (TP 08, 09, 19, 21) begründen das Verweilen auf den Kategorien der Stufe 1 damit, dass sie ihre Antwort gesucht und dabei alle Antworten zunächst einmal überflogen haben:
- „Ich wollte mir nur sicher sein, dass ich da nichts Falsches antippe.“ (TP 09)
- „Ich musste zunächst alles zumindest einmal überfliegen, um zu sehen, dass das tatsächlich aufsteigend geordnet ist. Hätte ja auch sein können, dass ich mich zwischendrin irgendwo finde. Dann hatte ich die richtige Oberkategorie und musste noch kurz schauen, dass ich mich dann richtig einordne.“ (TP 19)
- „Weil in Italien haben wir viele Maturita. Zum Beispiel wissenschaftlich oder für Sprachen oder Chemie und so. Und ich habe meine gesucht.“ (TP 21)
Drei Testpersonen (TP 07, 12, 31) begründen ihr Vorgehen damit, dass für sie nicht sofort ersichtlich war hinter welcher Oberkategorie sich die für sie passende Antwort verbirgt:
- „Keine berufliche Ausbildung“ habe ich ausgeschlossen, „beruflich-schulische Ausbildung“ das hat mich auch irritiert, weil meine Ausbildung war ja auch auf der Schule und im Betrieb. Und dann erst „duale Ausbildung“ da habe ich erst genau gewusst, dass das meine Ausbildung ist.“ (TP 07)
- „Und ich war mir nicht sicher, wo ich meinen Berufszweig jetzt finde. Weil Technikerausbildung ist ja eine rein schulische Ausbildung. Deswegen hätte die auch hier unten unter Hochschule oder so zu finden gewesen sein können. Dann habe ich meinen Beruf gefunden. Da war es für mich im Endeffekt egal, ob das für mich einleuchtend ist, weil es ja eigentlich eine rein schulische Ausbildung ist ohne Betrieb. Aber ich habe ihn ja gefunden. Deswegen war das für mich im Endeffekt nicht mehr wichtig. Wenn Sie das so aufführen, den Techniker unter beruflich-betrieblicher Ausbildung, ok. Hätte ich es unter Hochschule oder so gefunden, hätte ich es da angeklickt.“ (TP 12)
[Die TP hätte ihre Ausbildung eher unter einer anderen Kategorie erwartet. Letztendlich findet sie unter „Beruflich-betriebliche Ausbildung/duale Ausbildung“ eine Antwort, die ihrem Beruf [Techniker) entspricht und wählt diese Kategorie aus. Dennoch ist sie der Meinung, dass dies eigentlich nicht vollkommend zutreffend ist: „Denn es ist keine betriebliche Ausbildung, der Techniker. Das ist eine schulische Ausbildung. Ich war in den 2 Jahren nicht in einem Betrieb, ich bin nur in die Schule.“]
- „Da habe ich überlegt, weil ich ein Berufspraktikum gemacht habe. Dann dachte ich eigentlich war das schulisch. Zwei Jahre Schule und Berufspraktikum, dann habe ich mich für „beruflich-schulisch“ entschieden.“ (TP 31)
Testperson 28 gibt an, die Kategorien ausgiebig betrachtet zu haben, da sie die Auswahl interessant und überraschend fand:
„Das war interessant. Ich fand es interessant, was sie alles anbieten. […] Ich fand auch die Ausdrücke interessant. Es überrascht mich auch.“ Darüber hinaus ist die Testperson der Meinung, dass die Auswahl nicht logisch ist. Die von ihr genannten Punkte werden daher im Folgenden aufgeführt:
- Scolarité suivie de la 2nde à la Terminale: „Es ist ziemlich unlogisch. Ich denke es betrifft die Leute die Brevet haben. Also es ist seltsam, dass Sie das da eingeführt haben. Also Scolarité suivie de la 2nde à la Terminale, durch unser System, Sie haben ja Schule gemeinsam bis zur zehnten Klasse circa oder neunte Klasse und dann haben Sie drei Jahre im Gymnasium. Dann haben wir die Brevet des collèges normalerweise gemacht. Und dann Scolarité suivie …. Das sind die Leute, die dann danach Abi machen und diesen Zweig gehen. Es ist genauso wie wenn Sie schreiben würden, Realschulabschluss, Abitur [in einer Zeile]. Es impliziert automatisch, wenn man einen höchsten Abschluss haben muss, dass man Abitur hat. Und das ist gleichwertig letztendlich mit dem und mit dem“ [Zeile mit CAP, BEP, DPAS, DPAP, etc].
- Brevet élémentaire: „Brevet élémentaire glaube ich, dass es das nicht mehr gibt.“
- Systematik in der Liste: „Zuerst habe ich gedacht, Sie gehen vom Niedrigeren zum Höheren. Stimmt aber nicht, weil „CAP“ hätte hier sein müssen, weil das ist ja wie ein Hauptschulabschluss. Wobei das nicht stimmt. Es ist mehr professionell. Also hat schon eine duale mit Betrieb. Ich hätte es vorher gemacht. Dann geht’s „Brevet“, „Baccalauréat profesionnel y Baccalaureat général“, „Diplome de moniteur-éducateur“, da habe ich gedacht, das ist Sozialarbeiter. Was macht das hier? Warum nennen Sie ganz gezielt „Diplome de moniteur-éducateur“. Das hat mich total überrascht. Das ist Sozialarbeiter. Und das hier „Educateur technique spécialisé“. Das ist nur Sozialarbeiter mit Sozialpädagogikabschluss. Warum da speziell. Das ist eine Ausbildung für sich. Das hat mich überrascht. Warum die anderen dann nicht nennen? […] Warum die zwei erwähnt worden sind, war mir ein Rätsel. Weil „Brevet Professionel“ das hat damit nichts zu tun. „Diplom de la capacité en droit“ das fand ich auch lustig. Das ist ja Jurastudium. Für mich gehört das nicht mehr dazu. Warum so speziell? Warum wird gesondert Jura erwähnt? Ich finde da wird ein ziemlicher Wirrwarr von Abschlüssen angeboten. Wenn mit der Zeile auch ein Universitätsabschluss gemeint ist, dann muss da auch „Diplome dàccès aux études universitaires“ stehen. Das ist auch wieder sowas. Sie machen Abitur. Sie können, wenn Sie an gewisse Unis gehen wollen um gewisse Abschlüsse zu machen, wie Medizin, müssen Sie eine Vorschule „d‘ècoles de preferacion“ machen. Das ist damit gemeint. Wenn Sie diese zweijährige Schule gemacht haben, kommen Sie zur Uni. Es sei denn Sie wollen zu einer anderen Uni und bewerben sich normal. Das ist meiner Meinung nach kein Diplom. Das ist nicht korrekt. „Diplom de la capacité en droit“ ist ein Jurastudium. Es wird gleichgestellt. Das ist nicht in Ordnung. Weil „d‘ècoles de preferacion“ hier ist nur die Vorschule zum Studium.“
Code TR3 - Springt zwischen Kategorien Stufe 2 hin und her / Liest diese Kategorien mehrfach:
Eine lange Verweildauer auf den Antworten der Stufe 2 war das am häufigsten beobachtete Blickbewegungsmuster beim Search-Tree und wurde insgesamt 12 Mal codiert. Jene 12 Testpersonen wurden gebeten, den Grund dafür anzugeben bzw. zu sagen, worüber sie beim Betrachten nachgedacht haben:
Vier Testpersonen (TP 07, 08, 09, 28) hatten Schwierigkeiten sich aufgrund der Begrifflichkeiten in den Antwortkategorien einer Antwort zuzuordnen:
- „Wegen dem landwirtschaftlichen.“ (TP 07)
-> Testperson 07 hat das Wort „landwirtschaftlich“ in der Antwortkategorie „Gewerbliche oder landwirtschaftliche Ausbildung/Lehre, Facharbeiter“ (Oberkategorie: Beruflich-betriebliche Ausbildung/duale Ausbildung) irritiert
- „Erst mal Teilfacharbeiterabschluss, da habe ich erst mal überlegt, ob es das ist. Aber nee, das kann es nicht sein. Was ist das überhaupt? Und dann habe ich mir das berufliche weiter durchgelesen und da stand am Schluss aber keine Lehre. Aber dann dachte ich mir, ich habe aber eine Lehre gemacht. Und dann bin ich bei Meister und Techniker, das habe ich erst mal ausgeschlossen, weil ich den definitiv nicht habe. Und dadurch, dass ich keine kaufmännische habe, dachte ich mir, wird es wohl die gewerbliche sein.“ (TP 08)
- „Da war ich mir unsicher, ob der Meister zum Techniker gehört. Ich meine, klar sieht man da das Komma, aber dann liest man halt ein bisschen länger durch und schaut, ob das auf einen zutrifft.“ (TP 09)
- „Ja, zwischen Baccalaureat technologique, was es nicht gibt und Baccalaureat de technicien, was es gibt. Baccalaureat de technicien war diesmal aufgeführt, anstelle von technologique: ich dachte das steht genauso wie vorhin [Combo-Box], aber dann habe ich gesehen, nein, das ist diesmal richtig. Sie haben es hier erfasst.“ (TP 28)
Vier Testpersonen (TP 10, 11, 20, 22) haben sich in der Liste (zunächst) gar nicht wieder gefunden bzw. ordnen sich nicht korrekt zu:
- „Ich habe erst bei beruflich-schulischer Ausbildung meinen Abschluss gesucht, bin dann aber noch mal bei der beruflich-betrieblichen Ausbildung hängen geblieben. Hier habe ich aber nix gefunden, was zu meinem Abschluss passt und habe mich dann für die beruflich-schulische Kategorie entschieden.“ (TP 10)
-> Die Testperson ordnet sich nicht korrekt zu, da sie eine Lehre in einem Zimmermannsbetrieb absolviert hat, was einer beruflich-betrieblichen Ausbildung entspricht.
- „Um zu gucken, ob sich hinter den anderen Kategorien noch etwas verbirgt, was das eher trifft.“ (TP 11)
-> TP findet sich in den Antwortkategorien nicht wieder. Sie geht so vor wie bei der Beantwortung der Frage anhand der Combo-Box und entscheidet sich für die Oberkategorie „Abschluss einer Verwaltungs-/Fachhochschule“ mit den Unterkategorien „Bachelor, Diplom, Master“ für alle drei Abschlüsse, die sie angeben möchte, wobei diese Zuordnung nicht korrekt ist, da sie kein Studium sondern kurze Weiterqualifizierungen auf ihrer Ausbildung erworben hat.
- „Ich habe meinen Abschluss nicht mehr gefunden (bei den Unterkategorien von Abschluss an einer Universität) und ich musste überlegen, wozu könnte das [Studienkolleg] gehören.“ (TP 20)
-> Letztendlich entscheidet sich die TP für die Unterkategorie „Bachelor“ und begründet diese Auswahl wie folgt: „Weil es dazu gehört. Es ist ein Schritt vor dem Bachelor und einiges wurde davon im Bachelor anerkannt und deswegen dachte ich.“ Tatsächlich kann dieser einjährige Abschluss aber nicht als äquivalent zum Bachelor angesehen werden, da es sich dabei um Vorbereitungskurse für ausländische Studierende zur Aufnahme eines Studiums in Deutschland handelt.
- „Da musste ich überlegen, weil eigentlich gibt es mein Studium nicht mehr wegen Bologna. Also es stimmt nicht ganz, aber ich habe das nächste ausgesucht. […] Was ich abgeschlossen habe ist nicht genau das gleiche wie dieses „Grado“ aber ähnlich.“ (TP 22)
Die Testpersonen 14, 21 und 23 geben an, dass es einen Moment gedauert hat, bis sie den richtigen Abschluss gefunden haben, dass dies aber ansonsten kein Problem dargestellt hat.
Testperson 01 begründet die längere Verweildauer wie folgt:
„Ich habe überlegt, ob da „Promotion Komma Ph. D.“ steht. Oder ob es ein Schrägstrich ist. Ph.D und Promotion sind nicht das Gleiche. Man darf die deutsche Promotion eigentlich nicht als Ph.D. bezeichnen, auch wenn es jeder macht. Es ist eigentlich verboten. Deswegen dachte ich mir, bei Schrägstrich wäre es irgendwie beides, bei Komma ist es für mich nochmal eine Auswahl. Das war für mich so ein Gedankenspiel.“ (TP 01)
Code TR4 – Liest nicht alle Antwortmöglichkeiten:
Insgesamt fünf Testpersonen (TP 04, 10, 25, 29, 30) haben beim Beantworten der Frage nicht alle Antwortmöglichkeiten gelesen. Begründet wurde dieses Verhalten von allen Testpersonen damit, dass der gemachte Abschluss bereits vorher gefunden wurde und es daher nicht notwendig war weitere Abschlüsse zu betrachten.
Zur Überprüfung der Passgenauigkeit des angegebenen „höchsten (Schul-), Ausbildungs- oder Hochschulabschlusses“ wurden die Testpersonen gebeten einzuschätzen, wie genau die von Ihnen ausgewählte Antwort auch tatsächlich das trifft, was Sie gemacht haben bzw. angeben wollten.
Insgesamt 20 Testpersonen sind mit der gemachten Antwort sehr zufrieden, da sie das trifft, was sie angeben wollten. Sieben Testpersonen konnten anhand des Search-Trees nicht die von Ihnen eigentlich gewünschte Angabe machen:
- „Nun ja, nicht wirklich. Falsche Antwort ausgewählt. Diplom ist korrekt, aber nicht an der Uni sondern an der FH.“ (TP 03)
- „50%. Wenn da jetzt handwerklich [statt landschaftlich] gestanden hätte. Das ist nur ein anderes Wort, aber naja.“ (TP 08)
- „Ich hätte gerne meine Berufsausbildung angegeben an einer Berufsfachschule. „Berufsqualifizierender Abschluss“ (Berufsqualifizierender Abschluss einer Berufsfachschule/eines Kollegs) war irreführend. Die Bezeichnung „Berufsausbildung“ habe ich nicht gefunden.“ (TP 10)
- „Kaum. Da bin ich so vorgegangen, wie bei dem anderen auch, denn letztendlich habe ich nichts gefunden und habe dann die „Fachhochschulreife“ gewählt, wie bei den vorherigen Fragen und habe dann diese Kategorie mit dem niedrigsten bis zum höchsten angekreuzt. Weil es meine Ausbildung hier nicht gibt.“ (TP 11)
- „Nicht wirklich.“ (TP 20 wählt Bachelor, hat aber ein 1-jähriges Studienkolleg an der Universität besucht)
- „Auch hier sind meine beiden Abschlüsse [die jeweils zwischen Studienabschluss und Doktorgrad einzustufen sind] nicht enthalten. Sie werden wohl hier nicht anerkennt bzw. berücksichtigt. Daher konnte ich hier nur meinen Studienabschluss angeben, was nicht sehr zufriedenstellend ist.“ (TP 30)
Für vier Testpersonen (TP 05, 06, 21, 25) liegt dazu keine Angabe vor.
Zum Abschluss der Nachfragen zum ersten Ausfüllen des Search-Trees sollten die Testpersonen, die einen Schul-, Ausbildungs- oder Hochschulabschluss im Ausland gemacht haben, angeben, wie leicht oder schwer es für sie war diesen in ihrer Landessprache anzugeben. Laut eigener Angabe stellte dies für keine der Testpersonen eine Schwierigkeit dar.
1. Loop – wenn ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Bei denjenigen 15 Testpersonen, die über einen weiteren „Ausbildungs- oder Hochschulabschluss“ verfügen und dementsprechend ein zweites Mal den Search-Tree beantwortet haben, wurden von den Interviewern die folgenden Blickbewegungen codiert:
- TR1 - Blick springt zwischen Frage, Kategorien oder zwischen Kategorien mehrmals hin und her: 2 Mal
- TR2 - Schaut lange die Kategorien Stufe 1 an bzw. liest sie mehrmals: 2 Mal
- TR3 - Springt zwischen Kategorien Stufe 2 hin und her / Liest diese Kategorien mehrfach: 5 Mal
- TR4 - Liest nicht alle Antwortmöglichkeiten: 3 Mal
Bei insgesamt neun Testpersonen (TP 01, 04, 05, 09, 11, 17, 22, 23, 31) waren keine Auffälligkeiten beim Beantworten zu beobachten. Die übrigen 16 Testpersonen haben keinen weiteren „Ausbildungs- oder Hochschulabschluss“ angegeben .
Suche und Suchverhalten – 1. Loop
Um auch beim zweiten Beantworten des Search-Trees nähere Informationen darüber zu erlangen, wie leicht die Befragten die für sie passende Antwort gefunden haben, sollten sie angeben, wie leicht oder schwer es für sie war, die richtige Kategorie (bzw. Zeile) für Ihren Abschluss zu finden. Von 14 Testpersonen geben acht an, dass es Ihnen „sehr leicht“ (6 TPs) oder „eher leicht“ (2 TPs) gefallen sei. Insgesamt sechs Testpersonen äußern, dass es ihnen „eher schwer“ (5 TPs) oder „sehr schwer“ (1 TP) gefallen sei, was die Testpersonen in erster Linie damit begründen, dass sie sich nicht wiedergefunden haben:
- „Ich habe es so ausgefüllt, wie beim ersten Teil auch, also dass ich noch einen weiteren Abschluss habe und ich habe mich hier dann überhaupt nicht wiedergefunden. Ich muss auch sagen, ich hätte auch keine berufliche Ausbildung angeben können, aber das ist völlig untergegangen, das habe ich einfach nicht gesehen, also erst gerade als wir es nochmal angeguckt haben. Ich habe dann genommen, was noch am besten gepasst hat, aber glücklich bin ich damit nicht.“ (TP 02, gewünschte Antwort: Technischer Redakteur)
- „Ich würde mir hier auch ein Freitextfeld wünschen. Wenn so viele Antwortmöglichkeiten kommen, das erschlägt einen. Es fällt leichter hier was einzutragen.“ (TP11)
TP findet ihre Ausbildung wieder nicht und geht so vor wie bei der Combo Box und entscheidet sich dann für die Kategorie „Abschluss einer Verwaltungs-/Fachhochschule“ mit der Unterkategorie Diplom.
- „Die dreijährige Berufsausbildung, die habe ich eigentlich gesucht. Und deswegen habe ich mich dann für die gewerbliche Ausbildung entschieden.“ (TP 12)
- „Weil die richtige Bezeichnung nicht in diesem Programm anwesend ist.“ (TP 24, gewünschte Antwort: Ingeniero Tecnico)
Testperson 28 hat Schwierigkeiten mit der Unterscheidung zwischen „Beruflich-schulisch“ und „Beruflich-betrieblich“:
„Ich konnte die zwei nicht unterscheiden beruflich und betriebliche Ausbildung. Beruflich schulische, ich weiß nicht was das ist. Dann habe ich geguckt, was bieten Sie mir an. Aber das war eine Katastrophe. Ich konnte die Sachen nicht unterscheiden. Und dann habe ich geguckt was bieten die anderen an. Dann bin ich zurück und habe nochmal geguckt. Sehr schwer, die Unterscheidung für mich war sehr schwer. Und dann bin ich nochmal umgekehrt und dachte das passt ganz gut – Kaufmännische Sonstige. Das Sonstige.“
Testperson 23 wollte hier erneut keinen weiteren Ausbildungs- oder Hochschulabschluss eintragen (wie bereits bei der Combo-Box, bei der sie keinen Loop gemacht hat), obwohl sie eigentlich einen zweiten Abschluss hat (Licenciado und Master). Die Testperson wurde daher vom Testleiter gebeten beim Beantworten ihren weiteren Abschluss einzugeben. Die Eingabe eines weiteren, niedrigeren Abschlusses ist allerdings für die Testperson nicht nachvollziehbar. Ihrer Meinung nach macht es keinen Sinn im Anschluss noch niedrigere Abschlüsse zu erfassen, die Voraussetzung für den Masterabschluss sind. Daher fiel ihr die Beantwortung „eher schwer“.
Code TR 1 – 1. Loop:
Insgesamt wurde bei zwei Testpersonen (TP 02, 12) während des Ausfüllens beobachtet, dass die Blickbewegungen mehrfach zwischen Frage, Kategorien oder zwischen Kategorien hin und her gesprungen sind. Im anschließenden kognitiven Interview wurden die Testpersonen gefragt, was der Grund dafür war. Beide Testpersonen sagen, dass sie keine passende Antwort gefunden haben (siehe auch Suche und Suchverhalten – 1. Loop).
Code TR 2 – 1. Loop:
Dass die Testpersonen lange die Kategorien Stufe 1 angeschaut haben bzw. sie mehrmals gelesen haben, wurde bei insgesamt zwei Testpersonen (TP 06, 28) beobachtet. Auch in diesem Fall sollten die Testpersonen angeben, was der Grund dafür gewesen ist:
Testperson 28 hat, wie bereits bei der Frage zur Einschätzung des Schweregrads, Probleme mit der Unterscheidung zwischen „beruflich-schulischer“ und „beruflich-betrieblicher“ Ausbildung.
Testperson 06 erklärt das mehrmalige Lesen ihrerseits damit, dass sie eigentlich das Wort „Lehre“ unter den Kategorien erwartet hätte:
„Man scannt so etwas ab nach dem, was man erwartet. Und erwartet hätte ich eventuell das Wort „Lehre“ und das kam nicht. Und deswegen habe ich die erst alle gelesen. Bei dem vorherigen (Beantworten) war es so, dass ich von oben nach unten gegangen bin und dann schon den Rest nicht mehr gelesen habe, als ich meins gefunden hatte. Und bei diesem war es so, dass das meinen Erwartungen nicht entsprochen hat. Dann habe ich alle gelesen und bin dann unten gelandet, da haben wir wieder diese Skala der Wertigkeit, da gehst du mal wieder schön nach oben. […] Wenn ich mit diesem Fragebogen zu tun hätte, würde ich „Beruflich-Betriebliche Ausbildung“ und „Duale Ausbildung“ umdrehen, weil die duale Ausbildung speziell auch an anderen Stellen erwähnt wird (Fragetext). Und Beruflich-Betriebliche Ausbildung ist für mich kein gängiger Begriff. Bei uns hieß das noch Lehre. Aber dieses „beruflich-betrieblich“ ist für mich kein gängiger Terminus. Dann eher noch duale Ausbildung. Aber ob das grundsätzlich so ist, kann ich nicht sagen.“
Laut der Testperson kann „duale“ am Ende der Kategorie leicht übersehen werden, wenn es erst hinter „Beruflich-betrieblich“ steht:
„ […] und erst nachdem ich duale Hochschule gesehen hatte, bin ich nochmal hoch und habe gesehen „duale Ausbildung“ gibt es ja auch.“ (TP 06).
Code TR 3 – 1. Loop:
Auch bei der zweiten Präsentation des Search-Trees stellte eine lange Verweildauer auf den Antworten der Stufe 2 das am häufigsten beobachtete Blickbewegungsmuster dar, welches insgesamt bei fünf Testpersonen (TP 02, 03, 12, 24, 28) beobachtet wurde.
Während TP 03 die längere Verweildauer durch sorgfältiges Lesen begründet, sind bei den übrigen vier Testpersonen Schwierigkeiten beim Auffinden der richtigen Zeile für ihren Abschluss zu erkennen:
- Testperson 28 berichtet erneut von Schwierigkeiten mit der Unterscheidung zwischen „Beruf-lich-schulisch“ und „Beruflich-betrieblich“.
- Testperson 24 findet die „richtige“ Bezeichnung ihres Studienabschlusses nicht, da dieser nicht aufgeführt sei (siehe auch Suche und Suchverhalten - 1. Loop).
- Testperson 02 möchte als zweiten Ausbildungs- oder Hochschulabschluss eine von ihr besuchte Weiterbildung zum „Technischen Redakteur“ angeben, wird allerdings in den angebotenen Kategorien nicht fündig. Letztendlich entscheidet sie sich für die Antwort „berufsqualifizierender Abschluss einer Berufsfachschule oder eines Kollegs“: „Ich habe beruflich-betriebliche Ausbildung angeklickt und habe dann aber keine gefunden, die meine Weiterbildung bezeichnet hätte. Dann habe ich beruflich-schulische Ausbildung angeklickt und habe da dann noch überlegt. Eigentlich hat hier auch überhaupt nichts gepasst, aber dann habe ich gedacht „berufsqualifizierender Abschluss einer Berufsfachschule oder eines Kollegs“ würde vielleicht in die Richtung gehen. Aber es war eine Auswahl, mit der ich nicht zufrieden war. Ich hätte auch die Zeile „keine berufliche Ausbildung“ anklicken können, aber die habe ich beim Ausfüllen nicht gesehen. Erst jetzt beim Vorspielen. Genauso wie den Zurück-Button.“
- Testperson 12 berichtet erneut von Problemen die dreijährige Berufsausbildung (Duale Ausbildung) innerhalb der Unterkategorien zu finden (siehe auch Suche und Suchverhalten - 1. Loop) und gibt gleichzeitig zu bedenken, dass diese Ausbildung schneller aufzufinden sein sollte, da diese eine der gängigsten Ausbildungen in Deutschland sei: „Ich sage mal, 70% der Menschen, die diese Frage beantworten, werden eine dreijährige Berufsausbildung haben und dass das dann so versteckt ist, dafür wie oft dass dann im Endeffekt vorkommt, das hat mich ein bisschen irritiert. Dass man da so lange suchen muss, das müsste eigentlich schneller zu erkennen sein.“
Code TR 4 – 1. Loop:
Bei Testperson 03 wurde zudem beobachtet, dass beim Beantworten nicht alle Antwortkategorien gelesen wurden. Die Testperson erklärt, dass ihr klar war, dass sie beim zweiten Ausfüllen hier die betriebliche Ausbildung eintragen würde und daher nicht mehr die unteren Kategorien zu Hochschulabschlüssen berücksichtigen müsse.
Zur Überprüfung der Passgenauigkeit der weiteren angegebenen „Ausbildungs- oder Hochschulabschlüsse“ wurden diejenigen 15 Testpersonen, die den ersten Loop durchlaufen haben, erneut gebeten einzuschätzen, wie genau die von Ihnen ausgewählte Antwort auch tatsächlich das trifft, was Sie gemacht haben bzw. angeben wollten.
Insgesamt 10 Testpersonen sind mit der gemachten Antwort sehr zufrieden, da sie das trifft, was sie angeben wollten. Die übrigen 5 Testpersonen (TP 02, 09, 11, 24, 28) konnten anhand des Search-Trees nicht die von Ihnen eigentlich gewünschte Angabe machen, was bei den meisten Testpersonen bereits in den vorherigen Beschreibungen deutlich wurde:
- „Es trifft das nicht genau. Es geht so in die Richtung. Wenn ich es in Prozent ausdrücken müsste, dann würde ich sagen es passt so 10 Prozent. Ich war mir ja aber, wie ich schon vorhin beim ersten Teil gesagt habe, ja gar nicht sicher, ob diese Weiterbildung in die betriebliche oder duale Ausbildung reinfällt. […] Ich habe keine Erwartungen gehabt. Wenn es eine Auswahl gibt, dann gucke ich halt, was am besten passen könnte. Aber mit der Zuordnung bin ich nicht zufrieden.“ (TP 02)
- „Ich habe Ingeniero Tecnico gesucht, aber diese Option nicht gefunden. Da habe ich eine alternative Option ausgewählt, die nicht ganz entspricht aber mehr oder weniger beschrieben hat, was ich in Spanien als zweiten Abschluss geschafft habe.“ (TP 24)
Testperson 28 hat, wie bereits beschrieben, Schwierigkeiten mit den Begrifflichkeiten und dementsprechend mit der richtigen Einordnung.
Testperson 11 ist Krankenschwester und möchte hier berufliche Qualifizierungen wie „Leitung einer Station“ und „Anästhesie und Intensivmedizin“ eintragen, die sie aber nicht findet.
Bei Testperson 09, bei der keine Auffälligkeiten codiert wurden, wird anhand dieser Einschätzung deutlich, dass die formalen Zuordnungen der eigenen beruflichen Abschlüsse nicht unbedingt bekannt sein müssen. Obwohl die Ausbildung zur Hauswirtschafterin formal zur „landwirtschaftlichen Ausbildung/Lehre“ zählt, ist die Testperson nicht hundertprozentig zufrieden mit der von ihr gewählten Kategorie:
„Hier war „beruflich“, da denkt man direkt, hier muss es sein. Und dann liest man sich durch und sieht „keine Lehre“ (beruflich-betriebliche Anlernzeit, aber keine Lehre“). Und dann liest man weiter und findet die Lehre, aber mit landwirtschaftlich. Es gibt bei uns zwar auch einen landwirtschaftlichen Teil der Ausbildung, aber das habe ich ja nicht gemacht. Deswegen war ich kurz irritiert. Ich habe die städtische Ausrichtung. Und gewerbliche, die finde ich jetzt weniger zutreffend, aber ich bin wegen der Lehre drauf. Wobei das landwirtschaftliche? Das ist eher so ein Bauer oder? […] Man weiß, dass man eigentlich eine Ausbildung gemacht oder einen Facharbeiter gemacht hat. Also aussagekräftig finde ich das [die vorgegeben Antwortkategorien] nicht. Ich finde es auch furchtbar, dass egal wo, es tun sich immer viele Berufe auf, aber nicht das, was man gelernt hat.“ (TP 09)
Abschließend wurden die Testpersonen (TP 17, 23, 24, 31), die einen weiteren Ausbildungs- oder Hochschulabschluss im Ausland angegeben haben, gefragt, wie leicht oder schwer es für sie war diesen in ihrer Landessprache anzugeben. Während dies für drei Testpersonen „sehr leicht“ war, empfand Testperson 24 diese Aufgabe als „eher schwer“, da die angegebenen Bezeichnungen nicht mit dem von ihr gemachten Abschluss (Ingeniero Tecnico) übereingestimmt haben.
2. Loop – wenn ein weiterer „Ausbildungs- oder Hochschulabschluss“ genannt wurde
Von allen 31 Testpersonen haben insgesamt fünf Testpersonen angegeben einen weiteren „Ausbildungs- oder Hochschulabschluss“ gemacht zu haben. Beim Beantworten wurden von den Interviewern bei zwei Testpersonen (TP 01, 12) die folgenden Blickbewegungen codiert:
- TR1 - Blick springt zwischen Frage, Kategorien oder zwischen Kategorien mehrmals hin und her: 0 Mal
- TR2 - Schaut lange die Kategorien Stufe 1 an bzw. liest sie mehrmals: 2 Mal
- TR3 - Springt zwischen Kategorien Stufe 2 hin und her / Liest diese Kategorien mehrfach: 1 Mal
- TR4 - Liest nicht alle Antwortmöglichkeiten: 0 Mal
- TR_s - Sonstige Auffälligkeit:TP 12 sucht sehr lange auf Stufe 2 und wähl letztendlich keine Kategorie aus: 1 Mal
Bei den übrigen drei Testpersonen (TP 11, 17, 28) waren keine Auffälligkeiten beim Beantworten zu beobachten.
Suche und Suchverhalten – 2. Loop
Aufgrund der geringen Anzahl an Testpersonen, die einen dritten Ausbildungs- oder Hochschulabschluss angegeben haben, werden die relevanten Informationen im Folgenden jeweils einzeln dargestellt:
Testperson 01 betrachtet lange die Kategorien auf der ersten Stufe. Sie erklärt dieses Verhalten damit, dass sie einen für sich passenden Eintrag gesucht hat, um ihre Zertifizierung als Trainer angeben zu können. Letztendlich findet die Testperson keine passende Angabe und entscheidet sich für „keine berufliche Ausbildung“, was in ihren Augen allerdings nicht dem entspricht, was sie gerne zum Ausdruck gebracht hätte. Dementsprechend fällt das Urteil, wie leicht es gefallen sei, die richtige Kategorie für den Abschluss zu finden, als „eher schwer“ aus.
Auch Testperson 11 fällt es – genau wie bei den beiden vorherigen Angaben im Search-Tree – „sehr schwer“ die richtige Kategorie für den Abschluss zu finden. Die Testperson möchte einen passenden Eintrag für die „Leitung einer Station“ finden. Da sie keine passende Kategorie findet, entscheidet sie sich hier für „Abschluss einer Verwaltungs-/Fachhochschule“ mit der Unterkategorie „Master“. Da die Testperson aus den beiden vorherigen Beantwortungsrunden bereits wusste, dass sie keine passende Kategorie für sich finden wird und sich daher jeweils für die Oberkategorie „Abschluss einer Verwaltungs-/Fachhochschule“ mit jeweils unterschiedlichen Unterkategorien entscheidet, ging der Beantwortungsprozess so schnell, dass keine Auffälligkeiten beobachtet werden konnten.
Testperson 12 betrachtet lange die Kategorien auf der ersten Stufe (Code TR2) und schaut insbesondere die Unterkategorien der Oberkategorien mit „Hochschule“ sehr lange und wiederholt an (Code TR3). Nach einer langen Verweildauer auf Stufe 2, wählt die Testperson letztendlich keine Antwort aus. Die Testperson begründet ihr Verhalten folgendermaßen:
"Da wollte ich, nachdem das berufliche abgeschlossen war, den Schulabschluss suchen. Ich habe erst überlegt. Dann ist es mir eingefallen. Es heißt ja fachgebundene Hochschulreife, da kommt Hochschule. Ich wusste nicht bei „Universität“, ob da Fachhochschul … ich kann Maschinenbau auch unter Fachhochschule studieren, ob jetzt das mit Hochschule gemeint ist. Aber nachdem mein Schulabschluss sich ja „fachgebundene Hochschulreife“ nennt, bin ich dann auf diese (letzte Kategorie) gegangen.“
Die beiden Testpersonen 17 und 28 äußerten keinerlei Schwierigkeiten bei der Beantwortung, dementsprechend ist es ihnen „sehr leicht“ bzw. „eher leicht“ gefallen, eine für sie passende Antwort auszuwählen.
