zur Pretest Datenbank Pretest-Datenbank
Projektname:CAMCES - Computer-assisted Measurement and Coding of Educational Qualifications in Surveys
  2. Fragetext: Wie viele Schul-, Ausbildungs- oder Hochschulabschlüsse haben Sie insgesamt erreicht?
  3. Instruktionen: Gemeint sind nur Abschlüsse, für die ein Zeugnis ausgestellt wurde.
  5. Antwortkategorien Offene Antwort
    1. Empfehlungen: Die Frage kann belassen werden. Allerdings könnte eine Instruktion wie mit beruflichen Weiterbildungen oder Zertifizierungen umgegangen werden soll, bereits an dieser Stelle erfolgen. Wenn bereits bei dieser oder der vorherigen Frage darauf hingewiesen wird, dass diese nicht zu berücksichtigen sind, werden die Befragten auch gleichzeitig darauf vorbereitet, diese nicht in der Combo-Box erfassen zu wollen. Andernfalls kommt es dazu, dass die Befragten dort auch Ausbildungen zum „Trainer“ oder Weiterbildungen zur „Leitung einer Station“ erfassen möchten. Die Einträge zu der Frage „Welchen höchsten Ausbildungs- oder Hochschulabschluss“ hängen in starkem Maße davon ab, welche Abschlüsse man bei dieser Frage berücksichtigen soll.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting General Probing, Specific Probing, Conditional Probing, Emergent Probing.
  3. Befund zur Frage: Die Anzahl der Abschlüsse der Testpersonen variierte zwischen einem und fünf Abschlüssen. Zwei Drittel der Testpersonen besitzt zwei oder drei Bildungsabschlüsse, während eine Testperson (bisher) nur einen Abschluss besitzt und zwei Testpersonen angeben fünf Abschlüsse zu besitzen. Demzufolge war es der Mehrheit der Testpersonen theoretisch möglich mit dem Erhebungsinstrument die Anzahl an erreichten Abschlüssen zu erfassen, obwohl die Anzahl der maximal zu erfassenden Abschlüsse im Pretest auf drei beschränkt wurde.
    Ein Vergleich der angegebenen und erfassten Abschlüsse macht deutlich, dass es Abweichungen zwischen der Anzahl der bei dieser Frage angegebenen Anzahl an Abschlüssen und der gemachten Loops innerhalb des Befragungstools gibt: Obwohl bis zu drei Abschlüsse in den Interfaces „Combo-Box“ und „Search-Tree“ erfasst werden konnten und 30 von 31 Personen mehr als einen Abschluss erworben haben, wurde nur in 13 Fällen auch mehr als ein Bildungsabschluss eingetragen.
    Diese Abweichungen von berichteten und eingetragenen Abschlüssen können unter anderem damit erklärt werden, dass bei den Testpersonen, die ihre Bildungsabschlüsse in Deutschland erworben haben, vorab die Frage nach dem höchsten Schulabschluss gesondert gestellt wurde. Damit wurde der höchste schulische Abschluss bereits vorher erfasst und anhand der beiden Interfaces wurde nur noch nach „Ausbildungs- und Hochschulabschlüssen“ gefragt. Daher haben diejenigen Testpersonen, die ihre Abschlüsse in Deutschland erworben haben, ihre Schulabschlüsse nicht noch einmal in einem Loop bestimmt („Studium und Weiterbildung. Abitur wurde ja schon vorher angegeben.“; TP 02)
    Durch die getrennte Abfrage des höchsten Schulabschlusses wurden auch niedrigere schulische Abschlüsse in den darauffolgenden Loops nicht mehr eingetragen, sondern – wie gefragt – nur Ausbildungs- oder Hochschulabschlüsse erfasst. Insgesamt acht der Testpersonen, die Abschlüsse in Deutschland erworben haben, geben bei der Frage nach der Anzahl der „Schul-, Ausbildungs-, oder Hochschul-abschlüsse“ mehr als einen Schulabschluss an, die in der Befragung am Computer allerdings nicht erfasst, sondern nur durch die anschließenden Nachfragen dokumentiert werden konnten.
    Um eine mögliche Diskrepanz zwischen den in den Interfaces erfassten und bei dieser Frage angegebenen Bildungsabschlüssen zu verstehen, wurden die Testpersonen gebeten, diesen Unterschied zu erklären.
    Dabei zeigt sich, dass der Aufbau der Befragung die Antworten der Testpersonen maßgeblich beeinflusst hat. Zu Beginn wurde nach dem höchsten Schul-, Ausbildungs- und Hochschulabschluss gefragt. Erst danach sollten weitere Abschlüsse eingegeben werden. Dies hatte zur Folge, dass einige Testpersonen in den darauffolgenden Loops keine Schulabschlüsse und keine niedrigeren Berufsabschlüsse erfassten. Begründet wird dieses Vorgehen damit, dass mit der Angabe des höchsten Schul- und Hochschulabschlusses niedrigere Abschlüsse, welche eine Voraussetzung des genannten Abschlusses waren, bereits inkludiert seien.
    • „Das war für mich eine logische Folge. So wie jemand der seinen Master hat, den Bachelor nicht mehr angibt.“ (TP 19)
    • „Bei uns kannst du mit dem Abitur nichts anfangen außer an die Uni zu gehen. Es ist kein Berufs- oder Fachabi, deswegen zählt das nicht als beruflicher Abschluss.“ (TP 20)
    • „Ich wurde zunächst nach meinem höchsten Abschluss gefragt, (…) und (habe) an weitere niedrigere Abschlüsse wie Abitur nicht mehr gedacht. Und Grundschule habe ich dann auch nicht mehr angegeben.“ (TP 30)
    Zudem wird deutlich, dass dem Fragebogen eine Hierarchie unterstellt wurde. Auch wenn lediglich nach weiteren Abschlüssen gefragt wurde, interpretierten einige Testpersonen, dass damit nur höhere bzw. aufbauende Abschlüsse gemeint seien. Testperson 23 beispielsweise hat bei der Combo-Box nur einen Abschluss eingetragen, obwohl sie eigentlich einen zweiten Abschluss hat (Licenciado und Master). Die Eingabe eines weiteren, niedrigeren Abschlusses ist für sie nicht nachvollziehbar. Ihrer Meinung nach macht es keinen Sinn im Anschluss noch niedrigere Abschlüsse einzugeben, die Voraussetzung für den bereits eingetragenen Masterabschluss sind.
    • „Ich habe die Frage darauf bezogen, ob sich noch etwas auf den Fachschulabschluss aufbaut.“ (TP 30)
    • „Weil nach dem Höchsten gefragt wurde.“ (TP 25)
    Darüber hinaus beziehen sich manche Testpersonen bei der Beantwortung ausschließlich auf berufliche Abschlüsse. In diesen Fällen wird der schulische Bildungsweg als eine Basis für die weitere berufliche Ausbildung betrachtet und darauf verwiesen, dass ein schulischer Abschluss keine Qualifikation auf dem Arbeitsmarkt darstellt.
    • „Das Abitur ist obligatorisch, wenn man studieren will und ist nur eine Prüfung. Alleine mit dem Abitur, ist man nicht für eine Arbeit qualifiziert.“ (TP 23)
    • „Bei uns kannst du mit dem Abitur nichts anfangen außer zur Uni zu gehen. Es ist kein Berufs- oder Fachabi, deswegen zählt es nicht als beruflicher Abschluss.“ (TP 20)
    • „Aber ich bin seit 30 Jahren aus der Schule raus, das interessiert ja keinen Mensch mehr, was ich vor 30 Jahren für einen Abschluss gemacht habe. Diese drei Abschlüsse sind ja letztendlich das, womit ich mein Geld verdiene.“ (TP 11)
    Des Weiteren macht Testperson 30 darauf aufmerksam, dass sie ihr Doktorandenstudium und den Postgraduate- Abschluss nicht als höchsten Abschluss eingegeben hat, da sie weder das eine noch das andere in der Auswahl fand. Stattdessen hat sie ihren Studienabschluss genannt, da nur dieser in den Antwortvorschlägen angezeigt wurde. Daraus lässt sich schlussfolgern, dass Testperson 30 davon ausgegangen ist, dass nur angezeigte Bildungsabschlüsse relevant seien.
    • „Da konnte ich das Doktorandenstudium nicht angeben und mein Post-graduate-Abschluss auch nicht und habe stattdessen meinen Studienabschluss angegeben.“ (TP 30)
    Zudem zeigt sich bei der Auswertung der erfassten Abschlüsse, dass mit Hilfe der beiden Interfaces bei einigen Testpersonen unterschiedlich viele Abschlüsse erfasst wurden. So geben die Testpersonen 12, 14 und 30 in der Combo-Box mehr Abschlüsse an als im Search Tree. Im Fall von Testperson 30 liegt der Grund für diese Diskrepanz in fehlenden Antwortkategorien. Testperson 14 verweist darauf, dass sie beim Serach-Tree durch die vorgegebenen Kategorien beeinflusst wurde und deshalb nur in der Combo Box die mittlere Reife in einem zusätzlichen Loop angegeben hat: „Nur wie gesagt, weil das Feld aufging (im Search-Tree) mit den beruflichen (Optionen) oder was man gemacht hat. Daran habe ich erkannt, halt mal, hier geht es um berufliche. Und hier (bei der Combo Box) war es eigentlich nicht wirklich erkennbar.“
    Eine zusätzliche Nachfrage im kognitiven Interview zielte auf jene Testpersonen (TP 12, 24, 27), die mehr Abschlüsse erworben haben als durch das Befragungstool erfasst werden konnten. Sie wurden gebeten, die nicht ermittelten Abschlüsse zu benennen. Die Antworten zeigen, dass es sich bei den Testpersonen 12 und 27 dabei um Schulabschlüsse handelt. Testperson 24 sagt, dass sie ergänzend zum Studium Abschlüsse in Deutsch und Englisch erworben hat. Da diese parallel erreicht wurden, habe sie sie bei den Interfaces aber nicht zusätzlich erfasst.
    Insgesamt lässt sich feststellen, dass die Abweichungen zwischen der Anzahl der gemachten Abschlüsse und der in den beiden Interfaces erfassten Abschlüsse vor allem durch (zusätzlich) erworbene Schulabschlüsse erklärt werden können. Während Testpersonen mit deutschen Abschlüssen ihren höchsten Schulabschluss durch eine separate Frage bestimmen konnten, haben Testpersonen mit Abschlüssen im Ausland in der Regel bei den Loops keine Schulabschlüsse mehr erfasst. Dies wurde u.a. durch die Formulierung der Frage herbeigeführt, da im Gegensatz zur ersten Beantwortung nicht mehr von „Schul-, Ausbildungs- oder Hochschulabschluss“, sondern nur noch von „weiteren Ausbildungs- oder Hochschulabschlüssen“ die Rede ist.
    Darüber hinaus wurden die Testpersonen gebeten einschätzen, wie leicht oder schwer es ihnen gefallen ist, die Anzahl der Bildungsabschlüsse zu nennen.
    Der überwiegende Anteil der Testpersonen hatte keine Probleme bei der Angabe der Abschlüsse. Lediglich eine Testperson empfand die Frage „sehr schwer“, da das Auswählen und Zusammenzählen der relevanten Abschlüsse eine kognitive Herausforderung darstellte: „Ich hätte es lieber aufgeschrieben als alles im Kopf zusammenzuzählen.“; TP 30). Fünf Testpersonen fiel die Beantwortung „eher schwer“ (TP 01, 2, 15, 18, 27).
    Drei der Testpersonen schätzten die Frage als „eher schwer“ ein und begründen dies damit, dass sie unsicher waren, welche Abschlüsse mit dazu gezählt werden sollten:
    • „Weil ich unsicher war. Ich hätte auch noch eine vierte angeben können. Diese Trainer-Geschichte, das sind einzelne Zertifikate. Die Zusatzausbildung ist wieder was anderes. Da gibt es kein Ende. Für jemand, der das macht, gibt es kein Ende dieser Ausbildung. Selbst wenn man ein Zertifikat in der Hand hat, ist man noch nicht fertig. Deswegen habe ich es hier einfach ausgelassen.“ (TP 02)
    • „Ich war mir hier nicht sicher, ob der technische Redakteur gemeint war. Gut fand ich den Hinweis, dass nur Abschlüsse gemeint sind, für die ein Zeugnis ausgestellt wurde, sonst hätte ich das Abitur vielleicht gar nicht dazu gezählt. Und beim technischen Redakteur habe ich gedacht, ich habe schon eine Art Zeugnis bekommen, also ein Zertifikat und deswegen habe ich überlegt und war mir mit dem technischen Redakteur nicht sicher. Ich war mir nicht sicher, ob dieses Zeugnis gleichwertig ist, wie das von der Schule oder einer Universität.“ (TP 02)“
    • „Weil ich überlegt habe, ob ich den mittlere Reife-Abschluss dazu nehme.“ (TP 15)
    Ähnlich wie für Testperson 02 war auch für Testperson 27 der Hinweis auf das Zeugnis entscheidend für die Angabe der Abschlüsse. Aufgrund dieser Anweisung zählte die Testperson den Grundschulabschluss zu den Bildungsabschlüssen: „Ok, es ist nur der Grundschulabschluss, aber trotzdem kriegt man ein Zeugnis.“ (TP 27).
    Auch wenn Testperson 23 die Beantwortung der Frage nicht schwierig bewertete, verweist sie darauf, dass „Selectividad“, das spanische Äquivalent zum deutschen Abitur, in der Auswahlliste nicht existiert. Weiterhin gibt die Testperson an, dass sie von sich aus keinen Schulabschluss angegeben hätte, da der schulische Abschluss die Voraussetzung für den weiteren Werdegang ist und somit indirekt mit den höheren Abschlüssen erfasst wird: „Mit dem Abitur kannst du nicht arbeiten (…) Das ist nur eine Prüfung und obligatorisch, wenn du auf der Universität studierst.“ (TP 23).
  2. Thema der Frage: Soziodemographie
  3. Konstrukt: Anzahl Schul-, Ausbildungs- oder Hochschulabschlüsse