zur Pretest Datenbank Pretest-Datenbank
Projektname:Projekt „Evaluierung neuer Kurz- und Langversionen soziodemographischer Standarditems“
  2. Fragetext: Welchen höchsten Ausbildungsabschluss bzw. Hochschulabschluss haben Sie?
  3. Instruktionen: Split A (Kurzversion): Hinweis: Wenn Sie Ihren Abschluss im Ausland erworben haben, ordnen Sie sich bitte den Kategorien 2 bis 8 zu.
    Split B (Langversion): Hinweis: Wenn Sie Ihren Abschluss im Ausland erworben haben, ordnen Sie sich bitte den Kategorien 2 bis 15 zu. Falls diese nicht passend sind, nutzen Sie Kategorie 16 für eine offene Angabe
  5. Antwortkategorien:

    Split A (Kurzversion):

    1. (Noch) kein beruflicher Abschluss

    2. Abgeschlossene Berufsausbildung (Lehre) oder berufsqualifizierender Abschluss einer Berufsfachschule oder Kollegschule

    3. Abschluss einer einjährigen Ausbildung an einer Schule des Gesundheitswesens, Vorbereitungsdienst für den mittleren Dienst in der öffentlichen Verwaltung

    4. Abschluss einer zwei- bis dreijährigen Ausbildung an einer Schule des Gesundheitswesens

    5. Abschluss einer Ausbildung zum Erzieher/zur Erzieherin, einer Fach-, Meister- oder Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie, auch Fachschule der DDR

    6. Diplom einer Berufsakademie oder FH, Bachelor

    7. Diplom einer Universität, Master, Magister, Staatsexamen

    8. Promotion

    Weiß nicht

    Keine Angabe

    Split B (Langversion):

    1. Noch in beruflicher Ausbildung (Berufsvorbereitungsjahr, Auszubildende/r, Praktikant/-in, Student/-in)

    2. Schüler/-in und besuche eine berufsorientierte Aufbau-, Fachschule oder Ähnliches

    3. Keinen beruflichen Abschluss und bin nicht in beruflicher Ausbildung

    4. Beruflich-betriebliche Berufsausbildung (Lehre) abgeschlossen

    5. Berufsqualifizierender Abschluss einer beruflich-schulischen Ausbildung (Berufsfachschule, Kollegschule)

    6. Vorbereitungsdienst für den mittleren Dienst in der öffentlichen Verwaltung

    7. Abschluss einer einjährigen Ausbildung an einer Schule des Gesundheitswesens

    8. Abschluss einer zwei- bis dreijährigen Ausbildung an einer Schule des Gesundheitswesens

    9. Abschluss einer Ausbildung zum Erzieher/zur Erzieherin

    10. Abschluss einer Fachschule der DDR

    11. Abschluss einer Fach-, Meister-, Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie

    12. Bachelor

    13. Diplom

    14. Master, Magister, Staatsexamen

    15. Promotion

    16. Einen anderen beruflichen Abschluss, und zwar:

    Weiß nicht

    Keine Angabe

    1. Empfehlungen: Der Anteil an korrekt zugeordneten Abschlüssen war bei dieser Frage deutlich geringer als bei der Frage nach dem Schulabschluss (Frage 1), unterschied sich zwischen den beiden Frageversionen aber nicht. Inkorrekte Antworten kamen meist dadurch zustande, dass Befragte ohne Berufsausbildung dies nicht angaben, sondern die „Keine Angabe“-Kategorie auswählten, oder dass Befragte die erste für sie passende Option auswählten, auch wenn weiter unten in der Liste ein speziellerer und für sie passenderer Abschluss aufgeführt war.

      Daher empfehlen wir, die Reihenfolge der Antwortkategorien zu verändern, so dass zunächst die spezielleren beruflichen Abschlüsse genannt werden (z. B. Abschlüsse an Schulen des Gesundheitswesens) und erst danach die allgemeineren Abschlüsse wie „beruflich-betriebliche Berufsausbildung (Lehre)“ oder „Berufsqualifizierender Abschluss einer beruflich-schulischen Ausbildung (Berufsfachschule, Kollegschule)“. Eine weitere Möglichkeit bestünde darin, die Abschlüsse absteigend vom höchsten (Promotion) zum niedrigsten Abschluss ((noch) kein beruflicher Abschluss) aufzulisten, da dann der erste „Treffer“ dem höchsten Abschluss entspricht. Dadurch könnte sich aber die Beantwortungszeit steigern, da die am häufigsten zutreffenden Kategorien (Lehre und Berufsfachschule) erst recht weit unten in der Liste erscheinen würden.

      Des Weiteren empfehlen wir, die Antwortkategorien „Weiß nicht“ und „Keine Angabe“ in selbstadministrierten Befragungen nicht anzuzeigen und in interviewer-administrierten Befragungen nicht vorzulesen. In Online-Befragungen sollte es den Befragten möglich sein, die Frage unbeantwortet zu lassen. In diesem Fall sollte eine Meldung mit der Bitte erscheinen, die Frage entweder zu beantworten oder anzugeben, ob man die Frage nicht beantworten könne („Weiß nicht“) oder wolle („Keine Angabe“). In interviewer-administrierten Befragungen sollten die Interviewer*innen die beiden Antwortmöglichkeiten nur dann verwenden, wenn Befragte von sich aus angeben, die Antwort nicht zu kennen oder die Frage nicht beantworten zu wollen.

      Um zu vermeiden, dass Personen mit geringfügigen Qualifikationen unterhalb des Niveaus einer Lehre oder eines qualifizierenden Berufsfachschulabschlusses (bspw. Qualifikation für Tagespflegepersonen, Taxischein etc.) keine Angabe machen statt „(noch) keinen beruflichen Abschluss“ anzugeben, könnte eine zusätzliche Antwortoption „Ich bin angelernt oder habe eine kurze Ausbildung gemacht, d. h. weniger als eine Lehre“ ergänzt werden. Diese Kategorie würde in der Herleitung von Bildungsvariablen behandelt werden wie „kein beruflicher Abschluss“.

      Darüber hinaus kann unter Umständen auf eine halboffene Antwortkategorie („anderer beruflicher Abschluss, und zwar:“) verzichtet werden, da alle Testpersonen, die hiervon Gebrauch machten, sich eigentlich in eine der vorgegebenen Antwortkategorien hätten einordnen können bzw. sollen. Ob sie dies im Falle eines Weglassens der halboffenen Antwortkategorie tatsächlich tun würden, muss jedoch in einem gesonderten Test überprüft werden.

      Was die Verwendung einer der beiden Frageversionen betrifft, empfehlen wir die Verwendung der Kurzversion der Frage (Split A), sofern die Granularität der Abfrage für die gewünschten Analysen ausreichend ist, da diese Version weniger Bearbeitungszeit erfordert als die Langversion (Split B). ISCED kann aus beiden Versionen hergeleitet werden, für CASMIN wäre in der Kurzversion die Differenzierung zwischen Fachhochschule und Universität zu ergänzen:
      • (Noch) kein beruflicher Abschluss
      • Abgeschlossene Berufsausbildung (Lehre) oder berufsqualifizierender Abschluss einer Berufsfachschule oder Kollegschule Abschluss, Polytechnische Oberschule der DDR mit Abschluss der 8. oder 9. Klasse
      • Abschluss einer einjährigen Ausbildung an einer Schule des Gesundheitswesens, Vorbereitungsdienst für den mittleren Dienst in der öffentlichen Verwaltung
      • Abschluss einer zwei- bis dreijährigen Ausbildung an einer Schule des Gesundheitswesens
      • Abschluss einer Ausbildung zum Erzieher/zur Erzieherin, einer Fach-, Meister- oder Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie, auch Fachschule der DDR
      • Diplom oder Bachelor einer Berufsakademie oder FH
      • Bachelor einer Universität
      • Master einer FH
      • Diplom, Master, Magister oder Staatsexamen einer Universität
      • Promotion
      Die Differenzierung nach Bachelor- und Masterniveau kann die Unterscheidung von Fachhochschule und Universität in CASMIN aber ersetzen, wenn kein Vergleich mit früher erhobenen Daten angestrebt wird.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting Category Selection Probing, Specific Probing
  3. Befund zur Frage: Informationen zur Frage und Ziel der Testung:
    Mit Frage 2 soll der höchste Ausbildungs- bzw. Hochschulabschluss der Befragten erfasst werden. Verglichen wurde eine (insbesondere für selbstadministrierte Umfragen) neu entwickelte Kurzversion mit der Frageversion aus den Demographischen Standards. Die Kurzversion weist aufgrund der Zusammenfassung mehrerer Abschlüsse zu einzelnen Antwortkategorien insgesamt nur halb so viele Antwortoptionen auf wie die Langversion. Die Menge an Text konnte aber nicht merklich reduziert werden, da es keine allgemein verständlichen Oberbegriffe für die Abschlüsse gibt, die zusammengefasst werden können. Die Zusammenfassungen ergeben sich hier aus der gemeinsamen Klassifikation von Abschlüssen in ISCED.
    Ziel der kognitiven Nachfragen war es herauszufinden, ob die Testpersonen ihren Abschluss korrekt einer der vorgegebenen Antwortkategorien zuordnen, und ob es hierbei Unterschiede zwischen der neu entwickelten Kurzversion und der Langversion aus den Demographischen Standards gibt. Darüber hinaus sollte analysiert werden, ob sich die Antwortzeiten zwischen den beiden Frageversionen unterscheiden.

    Befund:
    Die Antworten unterschieden sich zwischen den beiden Frageversionen insgesamt nur wenig. Substanzielle Unterschiede zeigten sich nur bei den Antwortoptionen „Abschluss einer zwei- bis dreijährigen Ausbildung an einer Schule des Gesundheitswesens“ (Split A: 6,3 %, Split B: 2,9 %) und „Abschluss einer Ausbildung zum Erzieher/zur Erzieherin, einer Fach-, Meister- oder Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie, auch Fachschule der DDR“ (Split A: 4,6 %, Split B: 8,8 %).

    Am häufigsten genannt wurde eine abgeschlossene Berufsausbildung oder ein berufsqualifizierender Abschluss einer Berufsfachschule oder Kollegschule (Split A: 46,7 %, Split B: 48,4 %) gefolgt von der Angabe, (noch) keinen beruflichen Abschluss (Split A: 19,2 %, Split B: 19,7 %) oder einen Hochschulabschluss zu haben (Bachelor bis Diplom an einer Universität, Master, Magister, Staatsexamen; Split A: 15,9 %, Split B: 12,1 %). Einige wenige Testpersonen gaben an, die Frage auf die Antwort nicht zu wissen (Split A: 0,8 %) oder verweigerten die Angabe (Split A: 3,8 %, Split B: 2,9 %).

    Die Langversion der Frage (Split B) bot die Möglichkeit, einen anderen als die genannten Abschlüsse anzugeben, wovon insgesamt acht Befragte Gebrauch machten. Alle diese Testpersonen hätten sich allerdings in eine der vorgegebenen Antwortkategorien einsortieren können bzw. sollen. Drei Befragte nutzten die halboffene Antwortkategorie, um ein (vermutlich) abgebrochenes oder noch laufendes Studium anzugeben (z. B. TP967: „Abgeschlossenes Universitäts-Grundstudium“ ). Zwei Testpersonen nannten einen Schul- statt einen Ausbildungsabschluss (z. B. TP339: „Mittlere Reife“ ) und die restlichen drei Befragten ordneten sich fälschlicherweise der halboffenen Kategorie zu (z. B. TP800: „Beamter im mittleren Dienst“ ; hätte „Vorbereitungsdienst für den mittleren Dienst in der öffentlichen Verwaltung“ auswählen müssen).

    Ordnen die Testpersonen ihren höchsten Ausbildungs- bzw. Hochschulabschluss korrekt den vorgegebenen Antwortkategorien zu?
    Die Nachfrage zum konkret erworbenen höchsten Ausbildungs- bzw. Hochschulabschluss wurde in der Kurzversion (Split A) den 123 Testpersonen gestellt, die (zufällig) der Gruppe 1 zugeordnet wurden. In der Langversion (Split B) wurde die Nachfrage den Testpersonen aus Gruppe 3 (n = 122) gestellt. Darüber hinaus erhielten alle Testpersonen, die mit „Weiß nicht“ (Split A: n = 2) oder „Keine Angabe“ (Split A: n = 9, Split B: n = 7) geantwortet hatten, eine Nachfrage mit der Bitte, ihre Antwortauswahl zu begründen.

    Zwar ordnete die Mehrheit der Testpersonen, die eine interpretierbare Antwort auf die Nachfragen gaben, ihren höchsten Ausbildungs- bzw. Hochschulabschluss in beiden Frageversionen korrekt einer der vorgegebenen Antwortkategorien zu (Split A: 76,9 %, n = 90; Split B: 76,8 %, n = 86), allerdings war der Anteil an korrekten Antworten deutlich geringer als bei Frage 1 (Schulabschluss). Im Folgenden sind einige Beispielantworten auf die Nachfragen zum höchsten erlangten Ausbildungsabschluss aufgeführt von Personen, die sich korrekt zugeordnet haben:

    Split A, Kurzversion
    • „Ich befinde mich noch im Studium.“ (TP324, Antwort: ((Noch) kein beruflicher Abschluss)
    • „Abgeschlossene Berufsausbildung als Fachlagerist“ (TP425, Antwort: Abgeschlossene Berufsausbildung (Lehre) oder berufsqualifizierender Abschluss einer Berufsfachschule oder Kollegschule)
    • „Bilanzbuchhalter IHK“ (TP878, Antwort: Abschluss einer Ausbildung zum Erzieher/zur Erzieherin, einer Fach-, Meister- oder Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie, auch Fachschule der DDR)
    • „Bachelor Publizistik und Kommunikationswissenschaften“ (TP1015, Antwort: Diplom einer Berufsakademie oder FH, Bachelor)
    • „Diplom (Universität) in Wirtschaftsinformatik“ (TP213, Antwort: Diplom einer Universität, Master, Magister, Staatsexamen)
    Split B, Langversion
    • „Ich habe studiert, das Studium aber nicht beendet. Eine andere Ausbildung mit Abschluss habe ich nicht.“ (TP962, Antwort: Keinen beruflichen Abschluss und bin nicht in beruflicher Ausbildung)
    • „Duale Ausbildung zum Bauzeichner“ (TP1021, Antwort: Beruflich-betriebliche Berufsausbildung (Lehre) abgeschlossen)
    • „Mittlerer nichttechnischer Postdienst“ (TP168, Antwort: Vorbereitungsdienst für den mittleren Dienst in der öffentlichen Verwaltung)
    • „Gesundheits- und Krankenpfleger“ (TP423, Antwort: Abschluss einer zwei- bis dreijährigen Ausbildung an einer Schule des Gesundheitswesens)
    • „Immobilienfachwirtin“ (TP179, Antwort: Abschluss einer Fach-, Meister-, Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie)
    • „Diplom im Bereich Finanzwesen“ (TP449, Antwort: Diplom)
    Eindeutig inkorrekt ordneten sich in der Kurzversion (Split A) insgesamt 17 Personen, in der Langversion (Split B) insgesamt 12 Testpersonen zu. Hierbei fiel zum einen auf, dass es Personen ohne berufsqualifizierende Ausbildung scheinbar unangenehm war, dies anzugeben, weshalb sie häufig die „Keine Angabe“-Kategorie auswählten:
    • „Taxischein“ (TP378, Split A, ausgewählte Antwort: Keine Angabe, korrekte Antwort: (Noch) kein beruflicher Abschluss)
    • „Ich habe keinen Beruf erlernt, in der Pflege immer als Pflegehilfskraft gearbeitet.“ (TP936, Split A, ausgewählte Antwort: Keine Angabe, korrekte Antwort: (Noch) kein beruflicher Abschluss)
    • „Ich habe keinen beruflichen Abschluss.“ (TP1080, Split B, ausgewählte Antwort: Keine Angabe, korrekte Antwort: Keinen beruflichen Abschluss und bin nicht in beruflicher Ausbildung)
    Zum anderen war häufig ein Reihenfolgeeffekt der Antwortkategorien zu beobachten, so dass Testpersonen einen Abschluss aus dem oberen Teil der Liste auswählten, der ihrem Abschluss ähnlich ist, obwohl weiter unten ein speziellerer und für sie passenderer Abschluss aufgeführt war:
    • „Ausbildung zur Krankenschwester und Verwaltungstätigkeit“ (TP314, Split A, ausgewählte Antwort: Abgeschlossene Berufsausbildung (Lehre) oder berufsqualifizierender Abschluss einer Berufsfachschule oder Kollegschule, korrekte Antwort: Abschluss einer zwei- bis dreijährigen Ausbildung an einer Schule des Gesundheitswesens)
    • „Gehobener Dienst in der Öffentlichen Verwaltung“ (TP248, Split A, ausgewählte Antwort: Abschluss einer einjährigen Ausbildung an einer Schule des Gesundheitswesens, Vorbereitungsdienst für den mittleren Dienst in der öffentlichen Verwaltung, korrekte Antwort: Diplom einer Berufsakademie oder FH, Bachelor)
    • „Ich habe die Ausbildung zum Gesundheits- und Krankenpfleger abgeschlossen.“ (TP208, Split B, ausgewählte Antwort: Berufsqualifizierender Abschluss einer beruflich-schulischen Ausbildung (Berufsfachschule, Kollegschule), korrekte Antwort: Abschluss einer zwei- bis dreijährigen Ausbildung an einer Schule des Gesundheitswesens)
    • „Mittlerer Dienst Beamter“ (TP381, Split B, ausgewählte Antwort: Berufsqualifizierender Abschluss einer beruflich-schulischen Ausbildung (Berufsfachschule, Kollegschule), korrekte Antwort: Vorbereitungsdienst für den mittleren Dienst in der öffentlichen Verwaltung)
    Darüber hinaus fiel – wie bereits oben bei der Beschreibung der Antworten auf die halboffene Antwortkategorie erläutert – auf, dass einige Testpersonen (Split A: 8,5 %, n = 10; Split B: 12,5 %, n = 14) nicht ihren höchsten Ausbildungs-, sondern ihren höchsten Schulabschluss berichteten. Dies deutet daraufhin, dass die Unterscheidung zwischen dem höchsten Schulabschluss und dem höchsten beruflichen Abschluss einigen Testpersonen nicht klar war:
    • „Abitur“ (TP1050, Split A, Antwort: Abschluss einer Ausbildung zum Erzieher/zur Erzieherin, einer Fach-, Meister- oder Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie, auch Fachschule der DDR)
    • „Mittlere Reife“ (TP1134, Split A, Antwort: Abgeschlossene Berufsausbildung (Lehre) oder berufsqualifizierender Abschluss einer Berufsfachschule oder Kollegschule)
    • „Realschulabschluss“ (TP1134, Split B, Antwort: Beruflich-betriebliche Berufsausbildung (Lehre) abgeschlossen)
    • „Fachhochschulreife“ (TP1126, Split B, Antwort: Abschluss einer Fach-, Meister-, Technikerschule, Verwaltungs- und Wirtschaftsakademie oder Fachakademie)
    Unterscheiden sich die Antwortzeiten zwischen den beiden Frageversionen?
    Vor der Analyse der Antwortzeiten wurde eine Ausreißerbereinigung gemäß den Empfehlungen von Höhne & Schlosser (2018) durchgeführt, d. h. der untere Schwellenwert wurde mit der Formel Q.50 – (3 x (Q.50 – Q.25)), der obere Schwellenwert mit der Formel Q.50 + (3 x (Q.75 – Q.50)) bestimmt. Befragte, welche die Kurzversion der Frage (Split A) erhalten hatten, benötigten zur Beantwortung von Frage 2 weniger Zeit (M = 19.78, SD = 11.55, n = 226) als Befragte, welche die Langversion (Split B) erhalten hatten (M = 24.26, SD = 13.86, n = 225). Dieser Unterschied war statistisch signifikant (Welch’s F (1, 434.21) = 13.86, p < .001).
  2. Thema der Frage: Soziodemographie
  3. Konstrukt: Höchster Ausbildungsabschluss