zur Pretest Datenbank Pretest-Datenbank
Projektname:Projekt „Evaluierung neuer Kurz- und Langversionen soziodemographischer Standarditems“
  2. Fragetext: Split A (Kurzversion): Bitte geben Sie an, was am Ehesten auf Ihre jetzige Situation zutrifft.
    Split B (Langversion): Welche Erwerbssituation passt für Sie? Was in dieser Liste trifft auf Sie zu? Bitte beachten Sie, dass unter Erwerbstätigkeit jede bezahlte bzw. mit einem Einkommen verbundene Tätigkeit verstanden wird.
  3. Instruktionen: Split A (Kurzversion):Hinweis: Bitte nur eine Angabe!
    Hinweis: Lehrlinge / Auszubildende gelten als hauptberuflich Erwerbstätige. Mithelfende Familienangehörige, die im Betrieb eines Haushalts- bzw. eines Familienmitglieds arbeiten, ohne dass ein formales Arbeitsverhältnis besteht, gelten ebenfalls als hauptberuflich Erwerbstätige.
    Split B (Langversion):Hinweis: Nur eine Nennung möglich
  5. Antwortkategorien:

    Split A (Kurzversion):

    Derzeit hauptberuflich erwerbstätig

    Hauptberuflich erwerbstätig, Vollzeit

    Hauptberuflich erwerbstätig, Teilzeit

    Derzeit hauptberuflich nicht erwerbstätig

    Schüler/-in, Student/-in

    Altersrente, Pensionär/-in

    Dauerhaft erwerbsunfähig

    Hausarbeit, Betreuung von Kindern oder anderen Personen (Hausfrau / Hausmann)

    Zurzeit arbeitslos / auf Arbeitssuche

    Freiwilliger Wehrdienst, Bundesfreiwilligendienst, FSJ, FÖJ

    Aus anderen Gründen aktuell nicht (hauptberuflich) erwerbstätig, und zwar:

    Weiß nicht

    Keine Angabe

    Split B (Langversion):
    Vollzeiterwerbstätig (ohne Altersteilzeit, Mutterschutz, Elternzeit, Pflegezeit o.ä. – diese unten angeben)

    Teilzeiterwerbstätig (ohne Altersteilzeit, Mutterschutz, Elternzeit, Pflegezeit o.ä. -diese unten angeben)

    Altersteilzeit (unabhängig davon, ob in der Arbeits- oder Freistellungsphase befindlich)

    Geringfügig erwerbstätig, 450-Euro-Job, Minijob

    „Ein-Euro-Job“ (bei Bezug von Arbeitslosengeld II)

    Gelegentlich oder unregelmäßig beschäftigt

    In einer beruflichen Ausbildung/Lehre

    In Umschulung

    Freiwilliger Wehrdienst

    Bundesfreiwilligendienst oder Freiwilliges Soziales Jahr

    Mutterschutz, Elternzeit, Pflegezeit oder sonstige Beurlaubung (Altersteilzeit oben angegeben)

    Nicht erwerbstätig (einschließlich: Schüler/-innen oder Studierende, die nicht gegen Geld arbeiten, Arbeitslose, Vorruheständler/-innen, Rentner/-innen ohne Nebenverdienst)

    Weiß nicht

    Keine Angabe

    1. Empfehlungen: Der Anteil an korrekten Antworten auf die Fragen 3 und 3a war in der Kurzversion statistisch signifikant höher als in der Langversion, zumindest wenn man die in der offenen Antwortkategorie genannten Erwerbssituationen in beiden Versionen ex post einer der geschlossenen Antwortkategorien zuordnet. Inkorrekte Antworten kamen in der Kurzversion (Split A) meist dadurch zustande, dass Befragte die Antwortkategorie „Aus anderen Gründen aktuell nicht (hauptberuflich) erwerbstätig, und zwar:“ auswählten, obwohl eine andere Kategorie passender gewesen wäre. Hier spielte Unsicherheit bei der Einordnung vermutlich eine große Rolle, und da die Fälle recht leicht ex post in die richtige Kategorie einsortiert werden können, ist die halboffene Antwortoption hier angebracht und verhindert möglicherweise schwerwiegendere Fehlzuordnungen. Meist war die Kategorie „dauerhaft erwerbsunfähig“ betroffen, die anscheinend nicht verständlich genug formuliert ist. Sie könnte umformuliert werden zu einer leichter verständlichen Umschreibung: „Aus gesundheitlichen Gründen dauerhaft nicht erwerbsfähig“. Hier wäre die genaue Formulierung noch zu testen.

      In der Langversion der Frage (Split B) war der Grund für fehlerhafte Antworten meist, dass Personen angaben, nicht erwerbstätig zu sein, obwohl sie nebenher einer bezahlten Tätigkeit nachgingen. Bei dieser Version kommt es also zu einer Untererfassung insbesondere geringfügiger und unregelmäßiger Erwerbstätigkeiten.

      Da die Kurzversionen (Split A) der Fragen 3 und 3a weniger Bearbeitungszeit erfordern als die Langversionen (Split B) und weniger schwerwiegende Zuordnungsfehler provozieren, empfehlen wir, diese zu verwenden, wenn Konsistenz mit den Demographischen Standards von 2016 nicht unbedingt erforderlich ist. Auf die halboffene Antwortkategorie („Aus anderen Gründen aktuell nicht (hauptberuflich) erwerbstätig, und zwar:“) kann unter Umständen verzichtet werden, da die Mehrheit der Testpersonen, die hiervon Gebrauch machten, sich eigentlich in eine der vorgegebenen Antwortkategorien hätten einordnen können bzw. sollen. Ob sie dies im Falle eines Weglassens der halboffenen Antwortkategorie tatsächlich tun würden, muss jedoch in einem gesonderten Test überprüft werden. Die Langversion ist empfehlenswert, wenn ein Interesse an den detaillierten Erwerbstätigkeitskategorien von Frage 3 besteht, die jedoch meist nur gering besetzt sind und nicht von allen betroffenen Befragten ausgewählt werden.
  2. Eingesetzte kognitive Technik/en:Information Bild/Link zu Kognitives Pretesting Category Selection Probing, Specific Probing
  3. Befund zur Frage: Informationen zur Frage und Ziel der Testung:
    Mit den Fragen 3 und 3a soll die Erwerbsituation bzw. der Hauptstatus der Befragten erfasst werden. Verglichen wurde eine neu entwickelte Kurzversion mit der Frageversion aus den Demographischen Standards. Zum Vergleich wurden zwei Fragen zur Erwerbssituation aus den Demographischen Standards aufgenommen (8 und 9), nicht jedoch die Fragen zur Anzahl der Beschäftigungsverhältnisse (8A), Selbstständigkeit (8B) und Arbeitsstunden (8C). Frage 8 wurde dabei leicht angepasst: Bei den ersten beiden Antwortkategorien „vollzeiterwerbstätig“ und „teilzeiterwerbstätig“ wurden Erläuterungen in Klammern hinzugefügt. Bei der Antwortkategorie 11 wurden die veralteten Begriffe „Mutterschafts-“ und „Erziehungsurlaub“ durch „Mutterschutz“ und „Elternzeit“ ersetzt.
    Die Kurzversion besteht wie die Empfehlung der Demographischen Standards aus zwei Fragen und erlaubt ebenfalls die Herleitung des Hauptstatus und der Erwerbssituation (inkl. Nebentätigkeit) der Befragten. Sie fragt jedoch zuerst nach der Haupttätigkeit und dann nach einer möglichen Nebentätigkeit, welche auch deutlich weniger differenziert erfasst wird als von den Demographischen Standards empfohlen. In der Kurzversion ist die erste Frage 3 zur Haupttätigkeit eine halboffene Frage, während in der Langversion die Folgefrage 3a (Hauptstatus von nicht Vollzeit-/Teilzeiterwerbstätigen) halboffen ist. Die beiden Instrumentversionen unterscheiden sich also deutlicher voneinander als die bisher dargestellten Kurz- und Langversionen.
    Ziel der kognitiven Nachfragen war es herauszufinden, ob die Testpersonen sich korrekt in die vorgegebenen Antwortkategorien einordnen, insbesondere falls sie nebenher erwerbstätig sind. Darüber hinaus sollte analysiert werden, ob die Antworten auf die Folgefrage (3a) zu den Antworten auf die vorhergehende Frage (3) passen und ob sich die Antwortzeiten zwischen den beiden Frageversionen (Splits) unterscheiden.

    Befund:
    Keine Testperson wählte bei einer der insgesamt vier Fragen die „Weiß nicht“-Kategorie aus und auch Antwortverweigerungen traten nur sehr selten auf (n = 4). In beiden Frageversionen gaben etwas mehr als die Hälfte der Befragten an, voll- oder teilzeiterwerbstätig zu sein (Split A: 59,2 %, Split B: 55,4 %).

    Ordnen sich die Testpersonen korrekt den vorgegebenen Antwortkategorien zu?
    In der Kurzversion wurde die Nachfrage zur Erwerbssituation (Frage 3, Split A) den Befragten aus Gruppe 4 (n = 118) gestellt und die Nachfrage zur Nebenerwerbstätigkeit (Frage 3a, Split A) denjenigen Befragten aus den Gruppen 3 und 4, welche die Frage 3a bejaht hatten (n = 23). Zur Langversion von Frage 3 erhielten die Testpersonen aus Gruppe 2 (n = 117) Nachfragen sowie Personen aus den Gruppen 1 und 2, die angegeben hatten, nicht erwerbstätig zu sein (n = 81).
    Die Mehrheit der Testpersonen, welche interpretierbare Antworten auf die Nachfrage in der Kurzversion gaben, ordnete sich den vorgegebenen Antwortkategorien korrekt zu (89,3 %, n = 100):
    • „Ich arbeite 39 Stunden die Woche in einer Kita als Erzieherin.“ (TP848, Antwort: Hauptberuflich erwerbstätig, Vollzeit)
    • „Ich arbeite 20 Stunden in der Woche.“ (TP1121, Antwort: Hauptberuflich erwerbstätig, Teilzeit)
    • „Ich gehe in die Schule und mache dieses Jahr mein Abitur.“ (TP835, Antwort: Schüler/-in, Student/-in)
    • „Ich bin 70Jahre alt und beziehe Altersrente.“ (TP435, Antwort: Altersrente, Pensionär/-in)
    • „Ich habe mein Studium abgeschlossen und suche nun nach Arbeit.“ (TP980, Antwort: Zurzeit arbeitslos / auf Arbeitssuche)
    Inkorrekt waren die Angaben in Split A von insgesamt zwölf Testpersonen. Diese wählten zumeist die Antwortkategorie „Aus anderen Gründen aktuell nicht (hauptberuflich) erwerbstätig, und zwar:“ aus, obwohl eine andere Kategorie passender gewesen wäre. Hier bestand offenbar Unsicherheit darüber, welche der angebotenen Kategorien die richtige gewesen wäre, so dass die halboffene Frage hier nützlich erscheint:
    • „Rentner“ (TP322, passendere Antwort: Altersrente, Pensionär/-in)
    • „Ich beziehe ALG 2, bin allerdings längerfristig aus gesundheitlichen Gründen nicht erwerbsfähig.“ (TP975, passendere Antwort: Dauerhaft erwerbsunfähig)
    • „Frührentner. Hatte einen Unfall.“ (TP902, passendere Antwort: Dauerhaft erwerbsunfähig)
    Ordnet man die in der offenen Antwortkategorie genannten Erwerbssituationen ex post einer der geschlossenen Antwortkategorien zu, so erhöht sich der Anteil korrekter Antworten in der Kurzversion auf 96,4 % (n = 108).

    In der Kurzversion der Frage erhielten diejenigen Befragten, die angaben, derzeit nicht hauptberuflich tätig zu sein, Frage 3a gestellt („Gehen Sie nebenher einer bezahlten Erwerbstätigkeit (Minijob, Aushilfstätigkeit) nach?“). Testpersonen, welche diese Frage bejahten (n = 23), wurden gebeten, die Nebenerwerbstätigkeit näher zu beschreiben. Die Antworten all dieser Testpersonen passten zu ihren Antworten auf Frage 3a:
    • „Studentische Hilfskraft“ (TP224, Frage 3: Schüler/-in, Student/-in, Frage 3a: ja)
    • „Hausfrau, gelegentlich ein 450-Euro Job. Inventur und sonstige Tätigkeiten in einem großen Bekleidungsgeschäft.“ (TP232, Frage 3: Hausarbeit, Betreuung von Kindern oder anderen Personen (Hausfrau / Hausmann), Frage 3a: ja)
    • „Zeitungsausträger. Erwerbsunfähigkeitsrentner.“ (TP925, Frage 3: Dauerhaft erwerbs-unfähig, Frage 3a: ja)
    In der Langversion der Frage 3 ordnete sich ebenfalls die Mehrheit der Testpersonen, welche interpretierbare Antworten auf die Nachfrage gaben, den angebotenen Antwortkategorien korrekt zu (89,7 %, n = 105). Der Anteil der korrekten Antworten war hier nahezu identisch mit dem in der Kurzversion (89,3 %). Vergleicht man jedoch die Langversion mit der Kurzversion, nachdem die offenen Antworten einer der geschlossenen Antwortkategorien zugeordnet wurden (96,4 %), so ist der Anteil korrekter Antworten in der Kurzversion statistisch signifikant höher (χ2(1) = 3.93, p < .05). Im Folgenden sind einige Beispielantworten auf die Nachfrage zur Erwerbssituation aufgeführt von Personen, die sich in der Langversion korrekt zugeordnet haben:
    • „Voll erwerbstätig mit einer Wochenarbeitszeit von 41 Stunden.“ (TP340, Antwort: Vollzeiterwerbstätig (ohne Altersteilzeit, Mutterschutz, Elternzeit, Pflegezeit o.ä. – diese unten angeben)
    • „Ich gebe freiberuflich Nachhilfestunden in Deutsch, Mathe, Englisch.“ (TP403, Antwort: Geringfügig erwerbstätig, 450-Euro-Job, Minijob)
    • „Weil ich eine Ausbildung zum Bankkaufmann mache.“ (TP368, Antwort: In einer beruflichen Ausbildung/Lehre)
    • „Ich bin Rentner.“ (TP260, Antwort: Nicht erwerbstätig (einschließlich: Schüler/-innen oder Studierende, die nicht gegen Geld arbeiten, Arbeitslose, Vorruheständler/-innen, Rentner/-innen ohne Nebenverdienst)
    Insgesamt zwölf Testpersonen beantworteten Frage 3 in der Langversion inkorrekt. Zwei dieser Testpersonen ordneten sich einer falschen Antwortkategorie zu:
    • „Weil ich im Moment ein Einstiegsqualifizierungsjahr mache, das aber im Moment aus privaten Gründen pausiert ist.“ (TP927, Antwort: Keine Angabe, korrekte Antwort: Nicht erwerbstätig (einschließlich: …)
    • „Auf 450 € Basis tätig“ (TP1060, Antwort: Teilzeiterwerbstätig (ohne Altersteilzeit, Mutterschutz, Elternzeit, Pflegezeit o.ä. -diese unten angeben), korrekte Antwort: Geringfügig erwerbstätig, 450-Euro-Job, Minijob)
    Die anderen zehn Testpersonen hatten bei Frage 3 angegeben, nicht erwerbstätig zu sein, gaben auf Nachfrage bei Frage 3a allerdings an, einer bezahlten Erwerbstätigkeit (z. B. Minijob, Aushilfstätigkeit) nachzugehen. Diese Testpersonen hätten sich also ebenfalls einer der anderen Antwortkategorien zuordnen müssen, hatten aber vermutlich in der Antwortkategorie „Nicht erwerbstätig (einschließlich: Schüler/-innen…)“ den Zusatz „die nicht gegen Geld arbeiten“ bzw. „ohne Nebenverdienst“ übersehen.

    Unterscheiden sich die Antwortzeiten zwischen den beiden Frageversionen?
    Vor der Analyse der Antwortzeiten wurde eine Ausreißerbereinigung gemäß den Empfehlungen von Höhne & Schlosser (2018) durchgeführt, d. h. der untere Schwellenwert wurde mit der Formel Q.50 – (3 x (Q.50 – Q.25)), der obere Schwellenwert mit der Formel Q.50 + (3 x (Q.75 – Q.50)) bestimmt. Befragte, welche die Kurzversion von Frage 3 und 3a (Split A) erhalten hatten, benötigten zur Beantwortung der beiden Fragen weniger Zeit (M = 15.12, SD = 7.71, n = 207) als Befragte, welche die Langversion (Split B) erhalten hatten (M = 20.05, SD = 13.35, n = 219). Dieser Unterschied war statistisch signifikant (Welch’s F (1, 352.51) = 22.08, p < .001).
  2. Thema der Frage: Soziodemographie
  3. Konstrukt: Erwerbssituation / Hauptstatus