Projekt „Evaluierung neuer Kurz- und Langversionen soziodemographischer Standarditems“

Bei dieser Frage geht es darum, Gruppen in der Bevölkerung mit z. B. hohem, mittlerem oder niedrigem Einkommen auswerten zu können. Daher möchten wir gerne wissen: Wie hoch ist das durchschnittliche monatliche Nettoeinkommen Ihres Haushalts insgesamt?

Wir versichern Ihnen, dass Ihre Antwort nicht in Verbindung mit Ihrem Namen ausgewertet wird.
Unter durchschnittlichem monatlichem Nettoeinkommen Ihres Haushalts ist die Summe zu verstehen, die sich aus Lohn, Gehalt, Einkommen aus selbstständiger Tätigkeit, Rente oder Pension ergibt. Rechnen Sie bitte auch die Einkünfte aus öffentlichen Beihilfen, Einkommen aus Vermietung und Verpachtung, Vermögen, Wohngeld, Kindergeld und sonstige Einkünfte hinzu und ziehen Sie dann Steuern, Sozialversicherungsbeiträge und (wenn Sie selbständig sind) Betriebsausgaben ab.

Split A (Kurzversion):
Beträgt Ihr monatliches Haushaltsnettoeinkommen…
Weniger als 1.500 Euro
1.500 bis unter 3.000 Euro
3.000 Euro und mehr
Weiß nicht
Keine Angabe


Split B (Langversion):
Welche der folgenden Kategorien trifft auf das durchschnittliche Nettoeinkommen Ihres Haushalts zu?

unter 150 Euro
150 bis 450 Euro
451 bis 850 Euro
...
20.000 Euro und mehr

Die Ergebnisse des Pretests deuten auf keine Probleme der beiden Frageversionen hin, weshalb sie in ihrer jetzigen Form belassen werden können. Da sich beiden Frageversionen weder in der Höhe des Item Nonresponse bzw. der Verweigerungsraten noch bezüglich der wahrgenommenen Schwierigkeit der Beantwortung unterschieden, können auf Basis der vorliegenden Daten keine Aussagen dahingehend getroffen werden, ob eine der Versionen besser zur Erfassung des Haushaltseinkommens geeignet ist als die andere. Würde man eine Entscheidung lediglich auf Basis der Antwortzeiten treffen, wäre die Verwendung der Langversion (Split B) zu empfehlen, da diese weniger Bearbeitungszeit erfordert als die zweistufige Abfrage der Kurzversion (Split A). Dies gilt jedoch nur für selbstadministrierte und persönlich-mündliche Befragungen, in denen Showcards vorgelegt werden. Für telefonische Befragungen eignet sich die Langversion aufgrund der Vielzahl der Antwortoptionen nicht.

Eingesetzte kognitive Technik/en:

Difficulty Probing, Category Selection Probing

Informationen zur Frage und Ziel der Testung:
Mit Frage 5 soll das durchschnittliche monatliche Haushaltsnettoeinkommen der Befragten erfasst werden. Verglichen wurden zwei Versionen der geschlossenen Abfrage des Haushaltseinkommens, die in den meisten Studien auf eine offene Frage folgt für alle Befragten, die die offene Frage nicht beantworten können oder wollen: Eine Kurzversion (Split A), die im NEPS zum Einsatz kam und welche auch das SOEP zukünftig verwenden wird, mit der Frageversion aus den Demographischen Standards. Die Kurzversion nutzt die „Unfolding brackets“-Methode und fragt das Einkommen zweistufig in insgesamt neun Kategorien ab, während die Langversion (Split B) das Einkommen detailliert und mit einer großen Anzahl an Antwortkategorien (24) erfasst. Letztere ermöglicht zwar detailliertere Analysen und Herleitungen, könnte aber aufgrund des hohen Detailgrads mit höherem Item Nonresponse einhergehen.
Ziel des Pretests war es zunächst zu analysieren, ob sich der Item Nonresponse bzw. die Verweigerungsraten zwischen den beiden Frageversionen unterscheiden. Mit Hilfe der kognitiven Nachfragen sollte außerdem untersucht werden, was die Gründe für „Weiß nicht“- und „Keine Angabe“-Antworten sind und ob den Befragten die Beantwortung der Frage in einer der beiden Frageversionen leichter fällt als in der anderen. Zu guter Letzt wurde analysiert, ob sich die Antwortzeiten zwischen den beiden Frageversionen unterscheiden.

Befund:
In Split A und in Split B verteilten sich die Antworten auf die Einkommenskategorien ungefähr gleich (weniger als 1.500 Euro: Split A = 21,3 %, Split B = 22,5 %; 1.500 bis unter 3000 Euro: Split A = 38,3 %, Split B = 39,6 %; 3.000 Euro und mehr: Split A = 37,5 %; Split B = 33,8 %).

Die Höhe des Item Nonresponse bzw. die Verweigerungsraten unterschieden sich kaum zwischen den beiden Frageversionen. In Split A antworteten insgesamt drei Testpersonen mit „Weiß nicht“ und sechs Testpersonen mit „Keine Angabe“. In Split B wählte eine Testperson die „Weiß nicht“-Kategorie und neun Testpersonen die „Keine Angabe“-Kategorie aus. Alle Testpersonen, die mit „Weiß nicht“ oder „Keine Angabe“ geantwortet hatten, erhielten eine Nachfrage mit der Bitte, ihre Antwort näher zu erläutern. Die Erläuterungen unterschieden sich nicht zwischen den beiden Frageversionen. Testpersonen, die „Weiß nicht“ ausgewählt hatten, erklärten, dass sie die Höhe des Haushaltseinkommens nicht genau wüssten bzw. die verschiedenen Einkünfte nicht genau kennen würden und Testpersonen, die „Keine Angabe“ auswählten, erläuterten, diese Frage als zu privat zu empfinden:

• „Ich bin nicht sicher, wie hoch die gemeinsamen Einkünfte aus allen Quellen sind.“ (TP441)
• „Weil mein Einkommen nur mich und ggf. das Finanzamt interessieren sollte.“ (TP407)
• „Muss keiner wissen.“ (TP424)

Die Nachfrage zur Schwierigkeit der Beantwortung der Frage wurde in der Kurzversion (Split A) den 123 Testpersonen gestellt, die (zufällig) der Gruppe 1 zugeordnet wurden. In der Langversion (Split B) wurde die Nachfrage den Testpersonen aus Gruppe 3 (n = 122) gestellt. Auch hier gab es keine deutlichen Unterschiede in der Bewertung der Schwierigkeit zwischen den beiden Frageversionen. In Split A fanden zehn Testpersonen (8,1 %) die Beantwortung der Frage „eher schwer“ und zwei Testpersonen (1,6 %) „sehr schwer“. In Split B gaben elf Befragte (9,0 %) an, die Beantwortung der Frage sei ihnen „eher schwer“ gefallen und vier Personen (3,3 %), die Beantwortung sei ihnen „sehr schwer“ gefallen. Auch hier bezogen sich die Begründungen der Testpersonen nicht auf das Frageformat selbst, sondern auf die Sensitivität der Frage und das fehlende Wissen über die verschiedenen Einkünfte:

• „Ich gebe nicht gerne solche Details preis.“ (TP843)
• „Ich möchte darüber keine Auskunft erteilen.“ (TP858)
• „Da ich nicht genau weiß, wie viel jedes Familienmitglied verdient.“ (TP920)

Unterscheiden sich die Antwortzeiten zwischen den beiden Frageversionen?
Vor der Analyse der Antwortzeiten wurde für jede Fragebogenseite separat eine Ausreißerbereinigung gemäß den Empfehlungen von Höhne & Schlosser (2018) durchgeführt, d. h. der untere Schwellenwert wurde mit der Formel Q.50 – (3 x (Q.50 – Q.25)), der obere Schwellenwert mit der Formel Q.50 + (3 x (Q.75 – Q.50)) bestimmt. Befragte, welche die zweistufige Abfrage des Haushaltseinkommens erhalten hatten (Split A), benötigten zur Beantwortung der beiden Fragen mehr Zeit (M = 19.05, SD = 7.14, n = 202) als Befragte, welche die Langversion (Split B) erhalten hatten (M = 16.10, SD = 7.29, n = 221). Dieser Unterschied war statistisch signifikant (t (421) = 4.208, p < .001).

Soziodemographie

Haushaltsnettoeinkommen