Die Fragen zu den idealen Arbeitszeiten von Müttern und Vätern zeigten in beiden Versionen Probleme. Zunächst ist festzuhalten, dass in beiden Frageversionen knapp 13% der Testpersonen die meisten Felder offenließen oder unsinnige Zahlenkombinationen eintrugen. Dies deutet auf einen hohen wahrgenommenen Aufwand seitens der Befragten hin.
Doch auch den Testpersonen, die die Surveyfragen und kognitiven Nachfragen motiviert beantworteten, unterliefen offenkundig Fehler beim Antworten. In Einzelfällen wurde die Anzahl der Stunden pro Tag anstatt pro Woche eingetragen. In Version 1 kam es häufig zu einem inkonsistenten Antwortverhalten zwischen den Fragen 2 und 3, das sich nur durch ein falsches Verständnis der Fragestellung erklären lässt.
Die Version 1 wurde bereits von FReDA in der Feldarbeit eingesetzt, ohne dass die im Pretest gefundenen Inkonsistenzen zwischen den Fragen 2 und 3 auftraten. Dies könnte eine Folge der unterschiedlichen Zusammensetzungen der beiden Samples sein. Eine andere mögliche Erklärung wäre, dass vorangegangene Fragen in der Erhebung von FReDA dazu beitrugen, dass die Befragten eine größere Aufmerksamkeit für die Familienkonstellation in Frage 2 zeigten. Dennoch bleibt festzuhalten, dass im Rahmen des Pretests motivierte Testpersonen, die ihre Antworten teils detailliert begründeten, nicht in der Lage waren, die Surveyfragen so zu beantworten, dass sie ihre Meinung widerspiegelten.
Unabhängig von der Frageversion gaben viele Testpersonen auf Nachfrage an, dass sie die Fragen als anstrengend und die Anzahl an geforderten Antworten als lästig empfanden. Insbesondere Testpersonen, die aktuell Beruf und Familie nicht vereinbaren müssen, taten sich schwer, eine Antwort zu geben. Die Mehrheit der Testpersonen gab an, dass sie geschlossene Antwortkategorien bevorzugt hätte.
Wenn Version 1 beibehalten werden soll, empfehlen wir, den Hinweis, dass es sich um ein zweijähriges Kind handelt, im Fragetext optisch hervorzuheben, oder sogar zusammen mit dem Elternteil vor die Antwortfelder einzutragen:
Mutter, deren jüngstes Kind zwei Jahre alt ist
Stunden pro Woche: [ANTWORT]
Version 2 hat den Vorteil, dass die Befragten das steigende Alter des Kindes jederzeit vor Augen haben. Dennoch birgt auch diese Version einen Nachteil, da zunächst nur die idealen Arbeitszeiten für die Mutter eingetragen werden, ohne einen Hinweis, dass man diese danach auch für den Vater einträgt. Diese Form der Darstellung ruft möglichweise bei einigen Befragten die Vorstellung hervor, dass es darum gehe, wie viele Stunden eine Mutter, die haupt- oder alleinverantwortlich für ihre Kinder ist, arbeiten kann, und drängt die Option einer egalitären partnerschaftlichen Aufteilung als Ideal in den Hintergrund. Sofern das Ziel der Frage darin besteht, die ideale Aufteilung von Arbeitsstunden unter beiden Elternteilen in einer heterosexuellen Konstellation aufzuzeigen, sollten die Einträge für beide Elternteile auf einer Seite stattfinden oder im Fragetext darauf hingewiesen werden, dass zunächst die Abfrage zur Arbeitszeit der Mutter und anschließend des Vaters erfolgt. Sollte das Ziel der Fragen sein, dass Befragte sowohl den Vergleich der Elternteile als auch der Altersstufen zugleich anfertigen, sollten beide Perspektiven auf einer Surveyseite sichtbar sein.
Ziel der Testung:
Ziel der kognitiven Nachfragen war es herauszufinden, wie die Befragten zu ihren Antworten kommen und ob sich dies nach Frageversion unterscheidet. Für Version 1 sollte untersucht werden, ob die Befragten davon irritiert sind, dass sie die idealen Arbeitsstunden der Eltern zunächst im Vergleich und danach einzeln für jedes Elternteil beantworten sollen. Zudem sollte untersucht werden, ob die Befragten sich davon ermüdet zeigen, so viele offene numerische Angaben zu machen.
Befund:
Von den 244 Testpersonen ließen 31 Befragte einzelne Antwortfelder unausgefüllt oder gaben unsinnige Antwortkombinationen, die sie in Antwort auf die kognitiven Nachfragen nicht erläuterten. Typische Antwortmuster dieser Art waren alle oder viele Felder freizulassen oder mit „0“ zu befüllen, absteigende Zahlen einzutragen ohne Erläuterungen dazu zu geben oder willkürlich anmutende Zahlen, bspw. die Zahlen von 1 bis 5 oder 5 bis 1 in die Antwortfelder einzutragen. Der Anteil an Nonresponse unterschied sich nicht statistisch signifikant zwischen den Versionen (Version 1: n = 17; 13,7 %; Version 2: n = 14; 11,7 %).
Tabelle 5 zeigt die durchschnittlich angegebene ideale Anzahl an Arbeitsstunden pro Woche der verbleibenden 213 Testpersonen für Mütter und Väter und für die beiden Frageversionen. Die Übersicht der Mittelwerte zeigt zwei Auffälligkeiten:
Eine nähere Untersuchung der idealen Arbeitsstunden für Eltern eines zweijährigen Kindes zeigt, dass Testpersonen in Version 2 häufiger angaben, dass die Mutter überhaupt nicht arbeiten solle, während sie in Version 1 häufiger angaben, dass die Mutter weniger Stunden als der Vater oder dass beide Eltern gleich viele Stunden arbeiten sollten (siehe Tabelle 6). Die Häufigkeitsverteilung der Arbeitsstunden von Eltern eines zweijährigen Kindes unterschied sich statistisch signifikant zwischen den Frageversionen (Chi2(5) = 24.721, p < .001).
Wie kommt es zum unterschiedlichen Antwortverhalten zwischen den beiden Frageversionen?
Es kommen zwei mögliche Ursachen für das unterschiedliche Antwortverhalten in Bezug auf die idealen Arbeitszeiten von Eltern eines zweijährigen Kindes zwischen den Versionen in Frage:
Im Rahmen dieses Berichts wurden die Antworten auf die kognitiven Nachfragen vor allem dahingehend ausgewertet, die Qualität des Antwortverhaltens zu beurteilen und Differenzen im Antwortverhalten zwischen den Frageversionen zu erklären.
Passen die Antworten auf die Surveyfragen zu den Antworten auf die kognitiven Nachfragen?
Die Antworten auf die kognitiven Nachfragen zeugten von zwei Fehlern, die beim Beantworten der Frage(n) auftraten:
Die Auswertung der offenen Angaben gibt Hinweise darauf, dass der Wechsel im Frageformat zwischen den Fragen 2 und 3 in Version 1 von vielen Befragten nicht richtig erfasst wird. Eine mögliche Erklärung für dieses Antwortverhalten wäre, dass die Befragten den Hinweis, dass es sich um ein zweijähriges Kind handelt, überlesen haben, da dies nicht optisch hervorgehoben wurde, und sie Frage 2 so verstanden, dass sie von einem Paar mit einem Kind unbekannten Alters handele. Zu dieser Erklärung passt, dass etwa ein Drittel der Befragten (35,2 %; n = 51) in Version 1 angab, dass der unterschiedliche Aufbau der Fragen 2 und 3 sie stark oder zumindest etwas irritierte.
Äußern die Befragten Probleme mit dem Beantworten der Fragen oder zeigen sie auf andere Weise Irritation?
Etwa ein Drittel der Testpersonen gab an, dass sie die hohe Anzahl an Antworten, die von ihnen verlangt wurde, als sehr (6,1 %; n = 13) oder etwas (27,2 %; n = 58) störend bzw. lästig empfanden. Diese Einschätzung unterschied sich nicht nach Frageversion (Chi2(2) = .073, p = .964).
Eine knappe Mehrheit der Testpersonen (n = 130; 53,3 %) gab an, dass sie Kategorien wie „Vollzeit“, „Teilzeit“ oder „Gar nicht“ als hilfreich empfunden hätten. Auch diese Einschätzung unterschied sich nicht nach Frageversion (Chi2(1) = .281, p = .596).
Etwas mehr als ein Fünftel (23,4 %; n = 57) der Befragten gab an, dass ihnen die Fragen eher oder sehr schwer zu beantworten fielen, wobei es keinen Unterschied nach Frageversion gab (Chi2(3) = 4.993, p = .172). Die beiden am häufigsten genannten Gründe waren, dass den Befragten der persönliche Bezug zu der Situation fehle (bspw., weil sie keine Kinder haben oder nicht erwerbstätig sind) (n = 21) und es keine allgemeingültige Antwort auf die Fragen gäbe, sondern sich die idealen Arbeitszeiten nach der persönlichen Situation und den Bedürfnissen einer Familie richte (n = 15).
Mehrere Testpersonen erläuterten zudem, dass sie sich zwar auf eine „klassische“ Stundenaufteilung beim Antworten festgelegt hatten, die Verteilung der Stunden auf die Elternteile aber auch andersherum oder völlig anders sein könne und es eher auf die Gesamtanzahl an Stunden ankäme.
Zuletzt erwähnten sechs Testpersonen, dass es ihnen einfacher gefallen wäre, anhand geschlossener Antwortoptionen zu antworten, vor allem, weil sie unsicher waren, wie sie Voll- oder Teilzeit in Stunden ausdrücken sollten („Es wäre hilfreich gewesen, Regelstundenzeiten für Vollzeit und Teilzeit zu haben.“, TP995, Version 2)
