Fazit und Empfehlung Kognitive Interviews:
Insgesamt zeigte sich, dass die Variation der inhaltlichen Stimmigkeit durch die unterschiedlichen Kombinationen von Aspekten von den Testpersonen klar erkannt wurde. Dies spiegelte sich sowohl in den Bewertungen als auch in der kognitiven Bearbeitung der Szenarien wider. Die konsistente Vignette 1 wurde überwiegend als leicht verständlich und gut beurteilbar wahrgenommen, während die inkonsistente Vignette 2 deutlich häufiger als irritierend beschrieben wurde und den Testpersonen erheblich größere Schwierigkeiten bei der Antwortfindung bereitete.
Insbesondere die unrealistische Kombination von Merkmalsausprägungen in der inkonsistenten Vignette 2 führte zu einer erhöhten kognitiven Belastung. Die Befragten versuchten teilweise, die Inkonsistenzen innerhalb der Vignette „wegzurationalisieren“, indem zusätzliche, nicht in der Vignette enthaltene Annahmen eingeführt wurden (z. B. verdeckte Karrierewege). Dieses Verhalten deutet darauf hin, dass die Befragten bemüht waren, das Szenario kognitiv zu „reparieren“, um überhaupt zu einem Urteil zu gelangen.
„Wenn ich einen Hauptschulabschluss habe und dann aber so viel Qualifikation habe, dass ich dann wirklich Richterin sein könnte, dann muss ich ja viele Jahre damit verbracht haben, nochmal in Wissen zu investieren. Also Schule, was auch immer. Damit ich die Stelle bekomme.“ (TP06)
Dies birgt das Risiko, dass die Urteile nicht mehr ausschließlich auf den vorgegebenen Informationen beruhen oder das Vertrauen der Befragten in die Studie sinkt (sodass sie sich beispielsweise weniger auf die folgenden Vignetten einlassen). Für die Überarbeitung der Vignetten wird daher empfohlen, die Inkonsistenzen weniger extrem zu gestalten, um Irritation und kognitive Überforderung zu reduzieren. Ziel sollte es sein, die Plausibilität der Kombinationen zu erhöhen und zugleich die Mehrdimensionalität der Vignetten beizubehalten, um valide und vergleichbare Urteile auf Basis der in den Vignetten präsentierten Inhalte zu ermöglichen. Diese Entscheidung sollte aber im Lichte der zu prüfenden Hypothesen getroffen werden, da ein sogenanntes „incomplete factorial design“ die Analyseoptionen entsprechend einschränken kann.
Informationen zum faktoriellen Survey und Ziel der Testung (Kognitive Interviews):
Im Rahmen der kognitiven Interviews erhielten die Testpersonen insgesamt zwei Vignetten (Frage 12, Version 1 und Version 2), die verschiedene Status-Zukunftsszenarien ihres Kindes im Alter von 35 Jahren beschrieben. Bei beiden Vignetten sollten die Befragten ihre Zufriedenheit mit der dargestellten Situation angeben.
Die Vignetten unterschieden sich in drei Dimensionen: (1) erreichter Schulabschluss (Realschulabschluss vs. Hauptschulabschluss), (2) aktuell ausgeübter Beruf (Notfallsanitäter/in vs. Richter/in), (3) Einkommen in Relation zur Einkommensverteilung in Deutschland („ca. 50 % verdienen weniger“ vs. „ca. 80 % verdienen mehr“).
Die Testpersonen erhielten zunächst Version 1 der Frage, in der die Ausprägungen der drei Dimensionen zueinander passen, und im Anschluss Version 2 der Frage, in der dies nicht der Fall ist. Die Ziele der Testung bestanden darin, zu prüfen, welche Dimensionen die Befragten in ihren Antworten berücksichtigen und welche hierbei das größte Gewicht haben. Darüber hinaus sollte untersucht werden, wie leicht oder schwer es den Testpersonen fällt, sich in die beschriebenen Szenarien hineinzuversetzen und ob sie sie als stimmig oder eher irritierend wahrnehmen.
Befund Kognitive Interviews:
Alle Testpersonen beantworteten sowohl Version 1 als auch Version 2 der Frage; Item-Nonresponse trat nicht auf. Der Mittelwert der Zufriedenheitsurteile lag bei der inhaltlich stimmigen Vignette (Version 1) bei M = 7.4 (SD = 1.7) und bei der unstimmigen Vignette (Version 2) bei M = 5.8 (SD = 2.3). Wie Tabelle 17 zeigt, unterschieden sich die Bewertungen der beiden Vignetten damit im Durchschnitt um mehr als 1,5 Skalenpunkte. Die Testpersonen waren folglich mit dem konsistenten Szenario (Version 1) deutlich zufriedener als mit dem inkonsistenten Szenario (Version 2).
Welche Aspekte beziehen die Befragten in die Bewertung der Szenarien mit ein?
Version 1
Bei Version 1 der Frage zeigte sich, dass die Testpersonen bei der Beantwortung vor allem den genannten Beruf (Notfallsanitäter/in) (n = 21) und das Einkommen in Relation zur Einkommensverteilung in Deutschland („ca. 50 % verdienen weniger; n = 20) als relevante Bewertungsdimensionen heranzogen. Der angegebene Schulabschluss (Realschulabschluss) wurde von zehn Testpersonen genannt und spielte somit eine deutlich geringere Rolle:
Darüber hinaus bezogen einige Testpersonen (n = 6) zusätzliche, nicht explizit in den Vignetten genannte Aspekte in ihre Urteilsbildung ein, etwa die angenommene Zufriedenheit des Kindes mit der beschriebenen Situation oder andere Lebensumstände.
Die meisten Testpersonen (n = 18) gaben an, bei ihrer Antwort mehr als nur einen Aspekt berücksichtigt zu haben. Davon gewichtete die Mehrheit (n = 11) einzelne Aspekte in ihrem Urteil stärker als andere. Der Beruf wurde dabei am häufigsten (n = 8) als das wichtigste Kriterium für die Entscheidungsfindung genannt.
Insgesamt deuten die Ergebnisse darauf hin, dass die Befragten die Vignette wie intendiert multidimensional verarbeiten, wobei insbesondere dem Beruf und dem Einkommen eine zentrale Bedeutung für die Urteilsbildung zukommt, während der Schulabschluss eine vergleichsweise nachgeordnete Rolle spielt.
Version 2
Bei Version 2 der Frage zeigte sich, dass drei Viertel (n = 18) der Testpersonen bei der Beantwortung das Einkommen in Relation zur Einkommensverteilung in Deutschland („ca. 80 % verdienen mehr“) und über die Hälfte (n = 13) den beschriebenen Beruf (Richter/in) als relevante Bewertungskriterien heranzogen. Der erreichte Schulabschluss (Hauptschulabschluss) spielte, ähnlich wie in Szenario 1, nur für zehn Testpersonen eine Rolle.
Ähnlich wie bei Version 1 bezogen wenige Testpersonen (n = 2) zusätzlich die angenommene Zufriedenheit des Kindes mit der beschriebenen Situation in ihre Urteilsbildung ein.
Im Gegensatz zu Version 1 bezogen bei Version 2 deutlich weniger Befragte mehrere Aspekte gleichzeitig in ihre Bewertung ein: Nur etwas mehr als die Hälfte der Testpersonen (n = 13) nannte zwei oder mehr Aspekte. Von diesen Testpersonen gaben zwei Drittel (n = 9) an, die Aspekte unterschiedlich gewichtet zu haben. Als wichtigstes Kriterium für die Entscheidungsfindung wurde dabei zumeist das Einkommen genannt (n = 5).
Insgesamt deutet dieses Muster darauf hin, dass die inkonsistente Version 2 von den Befragten stärker selektiv und weniger multidimensional verarbeitet wurde als die konsistente Version 1, wobei insbesondere das Einkommen als dominantes Orientierungsmerkmal für die Bewertung fungierte.
Haben die Testpersonen Schwierigkeiten, sich in die Szenarien hineinzuversetzen?
Für die inhaltlich stimmige Vignette 1 (Frage 12, Version 1) gaben drei Viertel der Testpersonen (n = 18) an, dass es ihnen „sehr leicht“ oder „eher leicht“ gefallen sei, sich in das beschriebene Szenario hineinzuversetzen. Die restlichen Testpersonen bewerteten dies als „eher schwer“ (n = 4). Die Begründungen für die wahrgenommene Schwierigkeit fielen dabei sehr heterogen aus und folgten keinem klar erkennbaren inhaltlichen Muster, was darauf hindeutet, dass die Einschätzung primär auf individuellen Vorstellungen und Erfahrungen beruhte und nicht auf systematische Probleme der Vignettengestaltung zurückzuführen ist.
Für die inhaltlich nicht stimmige Vignette 2 (Frage 12, Version 2) zeigte sich dagegen ein deutlich anderes Bild. Nur etwa ein Fünftel der Testpersonen (n = 5) empfand es als „sehr leicht“ oder „eher leicht“, sich in dieses Szenario hineinzuversetzen, während die große Mehrheit (n = 19) angab, dies als „sehr schwer“ oder „eher schwer“ empfunden zu haben. Als mit Abstand häufigster Grund dafür wurde die Unstimmigkeit der im Szenario kombinierten Aspekte genannt (78,9 %).
In Übereinstimmung damit wurde Vignette 2 von der Mehrheit der Testpersonen (n = 20) als irritierend beschrieben. In den Erläuterungen wurde vor allem die mangelnde Passung zwischen einzelnen Aspekten thematisiert. In den meisten Fällen gaben die Befragten (n = 13) an, dass sie sowohl die Kombination aus Schulabschluss (Hauptschulabschluss) und genanntem Beruf (Richter/in) als auch die Kombination aus Beruf und der beschriebenen Einkommensposition („ca. 80 % verdienen mehr“) als irritierend oder widersprüchlich empfunden hätten.
In wenigen Fällen nannten Testpersonen nur die Kombination aus Beruf und Einkommenssituation (n = 5) oder nur die Kombination aus Schulabschluss und Beruf (n = 2) als irritierend.
Insgesamt bestätigen diese Befunde, dass die Inkonsistenz der zweiten Vignette von der großen Mehrheit der Befragten klar erkannt und als kognitiv belastend sowie irritierend wahrgenommen wurde, während die erste Vignette überwiegend als gut nachvollziehbar und leicht zugänglich eingeschätzt wurde.