Optimizing Probing Procedures for Cross-National Web Surveys (CICOM 2)

Question Text:

Wie stolz sind Sie auf Deutschland hinsichtlich…

Instruction:

(Bitte machen Sie in jeder Zeile ein Kreuz.)

Answer Categories:

Sehr stolz
Eher stolz
Nicht sehr stolz
Überhaupt nicht stolz
Kann ich nicht sagen
Testperson 03 widerstrebt der Begriff „stolz“ in dieser Frage („Wegen dem Wort „stolz“ tendiere ich jetzt dazu, überall „überhaupt nicht stolz“ anzukreuzen. Das Wort „stolz“ das stinkt, das ist irgendwie braun für mich.“). Aus diesem Grund beantwortet die Testperson jedes der zehn Items entweder mit „nicht sehr stolz“ oder mit „überhaupt nicht stolz“, wobei die Wahl der Antwortkategorien folgendermaßen erklärt wird:
  • „Das Wort „stolz“ das macht mir den ganzen Bogen kaputt. […] Also bei den Sachen, bei denen ich jetzt „nicht sehr stolz“ angekreuzt habe, da gibt es teilweise schon Dinge, die gut sind. Aber die machen mich nicht stolz!“ (TP 03)
Testperson 10 stößt sich an dem Wort „stolz“, da sie mit diesem Begriff eigene Leistungen verbindet, auf die man stolz sein könne. Daher fällt ihr die Beantwortung der gesamten Fragenbatterie sehr schwer. Abgesehen von Item c) und d) gelingt ihr eine Beantwortung, die beiden genannten Items lässt sie unbeantwortet („Das sind Dinge, an denen hat man relativ wenig Anteil… Ich finde das schwer“). Aus dem gleichen Grund kritisiert auch TP 11 die Formulierung der Frage:
  • „Was mich gestört hat, ist der „Stolz“-Begriff. Ich würde eher sagen „sehr gut“ oder „eher gut“. Stolz hängt mehr mit persönlichen Leistungen zusammen.“ (TP 11)
Auch Testperson 19 sagt bei der Beantwortung der Items c) und f): „Normalerweise kann ich ja nur stolz auf etwas sein, bei dem ich mich selbst mit einbringe/dass ich selbst geleistet habe“. Die Formulierung wird ebenfalls von TP 13 und TP 18 kritisiert. TP 13 sagt bei Item a):
  • „Stolz darauf, die Wortwahl gefällt mir eigentlich nicht, muss ich sagen. Ob ich damit einverstanden bin, wie das funktioniert, würde ich sagen, ja. Da bin ich einverstanden, wie die Demokratie funktioniert.“
Testperson 18 ist der Meinung, dass „stolz“ hier nicht „passt“ und schlägt eine alternative Formulierung vor: „Wie zufrieden sind Sie mit Deutschland hinsichtlich…“. Diese Formulierung wird von TP 18 auch bei der Beantwortung der gesamten Item-Batterie zugrunde gelegt. TP 15 ist der Meinung, dass man auf Deutschland nicht stolz sein könne.

Zusammenfassend lässt sich feststellen, dass der gesamten Fragenbatterie unterschiedliche Beurteilungsskalen (Zufriedenheit, Bewertung, Funktionsfähigkeit…) seitens der Testpersonen zugrunde gelegt werden.

Cognitive Techniques:

Category Selection Probing, Specific Probing.
Item Text Actively tested

Item Text:

der Art und Weise, wie die Demokratie funktioniert?

Recommendations:

Item belassen.
Ja

Item Text:

Deutschlands politischen Einfluss in der Welt?

Recommendations:

Item belassen.
Ja

Item Text:

der wirtschaftlichen Erfolge?

Recommendations:

Item belassen.
Ja

Item Text:

der sozialstaatlichen Leistungen?

Recommendations:

Item belassen.
Ja

Item Text:

der wissenschaftlichen und technologischen Leistungen?

Recommendations:

Item belassen.
Ja

Item Text:

der sportlichen Erfolge?

Recommendations:

Item belassen oder „Leistungen deutscher Sportler“, um zu verdeutlichen, dass es nicht um den eigenen Anteil der Testpersonen geht.
Ja

Item Text:

der Leistungen in Kunst und Literatur?

Recommendations:

Item belassen.
Ja

Item Text:

der deutschen Streitkräfte?

Recommendations:

Hinsichtlich der letzten drei Items (h – j) fällt auf, dass der Anteil der „kann ich nicht sagen“- Antwort im Vergleich zu den vorhergehenden Items verhältnismäßig hoch ist (~1/3). Die Auswertung der kognitiven Interviews zeigt, dass die Items zu unspezifisch formuliert sind.

Der Begriff „Streitkräfte“ sollte durch „Bundeswehr“ ersetzt werden und es sollte verdeutlicht werden, worauf sich die Frage im Einzelnen bezieht (Geht es um den Umstand, dass es die Bundeswehr überhaupt gibt oder um die von ihr wahrzunehmenden Aufgaben, bspw. Auslandseinsätze oder Inlandseinsätze?).
Ja

Item Text:

der deutschen Geschichte?

Recommendations:

Hinsichtlich der letzten drei Items (h – j) fällt auf, dass der Anteil der „kann ich nicht sagen“- Antwort im Vergleich zu den vorhergehenden Items verhältnismäßig hoch ist (~1/3). Die Auswertung der kognitiven Interviews zeigt, dass die Items zu unspezifisch formuliert sind.

Der zeitliche Rahmen ist zu ungenau und müsste spezifiziert werden. Aufgrund der nationalsozialistischen Vergangenheit Deutschlands wird nahezu ausnahmslos diese Epoche beim Beantworten berücksichtigt. Dies führt dazu, dass die Antworten hinsichtlich des Stolzes auf die deutsche Geschichte auffallend negativ ausfallen.
Ja

Item Text:

der gerechten und gleichen Behandlung aller gesellschaftlichen Gruppen?

Recommendations:

Hinsichtlich der letzten drei Items (h – j) fällt auf, dass der Anteil der „kann ich nicht sagen“- Antwort im Vergleich zu den vorhergehenden Items verhältnismäßig hoch ist (~1/3). Die Auswertung der kognitiven Interviews zeigt, dass die Items zu unspezifisch formuliert sind.

Möglicherweise umformulieren: „…der gerechten und gleichen Behandlung aller Menschen?“
Ja