Optimizing Probing Procedures for
Cross-National Web Surveys
(CICOM 2)
Fragetext:Es gibt unterschiedliche Ansichten über die Rechte der Menschen in einer Demokratie.
Wie wichtig sind für Sie folgende Rechte der Menschen in einer Demokratie?
Instruktionen:(Bitte machen Sie in jeder Zeile ein Kreuz.)
Befund zur Multi-Item-Skala:Eine Testperson (TP 14) äußert spontan ihre Verwirrung darüber, dass die Antwortskala nun mit dem
negativen Pol („überhaupt nicht wichtig“) beginnt („Jetzt hätte ich es beinahe vorne angekreuzt!“). Bei
allen vorherigen Fragen beginnen die Antwortskalen mit dem positiven Pol (z.B. „stimme voll und ganz
zu“).
Systematisch getestet wurden die Items a), b) und f). Zu den anderen Items liegen – wenn überhaupt –
nur spontane Reaktionen der Testpersonen vor.
Empfehlungen zur Multi-Item-Skala:Frage belassen.
Eingesetzte kognitive Technik/en:Comprehension Probing, Specific Probing, Category Selection Probing.
Items
Itemtext
Item getestet
Dass alle Bürger einen ausreichenden Lebensstandard haben.
Itemtext:Dass alle Bürger einen ausreichenden Lebensstandard haben.
Empfehlungen:Item belassen.
Befund zum Item:Dieses Item wird überwiegend als wichtig bzw. sehr wichtig eingestuft.
Zwölf Testpersonen verstehen unter einem „ausreichenden Lebensstandard“ die Befriedigung von
Grundbedürfnissen, wie ein Dach über dem Kopf und ausreichend Nahrungsmittel zu haben. Neben
diesen zwei Hauptmerkmalen nennen die zwölf Testpersonen weitere Bedürfnisse wie eine ausreichende
medizinische Versorgung (3 Nennungen), Teilhabe am gesellschaftlichen Leben (2 Nennungen),
Zugang zu Bildung (und Arbeit) (2 Nennungen) und Informationsmöglichkeiten, Geld für Kindergarten/
Schülerhort, Job, Dinge des alltäglichen Gebrauchs wie Duschgel (jeweils eine Nennung).
Vier Testpersonen denken explizit an Sozialleistungen (Grundsicherung, Hartz IV, Arbeitslosengeld bzw.
daran, dass dadurch gewährleistet wird, dass keiner hungern, frieren oder auf der Straße leben muss
(TP 04, TP 08, TP 13, TP 17).
Zwei Testpersonen verstehen unter „ausreichendem Lebensstandard“ nicht nur die Befriedigung der
Grundbedürfnisse, sondern sich auch etwas leisten zu können, zu sparen und in den Urlaub fahren zu
können (TP 07, TP 17).
Testperson 02 definiert einen „ausreichenden Lebensstandard“ als „dass genügend Geld da ist, dass
man so viel verdient, um eine 4-köpfige Familie zu versorgen“ und auch Testperson 20 denkt an eigene
Leistung: „dass jemand durch eigenes Arbeitseinkommen oder Rente so viel hat, dass er gut leben kann
ohne Sozialleistungen/-hilfe zu brauchen“.
Thema der Frage:Politik/ Einstellungen, Bewertungen & Ideologien
Konstrukt:Wichtigkeit verschiedener Rechte der Menschen in einer Demokratie
Ja
Dass Staat und Behörden die Rechte von Minderheiten achten und schützen.
Itemtext:Dass Staat und Behörden die Rechte von Minderheiten achten und schützen.
Empfehlungen:Item belassen.
Befund zum Item:Auch dieses Item wird überwiegend als wichtig bzw. sehr wichtig eingestuft.
Testperson 02 versteht den Begriff „Minderheiten“ nicht und entscheidet sich dementsprechend für die
Antwortkategorie „kann ich nicht sagen“.
Testperson 04 verortet sich in der Mitte der Skala, was möglicherweise darin begründet liegt, dass sie
beim Begriff „Minderheiten“ spontan an Obdachlose und Arbeitslose denkt, also Personengruppen,
deren Zugehörigkeit zur Minderheit eventuell selbstverschuldet ist.
Alle anderen Testpersonen stufen dieses Recht als „eher wichtig“ oder „sehr wichtig“ ein. Sechs der
Testpersonen geben an, ganz allgemein an Minderheiten gedacht zu haben. Die übrigen Testpersonen
geben an, an folgende „Minderheiten“ gedacht zu haben: Menschen mit Behinderung (8 Nennungen),
in Deutschland lebende Ausländer/Personen mit Migrationshintergrund (5 Nennungen), Zuwanderer (3
Nennungen), Alte (3 Nennungen), Homosexuelle (3 Nennungen), Religiöse Minderheiten (2 Nennungen),
Obdachlose (2 Nennungen), Arbeitslose (1 Nennung) (mehrere Nennungen pro Testperson möglich).
Thema der Frage:Politik/ Einstellungen, Bewertungen & Ideologien
Konstrukt:Wichtigkeit verschiedener Rechte der Menschen in einer Demokratie
Ja
Dass Staat und Behörden alle gleich behandeln, unabhängig von ihrer gesellschaftlichen Position.
Nein
Dass Politiker die Ansichten der Bürger bei Entscheidungen berücksichtigen.
Nein
Dass man den Menschen mehr Möglichkeiten gibt an politischen Entscheidungen teilzuhaben.
Itemtext:Dass man den Menschen mehr Möglichkeiten gibt an politischen Entscheidungen teilzuhaben.
Empfehlungen:Umformulieren in: „Dass man den Menschen ausreichend Möglichkeiten gibt, an politischen
Entscheidungen teilzuhaben.“
Befund zum Item:Testperson 06 ist unklar, ob mit „mehr Möglichkeiten“ gemeint ist, dass man mehr Möglichkeiten hat
als bisher oder ob damit gemeint ist, dass man verschiedene Möglichkeiten hat. Diese Testperson (TP
06) interpretiert es in Richtung „verschiedene Möglichkeiten“. Auch Testperson 19 hat Probleme mit
dem Begriff „mehr Möglichkeiten“. Ihrer Meinung nach seien die derzeitigen Möglichkeiten, an politischen
Entscheidungen teilzunehmen, ausreichend. Dieses Item als „(überhaupt) nicht wichtig“ einzustufen
sei jedoch auch keine Option, da dies so wirken würde, als gebe es schon zu viele Möglichkeiten
der Partizipation und als sollten diese eingeschränkt werden. Daher antwortet die Testperson mit „kann
ich nicht sagen“.
Thema der Frage:Politik/ Einstellungen, Bewertungen & Ideologien
Konstrukt:Wichtigkeit verschiedener Rechte der Menschen in einer Demokratie
Ja
Dass Bürger die Möglichkeit des zivilen Ungehorsams gegenüber Regierungsentscheidungen haben.
Itemtext:Dass Bürger die Möglichkeit des zivilen Ungehorsams gegenüber Regierungsentscheidungen haben.
Empfehlungen:Umformulieren in: „Dass Bürger die Möglichkeit haben gewaltlos Gesetze und Anordnungen
zu missachten, z.B. durch Steuerverweigerung, Sitzstreik, Generalstreik, Besetzung von Land
oder Häusern, und Sit-ins an verbotenen Orten.“ (s. Definition von Theodor Ebert).
Oder:
„Dass Bürger die Möglichkeit des gewaltlosen Protests gegenüber Regierungsentscheidungen
haben.“
Befund zum Item:Beim Beantworten der Aussage f) „Dass Bürger die Möglichkeit des zivilen Ungehorsams gegenüber
Regierungsentscheidungen haben“ äußern acht Testpersonen spontan Verständnisschwierigkeiten mit
dem Begriff des zivilen Ungehorsams:
„Ich kann für mich „zivilen Ungehorsam“ nicht definieren. Was das ist? Was man da macht?
Ob damit einfach Demonstrationen gemeint sind oder halt wirklich Krawalle und Gewalt. Der
Begriff ist jetzt einfach nicht klar.“ (TP 01)
„Des „zivilen Ungehorsams“? Was meinen die damit?“ (TP 03)
„Was soll die Frage f) bedeuten? Was soll da der zivile Ungehorsam darstellen?“ (TP 08)
„Was ist ziviler Ungehorsam? Ist das so etwas wie Streik oder Demonstrationen? Ich hätte das
mit einer Demonstration gleichgesetzt.“ (TP 10)
„Was bitte schön ist ziviler Ungehorsam?“ (TP 17)
Auf die erste Nachfrage geben vier weitere Testpersonen Verständnisschwierigkeiten mit dem Begriff
an:
„Ungehorsam, das hieß es ja früher von den Eltern immer, wenn man frech war oder so. Aber
so, da weiß ich nicht, was damit gemeint ist. Da verstehe ich die ganze Frage irgendwie gar
nicht.“ (TP 04)
„Wusste ich nicht genau, was gemeint ist, ob das jetzt Demonstrationen sind, oder ob das
jetzt schon so in die Straftaten übergeht, was weiß ich, z.B. Plakate zerstören oder weiß ich
nicht, irgendwelche körperlichen Übergriffe auf Leute, die anderer Meinung sind. Deswegen
habe ich da jetzt erst einmal kann ich nicht sagen, angekreuzt.“ (TP 06)
„Ich kann jetzt nicht genau sagen, was das ist. Ich hatte jetzt nur so eine Idee im Kopf, dass
man sich praktisch gegen Gesetze auflehnt, jetzt nicht im kriminellen Sinn, sondern z.B. protestiert.“
(TP 07)
„Wenn „ziviler Ungehorsam“ so gemeint wäre, dass man Gesetze einfach nicht beachtet und
anders handelt, dann finde ich das gar nicht wichtig, das sollte man nicht. „Ziviler Ungehorsam“
jetzt so definiert, dass man das Recht hat gegen Ungerechtigkeiten vor Gericht zu gehen
oder man sich auf rechtlichem Weg gegen Gesetze wehren kann, die man für falsch hält,
dann ist es richtig. Da bin ich ein bisschen im Zweifel, was ziviler Ungehorsam heißt.“ (TP
20)
Von den zwölf Testpersonen, die angeben, Probleme mit dem Verständnis der Aussage f) zu haben,
entscheidet sich die Hälfte für die Antwortkategorie „kann ich nicht sagen“, drei für die mittlere Kategorie
und drei Testpersonen für „eher wichtig“ bis „sehr wichtig“. Die Testpersonen, die mit „kann ich
nicht sagen“ antworten, begründen ihre Antwort damit, dass sie nicht wüssten, was der Begriff „ziviler
Ungehorsam“ bedeute (drei TPs) oder dass ihnen nicht klar sei, ob der Begriff sich nur auf gewaltlosen
Ungehorsam beschränke oder auch gewalttätigen Widerstand miteinschließe (drei TPs).
Die drei Testpersonen, die sich für „eher wichtig“ bis „sehr wichtig“ entschieden haben, verbinden den
Begriff vor allem mit Demonstrationen. Begründet wird ihre Antwort damit, dass es wichtig sei, ein
Recht auf freie Meinungsäußerung zu haben und damit verbunden das Recht auf die Straße zu gehen,
um gegen Regierungsentscheidungen zu demonstrieren. Dennoch bleibt bei TP 08 und TP 10 die Unsicherheit,
ob Demonstrationen zu „zivilem Ungehorsam“ gehören:
„Da habe ich mir noch nie etwas dazu gedacht. Ich würde vielleicht als erstes noch an eine
Demonstration denken. Aber ich denke nicht, dass das der zivile Ungehorsam darstellen soll,
oder?“ (TP 08)
„ Was wäre denn noch ziviler Ungehorsam? Ja, nicht zur Wahl gehen ist kein Ungehorsam,
das ist unser gutes Recht. Auf der anderen Seite, wir haben auch das Recht zu demonstrieren.
Ist das dann noch ziviler Ungehorsam? Der Begriff ist schwer. Das sollte man vielleicht spezifizieren,
beziehungsweise einen anderen Begriff dafür finden, damit das klarer wird.“ (TP 10)
Acht Testpersonen beantworten die Frage ohne offensichtliche Probleme. Allerdings verbinden die
Testpersonen sehr unterschiedliche Dinge mit „zivilem Ungehorsam“. Am häufigsten werden Demonstrationen
genannt (6 Nennungen), hinzu kommen Randale und gewaltsame Ausschreitungen (2 Nennungen),
Flugblätter verteilen (2 Nennungen), sich vor Gericht Recht erstreiten, Nichtbefolgung von
Gesetzen, Petitionen einreichen, Streiken, sich an Bahngleisen festketten (jeweils eine Nennung).
Thema der Frage:Politik/ Einstellungen, Bewertungen & Ideologien
Konstrukt:Wichtigkeit verschiedener Rechte der Menschen in einer Demokratie