Projekt „Der Einfluss der Methodik auf das Vertrauen in Umfrageergebnisse“ - Kognitiver Pretest

Zusammenfassung:

Heutzutage können dank des Internets und nicht zufallsbasierter Auswahlverfahren kostengünstig große Umfragen durchgeführt werden. Da Umfrageergebnisse oft in den Medien erscheinen und viel Aufmerksamkeit erhalten, besteht jedoch die Gefahr, dass nicht zufallsbasierte Auswahlverfahren ein verzerrtes Bild der öffentlichen Meinung vermitteln. Um diesem Problem entgegenzuwirken, wurde eine Intervention entwickelt, um Menschen darüber aufzuklären, wie die Auswahl der Teilnehmer und die Fallzahl die Qualität einer Umfrage beeinflussen können.
Ziel des Pretests war es, mit Hilfe von kognitiven Interviews zu überprüfen, welche Informationen über die Umfrage von den Testpersonen erinnert werden, und ob das Vertrauen der Testpersonen in das Umfrageergebnis von Informationen zur Bedeutung der Zufallsauswahl bei der Stichprobenziehung und/oder dem Politikerzitat zum Umfrageergebnis beeinflusst werden.

Die Pretestergebnisse zu diesem Projekt finden Sie in der PDF-Datei des Pretestberichts (s. Downloads). Da im Pretest hauptsächlich Informations- bzw. Einleitungstexte zu einer Frage getestet wurden, ist es nicht möglich (wie ansonsten üblich), die Ergebnisse auf Fragen- bzw. Itemebene in der Datenbank zu dokumentieren.

Zitation:

Hadler, P., Lenzner, T., Scholl, J., Finzer, M. & Neuert, C. (2023): Projekt „Der Einfluss der Methodik auf das Vertrauen in Umfrageergebnisse“. Kognitiver Pretest. GESIS – Leibniz-Institut für Sozialwissenschaften

DOI:

10.17173/pretest137

Anzahl Testpersonen:

30

Auswahl und Merkmale der Testpersonen:

Quotenauswahl.
Die Testpersonen wurden auf Basis der folgenden Quoten rekrutiert: Geschlecht (m/w) x Alter (18 – 39 Jahre/40+ Jahre) x Bildung (mit/ohne Hochschulzugangsberechtigung), wobei eine annähernde Gleichverteilung der Merkmale innerhalb der vier Experimentalgruppen angestrebt wurde. Jeweils zehn Personen erhielten die Frageversionen 1 und 2 und jeweils fünf Personen die Frageversionen 3 und 4. Die realisierte Stichprobe ist in Tabelle 1 auf Seite 6 im Pretest-Projektbericht dargestellt (s. Downloads).

Feldzeit des Pretests:

09/2023 - 10/2023

Anzahl der Testleiter:

3

Befragungsmodus:

PAPI

Pretestmodus:

CAPI

Vorgehensweise:

Die kognitiven Interviews wurden persönlich-mündlich durchgeführt und per Audioaufnahme aufgezeichnet. Die Interviewer*innen legten den Testpersonen zunächst die zu testende Frage (in einer der vier Experimentalversionen) auf Papier vor und baten sie, die Frage durchzulesen und zu beantworten. Die kognitiven Nachfragen wurden direkt nach der Beantwortung der Frage gestellt (s. kognitiver Leitfaden unter Downloads).

Testpersonenhonorar:

15 Euro (für ein insgesamt ca. 30minütiges Interview, an dessen Ende die in diesem Bericht dargestellten Frageversionen getestet wurden)

Projektbeschreibung:

Mithilfe des Internets und auf Basis von nicht zufallsbasierten Verfahren der Stichprobenziehung lassen sich heutzutage Umfragen mit großen Fallzahlen sehr kostengünstig realisieren. Da Umfrageergebnisse zugleich einen hohen Nachrichtenwert besitzen, werden immer mehr Umfrageergebnisse in den Medien veröffentlicht. Vor allem bei nicht zufallsbasierten Verfahren der Rekrutierung von Teil-nehmenden besteht jedoch die Gefahr, dass die veröffentlichten Umfrageergebnisse ein verzerrtes Bild der öffentlichen Meinung transportieren. Dies ist problematisch, da es der bisherige Forschungs-stand zumindest fraglich erscheinen lässt, dass die Mehrzahl der Rezipienten von Umfrageergebnissen in der Lage ist, die Qualität von Umfragen zu beurteilen. Vor diesem Hintergrund wurde eine Intervention entwickelt, in deren Rahmen Personen über die Rolle des Auswahlverfahrens (zufallsbasiert vs. nicht zufallsbasiert) und der Fallzahl für die Qualität einer Umfrage aufgeklärt werden. Diese Intervention soll im GESIS Panel implementiert werden. Dazu erhalten die Personen zunächst einen Informationstext, auf den eine fiktive Umfrage folgt. Deren Ergebnis wird zudem bei jeder zweiten Person von einem fiktiven Politiker interpretiert. Im Anschluss werden die Personen gebeten anzugeben, wie sehr sie dem Umfrageergebnis vertrauen.

Auftraggeber:

GESIS
Dr. Sven Stadtmüller