Demographische Standards - Kognitiver Pretest
Zusammenfassung:
Die demographischen Standards, eine gemeinsame Empfehlung von ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V., der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e.V. (ASI) und des Statistischen Bundesamtes, dienen der Vereinheitlichung der Erhebungsinstrumente sozio-demographischer Merkmale von Befragten in Umfragen.
Gegenstand dieses Pretests sind die Fragen 1 bis 12A der demographischen Standards, welche u.a. die Merkmale Alter, Geschlecht, Staatsangehörigkeit, Familienstand, Schul- und Berufsabschluss und Erwerbsstatus erfassen.
Getestet wurden die Fragen mittels kognitiver Interviews in vier Befragungsmodi: persönlich-mündlich, schriftlich, telefonisch und als Online-Fragebogen.
Zitation:
Lenzner, T., Hadler, P., Neuert, C., Klingler, M., Wolf, M., & Sarafoglou, A. (2019): Demographische Standards. Kognitiver Pretest. GESIS – Leibniz-Institut für Sozialwissenschaften
DOI:
Anzahl Testpersonen:
60 (15 Testpersonen pro Modus)
Auswahl und Merkmale der Testpersonen:
Kreuzquoten innerhalb der Modi nach: Geschlecht (m/w) x Alter (18-29, 30-59, 60+) x Bildung (mit/ohne Hochschulzugangsberechtigung) = 2 x 3 x 2 Gruppen.
Es wurden immer 12 Testpersonen rekrutiert, um jede Zelle mit einer Person zu füllen; zusätzlich wurde eine 13. Person rekrutiert.
Zwei weitere Testpersonen, jeweils eine Frau und ein Mann, pro Modus sollten Migrationshintergrund haben; für diese Personen gab es keine weiteren Anforderungen an die Demographie.
Die geplanten Quoten konnten bis auf wenige Ausnahmen realisiert werden:
- Im telefonischen Modus wurden drei statt einem Studierenden rekrutiert sowie keine weibliche Testperson mit Migrationshintergrund.
- Im Online-Modus wurden ebenfalls drei statt einem Studierenden rekrutiert sowie keine nichterwerbstätige Testperson.
Feldzeit des Pretests:
06/2018 - 05/2019
Anzahl der Testleiter:
3
Im GESIS-Pretestlabor durchgeführte Tests (Videoaufnahme):
45
Telefonisch (bzw. extern) durchgeführte Tests (Audioaufnahme):
15
Befragungsmodus:
CAPI, PAPI, CATI, CAWI
Pretestmodus:
CAPI, CATI
Vorgehensweise:
Persönlich-mündlicher Modus (CAPI): Die Interviews wurden
im GESIS-Pretestlabor durchgeführt. Die kognitiven Nachfragen wurden dabei immer direkt nach den einzelnen Fragen gestellt (concurrent probing).
Schriftlicher Modus (PAPI): Die Interviews wurden im GESISPretestlabor durchgeführt. Die Fragen wurden den Testpersonen einzeln bzw. in thematischen Blöcken zur Beantwortung
vorgelegt. Die kognitiven Nachfragen wurden immer direkt
nach den einzelnen Fragen bzw. Blöcken von Fragen gestellt
(concurrent probing).
Online-Modus (CAWI): Die Interviews wurden im GESIS Pretestlabor durchgeführt. Die Testpersonen wurden zunächst
gebeten, alle Fragen am Computer zu beantworten. Währenddessen wurden ihre Blickbewegungen aufgezeichnet (Eyetracking) und Auffälligkeiten, die auf Schwierigkeiten oder Probleme bei der Beantwortung hinwiesen, von den Interviewern
notiert. Im Anschluss wurden die kognitiven Nachfragen zu
den Fragen gestellt (retrospective probing), wobei die Testpersonen die einzelnen zu testenden Fragen als Erinnerungshilfe
jeweils vorgelegt bekamen (vgl. Neuert & Lenzner, 2016).
Telefonischer Modus (CATI): Die Interviews wurden am Telefon
durchgeführt, d.h. die Interviewer befanden sich in den Räumlichkeiten von GESIS und die Testpersonen in ihren Haushalten. Die kognitiven Nachfragen wurden dabei immer direkt
nach den einzelnen Fragen gestellt (concurrent probing).
Testpersonenhonorar:
30 Euro
Projektbeschreibung:
Die demographischen Standards, eine gemeinsame Empfehlung von ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V., der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e.V. (ASI) und des Statistischen Bundesamtes, dienen der Vereinheitlichung der Erhebungsinstrumente sozio-demographischer Merkmale von Befragten in Umfragen. Es gibt eine Version für persönlich-mündliche und schriftliche Befragungen, und eine für telefonische Befragungen. Es gibt keine eigenständige Version für Online-Befragungen; hierfür muss momentan auf die Version für schriftliche Umfragen zurückgegriffen werden. Die erfassten Merkmale reichen von in sozialwissenschaftlichen Umfragen standardmäßig erhobenen Konzepten wie Alter und Geschlecht über Fragen zur Staatsangehörigkeit und Familienstand, Schul- und Berufsabschluss bis hin zum Erwerbsstatus.
Die Fragen 1 bis 12A der demographischen Standards sollten in diesem Pretest kognitiv getestet werden, um a) für die Harmonisierung der Erhebungsinstrumente für sozio-demographische Merkmale in den bei GESIS durchgeführten (Teil-)Erhebungen (Allgemeine Bevölkerungsumfrage der Sozialwissenschaften, Comparative Candidates Survey, GESIS Panel, German Longitudinal Election Study, Comparative Study of Electoral Systems, European Social Survey, European Values Study, International Social Survey Programme) empirische Evidenz zu schaffen, um b) zu einer zukünftigen Anpassung und Verbesserung der Standards beizutragen und um c) als Grundlage für die Beratung bei GESIS zur Messung sozio-demographischer Merkmale in Umfragen zu dienen.
Hierbei sollten die folgenden Fragestellungen untersucht werden:
- Werden die Items wie intendiert von den Befragten verstanden?
- Welche Formulierungen bedürfen einer Überarbeitung und wie sollten sie verbessert werden?
- Sind die Items aus der Version für persönlich-mündliche Befragungen, wie vorgesehen, gleichermaßen für schriftliche und Online-Befragungen geeignet oder bedarf es hier spe-zifischer Anpassungen?
Webseite:
Auftraggeber:
GESIS
Dr. Silke Schneider
Pretestbericht (Deutsch):
Kognitiver Leitfaden (Deutsch):