CAMCES - Computer-assisted Measurement and Coding of Educational Qualifications in Surveys - Kognitiver Pretest

Zusammenfassung:

Zur Erfassung von Bildungsabschlüssen wurde eine Software mit zwei Antwortformaten (Interfaces) entwickelt, mit Hilfe derer Bildungsabschlüsse durch Einbindung einer Datenbank erfasst werden: die Combo-Box und der Search-Tree. Zentraler Zweck des CAMCES-Tools ist die detaillierte Erfassung des höchsten Bildungsabschlusses des Befragten. Ziele der kognitiven Interviews sind die Untersuchung 1. der Funktionalität des Fragenmoduls und des entwickelten Tools und 2. die kognitiven Prozesse, die beim Beantworten der Fragen stattfinden. Drei Dimensionen sind dabei von Interesse: das Verständnis der inhaltlichen Konstrukte der Frage, die Nutzerfreundlichkeit des Tools und das Suchverhalten innerhalb des Tools.
Getestet wurde das Tool mittels persönlich-mündlicher kognitiver Interviews in Kombination mit Eye Tracking (Blickbewegungsanalysen).

Zitation:

Lenzner, T., Neuert, C., Otto, W., Landrock, U., Adams, F., Disch, K., Gebhardt, S. & Menold, N. (2015): CAMCES - Computer-assisted Measurement and Coding of Educational Qualifications in Surveys. Kognitiver Pretest. GESIS – Leibniz-Institut für Sozialwissenschaften

DOI:

10.17173/pretest25

Anzahl Testpersonen:

31

Auswahl und Merkmale der Testpersonen:

Quotenauswahl. Die Auswahl der Testpersonen erfolgte nach den Quoten Alter (25 - 35 Jahre; 36 - 50 Jahre; 51 - 65 Jahre) und Bildungsabschluss ((Fach-)Hochschul-/ Universitätsabschluss; Anderer Abschluss zusätzlich zum Schulabschluss):

• 2 Befragte, 25-35 Jahre, (Fach-)Hochschul- oder Universitätsabschluss
• 2 Befragte, 36-50 Jahre, (Fach-)Hochschul- oder Universitätsabschluss
• 2 Befragte, 51-65 Jahre, (Fach-)Hochschul- oder Universitätsabschluss
• 3 Befragte, 25-35 Jahre, Anderer Abschluss (zusätzlich zum Schulabschluss)
• 3 Befragte, 36-50 Jahre, Anderer Abschluss (zusätzlich zum Schulabschluss)
• 3 Befragte, 51-65 Jahre, Anderer Abschluss (zusätzlich zum Schulabschluss)

Die Auswahl der Testpersonen (N=16) mit einem Bildungsabschluss im Ausland erfolgte ohne Quoten.

Feldzeit des Pretests:

05/2015

Anzahl der Testleiter:

6

Im GESIS-Pretestlabor durchgeführte Tests (Videoaufnahme):

31

Telefonisch (bzw. extern) durchgeführte Tests (Audioaufnahme):

-

Befragungsmodus:

CAWI

Pretestmodus:

CAPI

Vorgehensweise:

Einsatz eines Evaluationsfragebogens und eines Beobachtungsbogens für Blickbewegungen.

Ablauf des Interviews:

• Begrüßung und Erläuterung des Ablaufs
• Ausfüllen des Fragebogens Teil 1 - Interface „Combo-Box“ mit vorheriger Kalibrierung des Eye-Trackers
• Kognitives Interview Teil 1 zum Interface „Combo-Box“
• Ausfüllen des Fragebogens Teil 2 – Interface „Search Tree“ mit erneuter Kalibrierung des Eye-Trackers
• Kognitives Interview Teil 2 zum Interface „Search Tree“ und zu weiteren Fragen, die für die Datenbankabfrage relevant sind

Eye Tracking Equipment: Tobii T120, Remote Eye Tracker

Testpersonenhonorar:

30 Euro

Projektbeschreibung:

Das individuelle Bildungsniveau ist eine zentrale sozio-demographische Variable in standardisierten Umfragen. Es wird üblicherweise über den höchsten erreichten Bildungsabschluss gemessen. Die zunehmende Differenzierung der Bildungssysteme sowie Bildungs- und Arbeitsmigration erschweren die Messung des Bildungsniveaus zunehmend. Ziel des Projektes ist, ein Instrument zur Messung des Bildungsniveaus zu entwickeln, welches 1. auf einer Datenbank internationaler Bildungsabschlüsse zurückgreift, 2. optimierte Fragebogeninstrumente bereitstellt und 3. computergestützten Umfragen erlaubt, Instrument und Datenbank zu verwenden. Dadurch soll der Umfrageprozess und die Qualität der resultierenden Daten erhöht werden.

Auftraggeber:

GESIS
Roberto Briceno-Rosas, Dr. Silke Schneider