CAMCES - Computer-assisted Measurement and Coding of Educational Qualifications in Surveys - Kognitiver Pretest
Abstract:
Zur Erfassung von Bildungsabschlüssen wurde eine Software mit zwei Antwortformaten (Interfaces) entwickelt, mit Hilfe derer Bildungsabschlüsse durch Einbindung einer Datenbank erfasst werden: die Combo-Box und der Search-Tree. Zentraler Zweck des CAMCES-Tools ist die detaillierte Erfassung des höchsten Bildungsabschlusses des Befragten. Ziele der kognitiven Interviews sind die Untersuchung 1. der Funktionalität des Fragenmoduls und des entwickelten Tools und 2. die kognitiven Prozesse, die beim Beantworten der Fragen stattfinden. Drei Dimensionen sind dabei von Interesse: das Verständnis der inhaltlichen Konstrukte der Frage, die Nutzerfreundlichkeit des Tools und das Suchverhalten innerhalb des Tools.
Getestet wurde das Tool mittels persönlich-mündlicher kognitiver Interviews in Kombination mit Eye Tracking (Blickbewegungsanalysen).
Citation:
Lenzner, T., Neuert, C., Otto, W., Landrock, U., Adams, F., Disch, K., Gebhardt, S. & Menold, N. (2015): CAMCES - Computer-assisted Measurement and Coding of Educational Qualifications in Surveys. Kognitiver Pretest. GESIS – Leibniz-Institut für Sozialwissenschaften
DOI:
| Question No. | Pretesting Results | Type | Construct |
|---|---|---|---|
| 1 |
Wie viele Jahre haben Sie insgesamt mit Schule, Ausbildung und Studium verbracht? Damit sind auch betriebliche oder duale Ausbildungen gemeint. |
Single Question | Anzahl Bildungsjahre |
| 2 | Wie viele Schul-, Ausbildungs- oder Hochschulabschlüsse haben Sie insgesamt erreicht? | Single Question | Anzahl Schul-, Ausbildungs- oder Hochschulabschlüsse |
| 3 |
In welchem Land haben Sie Ihren höchsten Schul-, Ausbildungs- oder Hochschulabschluss erreicht? Damit sind auch betriebliche oder duale Ausbildungen gemeint. |
Single Question | Land des höchsten Bildungsabschlusses |
| 4 | Was ist Ihr höchster Ausbildungs- oder Hochschulabschluss? Damit sind auch betriebliche oder duale Ausbildungen gemeint. | Single Question | Höchster Ausbildungs- oder Schulabschluss |
| 5 | Was ist Ihr höchster Ausbildungs- oder Hochschulabschluss? Damit sind auch betriebliche oder duale Ausbildungen gemeint. | Single Question | Höchster Ausbildungs- oder Hochschulabschluss |
Number of Participants:
31
Selection of Target Population/Quotas:
Quotenauswahl. Die Auswahl der Testpersonen erfolgte nach den Quoten Alter (25 - 35 Jahre; 36 - 50 Jahre; 51 - 65 Jahre) und Bildungsabschluss ((Fach-)Hochschul-/ Universitätsabschluss; Anderer Abschluss zusätzlich zum Schulabschluss):
- 2 Befragte, 25-35 Jahre, (Fach-)Hochschul- oder Universitätsabschluss
- 2 Befragte, 36-50 Jahre, (Fach-)Hochschul- oder Universitätsabschluss
- 2 Befragte, 51-65 Jahre, (Fach-)Hochschul- oder Universitätsabschluss
- 3 Befragte, 25-35 Jahre, Anderer Abschluss (zusätzlich zum Schulabschluss)
- 3 Befragte, 36-50 Jahre, Anderer Abschluss (zusätzlich zum Schulabschluss)
- 3 Befragte, 51-65 Jahre, Anderer Abschluss (zusätzlich zum Schulabschluss)
Die Auswahl der Testpersonen (N=16) mit einem Bildungsabschluss im Ausland erfolgte ohne Quoten.
Test Date:
05/2015
Number of cognitive interviewers:
6
Pretests conducted in the lab (video-recorded):
31
Pretests conducted via phone or externally (audio-recorded):
-
Survey mode:
CAWI
Pretest mode:
CAPI
Procedure:
Einsatz eines Evaluationsfragebogens und eines Beobachtungsbogens für Blickbewegungen.
Ablauf des Interviews:
- Begrüßung und Erläuterung des Ablaufs
- Ausfüllen des Fragebogens Teil 1 - Interface „Combo-Box“ mit vorheriger Kalibrierung des Eye-Trackers
- Kognitives Interview Teil 1 zum Interface „Combo-Box“
- Ausfüllen des Fragebogens Teil 2 – Interface „Search Tree“ mit erneuter Kalibrierung des Eye-Trackers
- Kognitives Interview Teil 2 zum Interface „Search Tree“ und zu weiteren Fragen, die für die Datenbankabfrage relevant sind
Incentive for respondents:
30 Euro
Project Description:
Das individuelle Bildungsniveau ist eine zentrale sozio-demographische Variable in standardisierten Umfragen. Es wird üblicherweise über den höchsten erreichten Bildungsabschluss gemessen. Die zunehmende Differenzierung der Bildungssysteme sowie Bildungs- und Arbeitsmigration erschweren die Messung des Bildungsniveaus zunehmend. Ziel des Projektes ist, ein Instrument zur Messung des Bildungsniveaus zu entwickeln, welches 1. auf einer Datenbank internationaler Bildungsabschlüsse zurückgreift, 2. optimierte Fragebogeninstrumente bereitstellt und 3. computergestützten Umfragen erlaubt, Instrument und Datenbank zu verwenden. Dadurch soll der Umfrageprozess und die Qualität der resultierenden Daten erhöht werden.
Client:
GESIS
Roberto Briceno-Rosas, Dr. Silke Schneider
Pretest Report (German):
Interview protocol (German):