Die Ergebnisse des Pretests deuten auf keine Probleme der Frage hin, weshalb sie in ihrer jetzigen Form belassen werden kann.
Bezüglich der beiden Antwortformate deuten die Ergebnisse des Pretests nicht darauf hin, dass eines der beiden Formate zwangsläufig zu besseren Daten führt als das andere. Vorteile des offenen Formates sind eine größere Genauigkeit bzw. Detailliertheit der Antworten und die Tatsache, dass die Antworten der Befragten nicht durch die vorgegebenen Kategorien beeinflusst werden (z. B. in dem Sinne, dass die mittleren Kategorien als Durchschnittswerte in der Gesamtbevölkerung interpretiert werden; s. „middle means typical“-Heuristik; Schwarz et al., 1985 ; Tourangeau et al., 2004). Dem gegenüber stehen der erhöhte kognitive Aufwand, den die Beantwortung offener Fragen verlangt und der sich unter anderem in einer längeren Befragungszeit niederschlägt, die Tendenz von Befragten, bei höheren Zahlen gerundete Werte anzugeben, und ein zusätzlicher Aufwand auf Seiten der Forschenden bei der Datenbereinigung (d. h. bei der Identifikation und Eliminierung von unplausiblen Antworten). Diese Vor- und Nachteile gilt es grundsätzlich – und so auch in diesem Forschungsprojekt – gegeneinander abzuwägen.
Informationen zur Frage und Ziel der Testung:
Frage 2 erfasst die Anzahl der Personen außerhalb Deutschlands, zu denen die Befragten engen Kontakt haben. Im Pretest wurden zwei Versionen der Frage mit unterschiedlichen Antwortformaten getestet (offenes vs. geschlossenes Format). Die Testpersonen wurden zufällig einer der beiden Frageversionen zugeteilt (Version 1: n = 252; Version 2: n = 248) und die kognitiven Nachfragen wurden jeweils etwa der Hälfte der Testpersonen innerhalb der beiden Gruppen gestellt (Version 1: n = 123; Version 2: n = 126).
Die Ziele der Testung bestanden darin herauszufinden, ob die Befragten die Frage wie intendiert interpretieren, was sie unter „engen Kontakten“ verstehen, und ob sie Schwierigkeiten bei der Beantwortung der Frage haben. Darüber hinaus sollte untersucht werden, ob es Unterschiede im Antwortverhalten bzw. den kognitiven Prozessen beim Beantworten der Frage in Abhängigkeit des Antwortformats (offen vs. geschlossen) gibt.
Befund:
Frage 2 wurde von fast allen Testpersonen beantwortet. Nur eine Testperson, welche die geschlossene Frageversion erhalten hatte, ließ die Frage unbeantwortet. Weist man die offenen Antworten den geschlossenen Antwortkategorien zu, so zeigt sich kein statistisch signifikanter Unterschied in der Häufigkeitsverteilung (X2(6) = 5.491, p = .483). In beiden Formaten wurden ähnliche Anzahlen an Kontakten berichtet (s. Tabelle 4).
Die Antworten auf die offene Frage erschienen mit einer Ausnahme plausibel (Range: 0 – 1000, s. Tabelle 5). Nur Testperson 580 gab hier wie bereits bei Frage 1 (Antwort: 100 Personen) einen unplausibel hohen Wert an (Antwort: 1000 Personen). Die Verteilung der Antworten ist rechtsschief (Schiefe = 2.37), d. h. die Befragten gaben mehrheitlich an, mit keiner bzw. nur wenigen (bis zu fünf) im Ausland lebenden Personen engen Kontakt zu haben (s. Abbildung 2).
Befragte, welche das offene Antwortformat (Version 1) erhalten hatten, benötigten zur Beantwortung von Frage 2 mehr Zeit (M = 12.18, SD = 5.16, n = 229) als Befragte, welche das geschlossene Antwortformat (Version 2) erhalten hatten (M = 11.00, SD = 4.70, n = 228). Dieser Unterschied war statistisch signifikant (Welch’s F(1, 451.49) = 2.55, p = .011).
Interpretieren die Testpersonen die Frage auf homogene Weise?
Die Testpersonen wurden nach der Beantwortung von Frage 2 gebeten, in ihren eigenen Worten wiederzugeben, worum es bei der Frage geht. Der Großteil der Testpersonen (85,2 %) interpretierte die Frage (eindeutig) wie intendiert und erläuterte, dass es bei der Frage um die Anzahl der im Ausland lebenden Personen geht, zu denen man eine enge Beziehung und ein vertrauensvolles Verhältnis hat.
In den Antworten der restlichen Testpersonen (14,8 %) fehlten entweder Verweise auf das vertrauensvolle Verhältnis, das die hier abgefragten Kontakte ausmacht, oder auf den Wohnort der Personen (Ausland).
Für diesen Befund gibt es mindestens drei mögliche Erklärungen: (1) die Testpersonen haben die Frage falsch verstanden bzw. nur überflogen und die nicht genannten Aspekte in der Frage übersehen, (2) die Testpersonen waren nicht gewillt oder in der Lage, Frage 2 detaillierter zu paraphrasieren, oder (3) das Ergebnis ist dem retrospektiven Probing geschuldet bzw. dem unaufmerksamen Lesen der Probing-Frage, d. h. die Testpersonen haben sich beim Beantworten der Probing-Frage nicht auf Frage 2, sondern auf Frage 3 (lockere Kontakte innerhalb Deutschlands) oder Frage 1 (enge Kontakte innerhalb Deutschlands) bezogen.
Vergleicht man die Antworten dieser Testpersonen auf Frage 2 mit den Antworten der Testpersonen, die die Frage wie intendiert verstanden haben, so zeigen sich keine signifikanten Unterschiede in den Häufigkeitsverteilungen (X2(6) = 5.015, p = .542), d. h. es gibt keinen systematischen Zusammenhang zwischen dem Ergebnis des Paraphrasings und der Beantwortung von Frage 2. Damit erscheinen die Erklärungen (2) und (3) plausibler als Erklärung (1), was bedeutet, dass die Frage nicht überarbeitet werden muss.
Was verstehen die Testpersonen unter „engen Kontakt“ zu Personen zu haben und an welche Personen denken sie beim Beantworten der Frage?
Etwas mehr als drei Viertel der Befragten (76,7 %) verstanden unter „engen Kontakten“ Personen, die ihnen sehr nahestehen und mit denen sie vertrauensvoll auch über intime und persönliche Dinge sprechen können. Wie schon bei Frage 1 definierten die restlichen Testpersonen (23,3 %) enge Kontakte zusätzlich oder in erster Linie über die Häufigkeit des Kontakts.
Als Beispiele für Personen, an die sie beim Beantworten der Frage gedacht hatten, nannten die Testpersonen vor allem Familienmitglieder/Verwandte und gute bzw. enge Freunde.
Haben die Testpersonen Schwierigkeiten, die Frage zu beantworten?
Etwa 11 % der Testpersonen gaben an, die Beantwortung von Frage 2 sei ihnen „eher schwer“ (n = 24) oder „sehr schwer“ (n = 4) gefallen. Schwierigkeiten wurden hier etwas häufiger in Version 1 (n = 17) als in Version 2 (n = 11) berichtet.
Wie bereits bei Frage 1 und unabhängig von der Frageversion begründeten die Testpersonen ihre wahrgenommene Schwierigkeit zumeist damit, dass es mitunter aufwendig sei, sich an alle Kontakte zu erinnern und im Anschluss zu bewerten.
