Die Ergebnisse des Pretests deuten auf keine Probleme der Frage hin, weshalb sie in ihrer jetzigen Form belassen werden kann.
Bezüglich der beiden Antwortformate deuten die Ergebnisse des Pretests nicht darauf hin, dass eines der beiden Formate zwangsläufig zu besseren Daten führt als das andere. Vorteile des offenen Formates sind eine größere Genauigkeit bzw. Detailliertheit der Antworten und die Tatsache, dass die Antworten der Befragten nicht durch die vorgegebenen Kategorien beeinflusst werden (z. B. in dem Sinne, dass die mittleren Kategorien als Durchschnittswerte in der Gesamtbevölkerung interpretiert werden; s. „middle means typical“-Heuristik; Schwarz et al., 1985 ; Tourangeau et al., 2004). Dem gegenüber stehen der erhöhte kognitive Aufwand, den die Beantwortung offener Fragen verlangt und der sich unter anderem in einer längeren Befragungszeit niederschlägt, die Tendenz von Befragten, bei höheren Zahlen gerundete Werte anzugeben, und ein zusätzlicher Aufwand auf Seiten der Forschenden bei der Datenbereinigung (d. h. bei der Identifikation und Eliminierung von unplausiblen Antworten). Diese Vor- und Nachteile gilt es grundsätzlich – und so auch in diesem Forschungsprojekt – gegeneinander abzuwägen.
Informationen zur Frage und Ziel der Testung:
Frage 4 erfasst die Anzahl der Personen außerhalb Deutschlands, zu denen die Befragten lockeren Kontakt haben. Im Pretest wurden zwei Versionen der Frage mit unterschiedlichen Antwortformaten getestet (offenes vs. geschlossenes Format). Die Testpersonen wurden zufällig einer der beiden Frageversionen zugeteilt (Version 1: n = 252; Version 2: n = 248) und die kognitiven Nachfragen wurden jeweils etwa der Hälfte der Testpersonen innerhalb der beiden Gruppen gestellt (Version 1: n = 125; Version 2: n = 123).
Die Ziele der Testung bestanden darin herauszufinden, ob die Befragten die Frage wie intendiert interpretieren, was sie unter „lockeren Kontakten“ verstehen, und ob sie Schwierigkeiten bei der Beantwortung der Frage haben. Darüber hinaus sollte untersucht werden, ob es Unterschiede im Antwortverhalten bzw. den kognitiven Prozessen beim Beantworten der Frage in Abhängigkeit des Antwortformats (offen vs. geschlossen) gibt.
Befund:
Frage 4 wurde von fast allen Testpersonen beantwortet. Nur zwei Testpersonen, welche die offene Frageversion erhalten hatten, ließen die Frage unbeantwortet. Weist man die offenen Antworten den geschlossenen Antwortkategorien zu, so zeigt sich kein signifikanter Unterschied in der Häufigkeitsverteilung (X2(6) = 2.699, p = .846). In beiden Formaten wurden ähnliche Anzahlen an Kontakten berichtet (s. Tabelle 8).
Die Antworten auf die offene Frage erschienen mit wenigen Ausnahmen plausibel (Range: 0 – 1000, s. Tabelle 9). Nur zwei Testpersonen gaben hier ungewöhnlich hohe Werte an (TP429: 150; TP362: 1000). Die Verteilung der Antworten ist rechtsschief (Schiefe = 2.62), d. h. die überwiegende Mehrheit der Befragten gab an, mit keinen oder nur wenigen (bis zu 15) im Ausland lebenden Personen lockeren Kontakt zu haben. Darüber hinaus wurden die Werte 20 und 50 gehäuft genannt (s. Abbildung 4).
Bei Frage 4 unterschieden sich die Antwortzeiten nicht zwischen den beiden Frageversionen (Version 1: M = 9.05, SD = 3.52, n = 222; Version 2: M = 8.48, SD = 3.76, n = 238; t(458) = 1.68, p = .094).
Interpretieren die Testpersonen die Frage auf homogene Weise?
Die Testpersonen wurden nach der Beantwortung von Frage 4 gebeten, in ihren eigenen Worten wiederzugeben, worum es bei der Frage geht. Der Großteil der Testpersonen (84,6 %) interpretierte die Frage (eindeutig) wie intendiert und erläuterte, dass es bei der Frage um die Anzahl der im Ausland lebenden Personen geht, zu denen man ein eher oberflächliches Verhältnis hat.
In den Antworten der restlichen Testpersonen fehlte entweder ein Verweis auf den Wohnort der hier abgefragten Kontakte (Ausland, 7,1 %) oder die Testpersonen gaben an, bei dieser Frage an Personen in Deutschland (4,4 %) oder enge Kontakte (3,8 %) gedacht zu haben.
Wie bei den vorherigen Fragen gibt es mindestens drei mögliche Erklärungen für diesen Befund: (1) die Testpersonen haben die Frage falsch verstanden bzw. nur überflogen und die nicht genannten Aspekte in der Frage übersehen, (2) die Testpersonen waren nicht gewillt oder in der Lage, Frage 4 detaillierter zu paraphrasieren, oder (3) das Ergebnis ist dem retrospektiven Probing geschuldet bzw. dem unaufmerksamen Lesen der Probing-Frage, d. h. die Testpersonen haben sich beim Beantworten der Probing-Frage nicht auf Frage 4, sondern auf Frage 3 (lockere Kontakte innerhalb Deutschlands) oder Frage 2 (enge Kontakte außerhalb Deutschlands) bezogen.
Vergleicht man die Antworten dieser Testpersonen auf Frage 4 mit den Antworten der Testpersonen, die die Frage wie intendiert verstanden haben, so zeigen sich keine signifikanten Unterschiede in den Häufigkeitsverteilungen (X2(6) = 10.600, p = .102), d. h. es gibt keinen systematischen Zusammenhang zwischen dem Ergebnis des Paraphrasings und der Beantwortung von Frage 4. Damit erscheinen die Erklärungen (2) und (3) plausibler als Erklärung (1), was bedeutet, dass die Frage nicht überarbeitet werden muss.
Was verstehen die Testpersonen unter „lockeren Kontakt“ zu Personen zu haben und an welche Personen denken sie beim Beantworten der Frage?
Zwei Drittel der Befragten (66,9 %) verstanden unter „lockeren Kontakten“ Personen, mit denen sie nur über alltägliche Dinge sprechen und zu denen sie keine enge Beziehung haben. Wie schon bei Frage 3 definierten die restlichen Testpersonen (33,1 %) lockere Kontakte zusätzlich oder in erster Linie über die Unregelmäßigkeit oder Seltenheit des Kontakts.
Als Beispiele für Personen, an die sie beim Beantworten der Frage gedacht hatten, nannten die Testpersonen Gruppen wie entfernte Verwandte, Arbeitskolleg*innen im Ausland, Urlaubsbekanntschaften, ehemalige Mitschüler/Kommiliton*innen und Bekannte, mit denen sie nur über andere Familienmitglieder im Ausland in Kontakt stehen.
Haben die Testpersonen Schwierigkeiten, die Frage zu beantworten?
Etwa 10 % der Testpersonen gaben an, die Beantwortung von Frage 4 sei ihnen „eher schwer“ (n = 24) oder „sehr schwer“ (n = 2) gefallen. Schwierigkeiten wurden hier fast doppelt so häufig in Version 1 (n = 17) als in Version 2 (n = 9) berichtet.
Unabhängig von den Frageversionen begründeten die Testpersonen ihre wahrgenommene Schwierigkeit meist damit, dass es ihnen schwergefallen sei zu berechnen, mit wie vielen Personen im Ausland sie (noch) Kontakt hätten.
Kognitiver Prozess der Entscheidungsfindung
Im Rahmen des Pretests sollte untersucht werden, wie die Testpersonen vorgehen, wenn sie sich bei Personen unsicher sind, ob sie diese als „enge“ oder „lockere“ Kontakte einstufen sollten, und wie sie schlussendlich zu ihrer Entscheidung kommen. Die 247 Testpersonen, die im Verlauf des Pretests kognitive Nachfragen zu den Fragen 1 und 3 oder zu den Fragen 2 und 4 beantwortet hatten, erhielten zusätzlich noch eine Nachfrage dazu, ob sie sich bei manchen Personen unsicher waren, ob sie diese als „enge“ oder „lockere“ Kontakte betrachten sollten. Diese Nachfrage wurde von 62 Befragten bejaht.
Die Testpersonen erläuterten, dass es sich bei diesen Kontakten entweder (1) um langjährige bzw. gute Freunde handele, zu denen der Kontakt über die Zeit geringer geworden ist, (2) um Personen, die sie schon lange kennen, zu denen sie aber keine wirklich enge Beziehung haben, oder (3) um Personen, die sie noch nicht lange kennen, zu denen sie aber schon ein relativ vertrauensvolles und enges Verhältnis haben.
Die schlussendliche Entscheidung, ob sie die Personen als enge oder lockere Kontakte werteten, hing laut den Testpersonen meist von der Intensität oder der Häufigkeit des Kontakts ab.
