Die Ergebnisse des Pretests deuten auf keine Probleme der Frage hin, weshalb sie in ihrer jetzigen Form belassen werden kann.
Bezüglich der beiden Antwortformate deuten die Ergebnisse des Pretests nicht darauf hin, dass eines der beiden Formate zwangsläufig zu besseren Daten führt als das andere. Vorteile des offenen Formates sind eine größere Genauigkeit bzw. Detailliertheit der Antworten und die Tatsache, dass die Antworten der Befragten nicht durch die vorgegebenen Kategorien beeinflusst werden (z. B. in dem Sinne, dass die mittleren Kategorien als Durchschnittswerte in der Gesamtbevölkerung interpretiert werden; s. „middle means typical“-Heuristik; Schwarz et al., 1985 ; Tourangeau et al., 2004). Dem gegenüber stehen der erhöhte kognitive Aufwand, den die Beantwortung offener Fragen verlangt und der sich unter anderem in einer längeren Befragungszeit niederschlägt, die Tendenz von Befragten, bei höheren Zahlen gerundete Werte anzugeben, und ein zusätzlicher Aufwand auf Seiten der Forschenden bei der Datenbereinigung (d. h. bei der Identifikation und Eliminierung von unplausiblen Antworten). Diese Vor- und Nachteile gilt es grundsätzlich – und so auch in diesem Forschungsprojekt – gegeneinander abzuwägen.
Informationen zur Frage und Ziel der Testung:
Frage 3 erfasst die Anzahl der Personen innerhalb Deutschlands, zu denen die Befragten lockeren Kontakt haben. Im Pretest wurden zwei Versionen der Frage mit unterschiedlichen Antwortformaten getestet (offenes vs. geschlossenes Format). Die Testpersonen wurden zufällig einer der beiden Frageversionen zugeteilt (Version 1: n = 252; Version 2: n = 248) und die kognitiven Nachfragen wurden jeweils etwa der Hälfte der Testpersonen innerhalb der beiden Gruppen gestellt (Version 1: n = 127; Version 2: n = 125).
Die Ziele der Testung bestanden darin herauszufinden, ob die Befragten die Frage wie intendiert interpretieren, was sie unter „lockeren Kontakten“ verstehen, und ob sie Schwierigkeiten bei der Beantwortung der Frage haben. Darüber hinaus sollte untersucht werden, ob es Unterschiede im Antwortverhalten bzw. den kognitiven Prozessen beim Beantworten der Frage in Abhängigkeit des Antwortformats (offen vs. geschlossen) gibt.
Befund:
Bei der Beantwortung von Frage 3 gab es keinen Item Nonresponse, d. h. alle 500 Testpersonen beantworteten die Frage. Weist man die offenen Antworten den geschlossenen Antwortkategorien zu, so zeigt sich ein signifikanter Unterschied in der Häufigkeitsverteilung (X2(6) = 14.902, p = .021): Im offenen Format wurde tendenziell eine höhere Anzahl an Kontakten berichtet als im geschlossenen Format (s. Tabelle 6).
Die Antworten auf die offene Frage erschienen mit wenigen Ausnahmen plausibel (Range: 0 – 300, s. Tabelle 7). Nur eine Testperson gab hier den Wert 300 an (TP267), acht weitere Testpersonen den Wert 100. Die Verteilung der Antworten ist rechtsschief (Schiefe = 2.10), d. h. die überwiegende Mehrheit der Befragten gab an, mit bis zu 30 Personen lockeren Kontakt zu haben. Darüber hinaus wurden die Werte 50 und 100 gehäuft genannt (s. Abbildung 3).
Befragte, welche das offene Antwortformat (Version 1) erhalten hatten, benötigten zur Beantwortung von Frage 3 mehr Zeit (M = 13.25, SD = 4.69, n = 207) als Befragte, welche das geschlossene Antwortformat (Version 2) erhalten hatten (M = 10.74, SD = 4.38, n = 225). Dieser Unterschied war statistisch signifikant (t(430) = 5.763, p < .001).
Interpretieren die Testpersonen die Frage auf homogene Weise?
Die Testpersonen wurden nach der Beantwortung von Frage 3 gebeten, in ihren eigenen Worten wiederzugeben, worum es bei der Frage geht. Mit wenigen Ausnahmen interpretierten alle Testpersonen (96,8 %) die Frage (eindeutig) wie intendiert und erläuterten, dass es bei dieser Frage um die Anzahl der Personen geht, zu denen man ein eher oberflächliches Verhältnis hat, die einem nicht sehr nahe stehen und mit denen man keine privaten oder vertraulichen Dinge bespricht.
In den Antworten der restlichen Testpersonen (3,2 %) fehlte entweder ein Hinweis auf die Art des Kontakts (wie z. B. „locker“, „oberflächlich“, „sporadisch“) oder die Befragten gaben an, dass es hier um enge Kontakte ginge, mit denen man ein vertrauensvolles Verhältnis pflegt.
Wie bei der vorherigen Frage liegt die Vermutung nahe, dass diese (wenigen) Testpersonen nicht etwa die Frage falsch interpretiert haben, sondern dass sie entweder nicht gewillt oder in der Lage waren, die Frage 3 detaillierter zu paraphrasieren oder dass sie die Probing-Frage unaufmerksam gelesen haben und sich beim Beantworten der Nachfrage nicht auf Frage 3, sondern auf Frage 1 oder 2 (enge Kontakte innerhalb bzw. außerhalb Deutschlands) bezogen haben.
Was verstehen die Testpersonen unter „lockeren Kontakt“ zu Personen zu haben und an welche Personen denken sie beim Beantworten der Frage?
Mehr als zwei Drittel der Befragten (69,5 %) verstanden unter „lockeren Kontakten“ Personen, mit denen sie nur über alltägliche Dinge sprechen und zu denen sie keine enge Beziehung haben. Die restlichen Testpersonen (30,5 %) definierten enge Kontakte zusätzlich oder in erster Linie über die Unregelmäßigkeit oder Seltenheit des Kontakts.
Als Beispiele für Personen, an die sie beim Beantworten der Frage gedacht hatten, nannten die Testpersonen Gruppen wie (ehemalige) Arbeitskolleg*innen, Kommiliton*innen, Bekannte, entfernte Verwandte, Vereinskolleg*innen und Nachbarn.
Haben die Testpersonen Schwierigkeiten, die Frage zu beantworten?
Knapp 14 % der Testpersonen gaben an, die Beantwortung von Frage 3 sei ihnen „eher schwer“ (n = 32) oder „sehr schwer“ (n = 4) gefallen. Hier zeigten sich keine systematischen Unterschiede zwischen den beiden Frageversionen.
Die Testpersonen begründeten die wahrgenommene Schwierigkeit entweder damit, dass unklar sei, wie man „lockere“ Kontakte definieren solle oder – insbesondere in Version 1 – dass es schwierig sei, die sehr große Anzahl an lockeren Kontakten mehr oder weniger genau zu beziffern.
Kognitiver Prozess der Entscheidungsfindung
Im Rahmen des Pretests sollte untersucht werden, wie die Testpersonen vorgehen, wenn sie sich bei Personen unsicher sind, ob sie diese als „enge“ oder „lockere“ Kontakte einstufen sollten, und wie sie schlussendlich zu ihrer Entscheidung kommen. Die 247 Testpersonen, die im Verlauf des Pretests kognitive Nachfragen zu den Fragen 1 und 3 oder zu den Fragen 2 und 4 beantwortet hatten, erhielten zusätzlich noch eine Nachfrage dazu, ob sie sich bei manchen Personen unsicher waren, ob sie diese als „enge“ oder „lockere“ Kontakte betrachten sollten. Diese Nachfrage wurde von 62 Befragten bejaht.
Die Testpersonen erläuterten, dass es sich bei diesen Kontakten entweder (1) um langjährige bzw. gute Freunde handele, zu denen der Kontakt über die Zeit geringer geworden ist, (2) um Personen, die sie schon lange kennen, zu denen sie aber keine wirklich enge Beziehung haben, oder (3) um Personen, die sie noch nicht lange kennen, zu denen sie aber schon ein relativ vertrauensvolles und enges Verhältnis haben.
Die schlussendliche Entscheidung, ob sie die Personen als enge oder lockere Kontakte werteten, hing laut den Testpersonen meist von der Intensität oder der Häufigkeit des Kontakts ab.
