Die Ergebnisse des Pretests deuten auf keine Probleme der Frage hin, weshalb sie in ihrer jetzigen Form belassen werden kann.
Bezüglich der beiden Antwortformate deuten die Ergebnisse des Pretests nicht darauf hin, dass eines der beiden Formate zwangsläufig zu besseren Daten führt als das andere. Vorteile des offenen Formates sind eine größere Genauigkeit bzw. Detailliertheit der Antworten und die Tatsache, dass die Antworten der Befragten nicht durch die vorgegebenen Kategorien beeinflusst werden (z. B. in dem Sinne, dass die mittleren Kategorien als Durchschnittswerte in der Gesamtbevölkerung interpretiert werden; s. „middle means typical“-Heuristik; Schwarz et al., 1985 ; Tourangeau et al., 2004). Dem gegenüber stehen der erhöhte kognitive Aufwand, den die Beantwortung offener Fragen verlangt und der sich unter anderem in einer längeren Befragungszeit niederschlägt, die Tendenz von Befragten, bei höheren Zahlen gerundete Werte anzugeben, und ein zusätzlicher Aufwand auf Seiten der Forschenden bei der Datenbereinigung (d. h. bei der Identifikation und Eliminierung von unplausiblen Antworten). Diese Vor- und Nachteile gilt es grundsätzlich – und so auch in diesem Forschungsprojekt – gegeneinander abzuwägen.
Informationen zur Frage und Ziel der Testung:
Frage 1 erfasst die Anzahl der Personen innerhalb Deutschlands, zu denen die Befragten engen Kontakt haben. Im Pretest wurden zwei Versionen der Frage mit unterschiedlichen Antwortformaten getestet (offenes vs. geschlossenes Format). Die Testpersonen wurden zufällig einer der beiden Frageversionen zugeteilt (Version 1: n = 252; Version 2: n = 248) und die kognitiven Nachfragen wurden jeweils etwa der Hälfte der Testpersonen innerhalb der beiden Gruppen gestellt (Version 1: n = 129; Version 2: n = 122).
Die Ziele der Testung bestanden darin herauszufinden, ob die Befragten die Frage wie intendiert interpretieren, was sie unter „engen Kontakten“ verstehen, und ob sie Schwierigkeiten bei der Beantwortung der Frage haben. Darüber hinaus sollte untersucht werden, ob es Unterschiede im Antwortverhalten bzw. den kognitiven Prozessen beim Beantworten der Frage in Abhängigkeit des Antwortformats (offen vs. geschlossen) gibt.
Befund:
Bei der Beantwortung von Frage 1 gab es keinen Item Nonresponse, d. h. alle 500 Testpersonen beantworteten die Frage. Weist man die offenen Antworten den geschlossenen Antwortkategorien zu, so zeigt sich ein signifikanter Unterschied in der Häufigkeitsverteilung (X2(6) = 24.953, p < .001): Im offenen Format wurde tendenziell eine höhere Anzahl an Kontakten berichtet als im geschlossenen Format (s. Tabelle 2).
Die Antworten auf die offene Frage erschienen mit wenigen Ausnahmen plausibel (Range: 0 – 100, s. Tabelle 3). Nur vier Testpersonen gaben hier ungewöhnlich hohe Werte an (TP766 und TP1536: 30 Personen; TP750: 50 Personen; TP580: 100 Personen). Die Verteilung der Antworten ist rechtsschief (Schiefe = 1.55), d. h. die Befragten gaben mehrheitlich an, mit wenigen Personen (bis zu sechs) engen Kontakt zu haben (s. Abbildung 1).
Befragte, welche das offene Antwortformat (Version 1) erhalten hatten, benötigten zur Beantwortung von Frage 1 mehr Zeit (M = 22.16, SD = 10.56, n = 227) als Befragte, welche das geschlossene Antwortformat (Version 2) erhalten hatten (M = 18.49, SD = 9.90, n = 233). Dieser Unterschied war statistisch signifikant (t(458) = 3.84, p < .001).
Interpretieren die Testpersonen die Frage auf homogene Weise?
Die Testpersonen wurden nach der Beantwortung von Frage 1 gebeten, in ihren eigenen Worten wiederzugeben, worum es bei der Frage geht. Nahezu alle Testpersonen (98,5 %) interpretierten die Frage (eindeutig) wie intendiert und erläuterten, dass es bei der Frage um die Anzahl der Personen geht, denen man nahesteht, zu denen man ein vertrauensvolles Verhältnis hat und die man als enge Freunde oder Bezugspersonen bezeichnen würde.
In den Antworten der restlichen Testpersonen (1,5 %) fehlte ein Verweis auf das vertrauensvolle Verhältnis, das die hier abgefragten Kontakte ausmacht. Diese Antworten deuten jedoch weniger darauf hin, dass die Frage falsch interpretiert wurde, sondern eher darauf, dass die Testpersonen nicht gewillt oder in der Lage waren, Frage 1 detaillierter zu paraphrasieren.
Was verstehen die Testpersonen darunter, „engen Kontakt“ zu Personen zu haben und an welche Personen denken sie beim Beantworten der Frage?
Mehr als zwei Drittel der Befragten (70,9 %) verstanden unter „engen Kontakten“ Personen, die ihnen sehr nahestehen, mit denen sie über persönliche Dinge und Gefühle sprechen können und zu denen sie großes Vertrauen haben. Die restlichen Testpersonen (29,1 %) definierten enge Kontakte zusätzlich oder in erster Linie über die Häufigkeit des Kontakts.
Als Beispiele für Personen, an die sie beim Beantworten der Frage gedacht hatten, nannten die Testpersonen Gruppen wie enge/beste Freunde, Partner*innen, Kinder und (Groß-)Eltern.
Haben die Testpersonen Schwierigkeiten, die Frage zu beantworten?
Knapp 13 % der Testpersonen gaben an, die Beantwortung von Frage 1 sei ihnen „eher schwer“ (n = 29) oder „sehr schwer“ (n = 3) gefallen. Hier zeigten sich keine systematischen Unterschiede zwischen den beiden Frageversionen.
Die Testpersonen begründeten die wahrgenommene Schwierigkeit hauptsächlich damit, dass es teilweise schwer gefallen sei zu entscheiden, ob man jemanden als „engen“ Kontakt bezeichnen würde oder nicht.
