Projekt „PubBias“ – Fragen zur Erfassung der Prävalenz und des Ausmaßes von Publikationsverzerrungen

Question Text:

Answer Categories:

Alternative Answer Format Tested:

Recommendations:

Cognitive Techniques:

Findings for Question:

Informationen zur Frage und Ziel der Testung:
Frage 8 erfasst, inwieweit die Befragten die ursprünglich geplanten Forschungsziele bzw. -fragen verfolgt haben. Die zwei getesteten Frageversionen unterscheiden sich bezüglicher der verwendeten Antwortskala. Ziel der Testung war es, herauszufinden, welche der beiden Versionen besser funktioniert bzw. von den Testpersonen bevorzugt wird.

Befund:
Die Testpersonen verorteten sich bei beiden Versionen am oberen Ende der Antwortskala und erläuterten, dass sie entweder überhaupt nicht oder nur leicht von ihren ursprünglichen Zielen oder Forschungsfragen abgewichen sind.

• „Wir haben die Forschungsfragen praktisch komplett beibehalten. Und auch die Analysen, die wir jetzt haben laufen lassen, entsprechen eigentlich genau dem, was ich mir damals vorge-stellt habe.“ (TP04, Antwort Frage 8 Version 1: Definitely yes)
• „Der Antrag, den wir dazu geschrieben hatten, war vage formuliert gewesen, was wir mit dieser Studie wollten. Von daher haben wir schon das Ziel verfolgt, was da im Antrag drinsteht, und wir haben es natürlich mehr ausgearbeitet und teilweise einfach angereichert und noch mal so ein bisschen die Richtung geändert.“ (TP02, Antwort Frage 8 Version 1: Mostly yes)
• „Also die Objectives größtenteils schon und die Research Questions auch. Aber wir haben nicht genau die Analysen gerechnet, die wir geplant haben.“ (TP08, Antwort Frage 8 Version 1: Mostly yes)

Jeweils die Hälfte der Testpersonen gab an, die erste bzw. zweite Frageversion zu präferieren. Die erste Version wurde vor allem wegen der zusätzlichen Verwendung von „yes“ und „no“ bevorzugt, was die Skala für manche Befragte klarer machte. Die zweite Version wurde dagegen präferiert, da hier die Mittelkategorie eindeutiger und die Skala kürzer sei.

• „Also ich fand die erste Version besser, weil man da noch das Ja und Nein mit dabei hatte. Da war irgendwie klarer, ob man jetzt zustimmt oder eher nicht zustimmt. Das fand ich eingängiger.“ (TP05)
• „Eindeutige Präferenz für die zweite Version, da die Mittelkategorien in der ersten Version nicht trennscharf sind. Die Kategorien ‚Somewhat yes‘ und ‚Somewhat no‘ können ja alles bzw. dasselbe bedeuten.“ (TP01)
• „Ich finde die zweite Version etwas übersichtlicher, dadurch dass wir hier fünf Kategorien haben und nicht sechs. Man muss hier weniger nachdenken, es ist ein bisschen leichter zu beantworten.“ (TP06)

Mit Ausnahme von einer Testperson (TP04) entschieden sich alle Befragten bei beiden Frageversionen für dieselbe, d.h. die erste oder zweite, Antwortoption. Testperson 04 entschied sich bei Version 1 für die Antwort „Definitely yes“, bei Version 2 dagegen für „Mostly“, was sie wie folgt begründete:

• „Ich finde ‚definitely yes‘ bedeutet: Ja, ich stimme auf jeden Fall der Aussage zu, dass ich die ursprünglichen Ziele verfolgt habe. Wobei ich aber auch noch darunter fassen würde, dass ich die jetzt so zu 98 Prozent verfolgt habe, nicht unbedingt zu 100 Prozent. Unter ‚completely‘ verstehe ich, dass ich genau 1:1 das gemacht habe, was ich mir damals vorgestellt ha-be. Daher würde ich hier bei der zweiten Skala ‚mostly‘ sagen.“ (TP04)

Question Topic:

Construct: